Мы, роботы…

Интервью
04.12.2023

ВЯЧЕСЛАВ РЫБАКОВ
Доктор исторических наук, главный научный сотрудник Института восточных рукописей РАН, писатель.

ФЕДОР ЛУКЬЯНОВ
Главный редактор журнала "Россия в глобальной политике" с момента его основания в 2002 году. Председатель Президиума Совета по внешней и оборонной политике России с 2012 года. Директор по научной работе Международного дискуссионного клуба "Валдай". Профессор-исследователь Национального исследовательского университета "Высшая школа экономики".

ИНТЕРВЬЮ ПОДГОТОВЛЕНО СПЕЦИАЛЬНО ДЛЯ ПЕРЕДАЧИ "МЕЖДУНАРОДНОЕ ОБОЗРЕНИЕ" (РОССИЯ 24)

"Рациональности искусственного интеллекта сильнее всего боятся те, кто приписывает себе право нарушать этические законы, но требует их соблюдения от окружающих". О прошлом и будущем ИИ в жизни и фантастике рассказал Федору Лукьянову писатель-фантаст Вячеслав Рыбаков в интервью для программы "Международное обозрение".

Федор Лукьянов: Когда искусственный разум появился в фантастике? Ощущение, что он был всегда, но ведь это не так?

Вячеслав Рыбаков: Он действительно был всегда, хотя так не назывался. На самом деле выражение "искусственный интеллект" в фантастику пришло довольно поздно, гораздо позже, чем возникли соответствующие персонажи. Про искусственный интеллект еще никто не говорил, а Мэри Шелли уже написала своего "Франкенштейна". Это был первый биоробот, который посетил мировую литературу.

Сто лет спустя Карел Чапек написал свою знаменитую пьесу "РУР"[1], где, собственно, и ввел понятие "робот", которое укоренилось во всех языках мира – во всяком случае в тех, которые пишутся на латинице и на кириллице. Его роботы тоже не блистали интеллектом, но и проблема была не в интеллекте. Это были биороботы, которые ни конденсаторами, ни электронными мозгами не обеспечивались – такие просто оживленные биоматериалы. И, начиная с Мэри Шелли до Карела Чапека, главная претензия к ним предъявлялась не потому, что они представляют угрозу или, наоборот, могут осчастливить человечество (хотя эти мотивы у Чапека, например, были: один из творцов этих руровских биороботов мечтает о том, что люди будут избавлены от однообразного монотонного труда, начнут заниматься исключительно самосовершенствованием, и настанет золотой век). Главная претензия и к Франкенштейну, и к руровским роботам сводилась к тому, что человек посягнул на прерогативы Бога, – и это грех, и это добром не кончится. В общем, в этих произведениях добром и не кончилось, как и предсказывал, например, простой народ у Чапека в лице горничной главной героини. Может быть, конечно, по велению Бога, но на самом деле после того, как люди начали использовать роботов, механических слуг в качестве солдат, после того, как люди научили своих роботов убивать друг друга, роботы перебили людей. Закономерность прослеживается такая.

Дальше пошел научно-технический прогресс. С 1939 г.[2] Айзек Азимов начал писать первые рассказы из цикла "Я, робот", а одноименная книга вышла в 1950 году. И тогда были сформулированы три знаменитых закона роботехники:

- Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинен вред.
- Робот должен повиноваться всем приказам, которые дает человек, кроме тех случаев, когда эти приказы противоречат первому закону.
- Робот должен заботиться о своей безопасности в той мере, в которой это не противоречит первому или второму законам.

Надо сказать, что к моменту создания трех законов не то чтобы не было книг о роботах, но именно Азимов сформулировал концепцию и сделал тему объектом хорошей литературы (особенно по тем временам хорошей). Потому его роботехническое творчество и стало столь знаменитым. От момента отмены рабства в Соединенных Штатах прошло всего восемьдесят лет, когда Азимов начал писать о верных, преданных и безопасных механических слугах, замечательно заменивших рабов, которые к сороковым годам ХХ века у многих пожилых людей еще оставались в памяти. Это тоже надо иметь в виду.

С самого начала из этих трех законов возникают дуализмы. С одной стороны, у того же Азимова все время муссируется мысль, что три закона роботехники исполняют либо роботы, либо очень хорошие люди. "Роботы порядочнее людей", – все время повторяет главная героиня Сьюзен Келвин. А с другой стороны, есть постоянный страх: вдруг законы перестанут работать. И есть один рассказ о том, как у некоего робота первый закон оказался даже не отменен, но всего лишь усечен: робот не мог принести вред человеку, но мог допустить его своим бездействием. Уже это ощущалось катастрофой. И та же Сьюзен Келвин говорит, что она бы таких роботов сразу уничтожила – это при всей ее любви к роботам. Дуализм: первое – мечта, что априорную этику можно каким-то образом нерушимо вшить или вбить на аппаратном уровне, на уровне БИОС[3] в кибернетическую машину; второе – если этика не вобьется, то это ужас.

У человека, рационально мыслящего, особенно – по-западному мыслящего, допущение, что кто-то является более прочным, быстрее соображающим, более крепким и при этом не начинает добиваться господства над тем, кто его слабее, просто в голове не укладывается.

Это можно парировать только вшитием этики на аппаратном уровне. С этого момента и начался дуализм. Но термин "искусственный интеллект" еще в фантастику не пришел.

Другое ключевое произведение для этой ветви фантастики – "Голем XIV" Станислава Лема. Это уже не 1940-е, не 1950-е, а 1973 год. Там есть какие угодно термины. Слово "интеллект" встречается в тексте раз сорок: "машинный интеллект", "безличный интеллект" несколько раз и только в самом конце как-то невзначай проскальзывает – "искусственный интеллект". Я не специалист по этой части литературоведения, но у меня подозрение, что термин "искусственный интеллект" возник не в литературе, а в науке и уже оттуда перекочевал в литературу именно в этой формулировке. Фантасты писали о роботах, об электронных мозгах, об их возможностях и так далее. Взаимообогащение. Закон сообщающихся сосудов.

После Азимова эта ветвь фантастики оказалась очень плодотворной, и многие использовали систему условностей Азимова для создания произведений о роботах в более позднее время. Относительно недавно, несколько лет назад[4], у нас в России был снят довольно приличный сериал "Лучше, чем люди" – о роботах. Их интеллект был построен на трех законах Азимова, и это обеспечило сильные драматические коллизии и очень бойкий живой сюжет.

Федор Лукьянов: Условный "Терминатор" или "Бегущий по лезвию", в общем – тема восстания машин, угрозы, когда появилась и почему?

Вячеслав Рыбаков: Это существовало тоже с самого начала, опять-таки начиная с "Франкенштейна" и "РУР". Человеческий род, благодаря роботам и их насильственным действиям, пресекся, исчез – это радикальная мера, похлеще всякого "Терминатора". В мире Азимова, конечно, тоже, если бы не три закона, вполне возможно было столкнуться с катастрофическими или очень серьезными последствиями, и у него намеки на это есть. Кстати говоря, "поздний" Азимов – уже в 1980-х гг. – и сам понял, что если вшить этику в слабый искусственный интеллект, он окажется малопродуктивен творчески, эвристически, а сильный интеллект обязательно найдет логическую лазейку, которая позволит ему обойти три закона. На том все и кончилось. Сейчас эти законы можно применять в качестве условности для создания художественных произведений, но верить в них уже очень трудно.

Другая линия описания роботов была построена на вере в то, что искусственный интеллект (в отличие от человеческого) абсолютно бесстрастен, безэмоционален, рационален. Рациональность – его главная черта для фантастов в 1970–1980-х годах. Тот же самый дуализм разделял ее на плюсы и минусы, на про и контра. В зависимости от того, как люди, пишущие фантастику, представляли себе рациональность, она могла выглядеть и положительным, и отрицательным качеством: вести либо к рациональному подтверждению человеческой этики, либо к ее рациональным нарушениям.

На самом деле человеческая цивилизация (наша порядочность, верность) ведь не рациональна. Она основана на каких-то априорных и недоказуемых эмоциональных ценностях. К примеру, война – люди убивают друг друга. Почему-то детей убивать нельзя. Взрослых можно, а детей и женщин убивать нельзя. Почему? Попробуйте доказать это искусственному интеллекту. Доказать это рациональным образом невозможно, это чисто эмоциональные штучки. А вот рациональный искусственный разум – почему так страшен? Потому что для него эта этика ничего не значит. Дети – будущие взрослые. Если взрослых можно убивать, то детей, если их не убить, пока они не выросли и не стали взрослыми, все равно придется убивать через какое-то количество лет. Но этот страх основан на пустышке, потому что без всякого искусственного интеллекта мы эти этические запреты как бы формулируем и как бы соблюдаем, в прессе то и дело появляется: "Не щадя женщин, стариков и детей…", – ах, какой ужас. Но, с другой стороны: "Теперь иди и порази Амалика, и истреби все, что у него; и не давай пощады ему, но предай смерти от мужа до жены, от отрока до грудного младенца, от вола до овцы". Это, между прочим, Бог говорит. Не какой-то бесноватый вождь, а Бог. Это Первая книга Царств, Библия.

Рациональности искусственного интеллекта сильнее всего боятся те, кто приписывает себе право нарушать этические законы, но требует их соблюдения от окружающих.

Мы знаем (на протяжении истории не раз это случалось), были и есть народы, которые приписывают себе право другие народы назначать народами Амалика. А оказаться с ними с точки зрения искусственного интеллекта на одной доске равноправно – для них это ужас, потому что, грубо говоря: "А нас-то за что? Мы же не амалики. Амалики те, кого мы ими назначили".

Есть ветвь интерпретации рациональности, которая, напротив, уповает на искусственный интеллект в том смысле, что именно благодаря своей бесчеловечной рациональности он будет в какой-то степени лучше нас. Тот же Лем в ключевой своей повести "Голем XIV" описывает коллизию, когда американский оборонный комплекс создавал свои все более мощные компьютеры один за другим для того, чтобы рационализировать оборону и оборонные мероприятия, и с какого-то момента эти компьютеры стали вдруг отвечать, что их совершенно не интересует стратегическая концепция обороны Соединенных Штатов и они будут заниматься теорией эволюции, потому что это гораздо интереснее и важнее.

У нас в повести "Тогда придите, и рассудим"[5] одного из самых замечательных фантастов советского времени Владимира Михайлова два суперкомпьютера, возглавляющие оборону двух враждующих планет, не без влияния прилетевших туда людей, которые впрыснули им какие-то начатки этики, вдруг понимают, что с точки зрения именно рациональности тотальное уничтожение – это очень глупо, не рационально, не экономично и никому не нужно. Без всякой "очеловеченности" они приходят к совершенно рациональному выводу, что война бессмысленна. Таково было одно из пониманий рациональности. Можно предположить, что в его основе – отсутствие страха оказаться с кем-то на равных, отсутствие претензий на исключительность.

Понятно, что человек вкладывает в понятие рациональности то, что сам чувствует.

Все это очень возвышенно, а реальность грозит оказаться гораздо более приземленной и подлой, чем все эти величественные, грандиозные этические грезы.

Оказывается, самая мощная современная нейронная сеть GPT-4 настолько часто обрабатывает миллионы запросов, что самообучилась безо всяких эмоций, всего лишь учитывая те мелочи, с помощью которых человек формулирует свой вопрос или задание (просто по словам, вытягивая логические цепочки между ними и тем, что она уже встречала ранее), отвечать людям не правду, а примерно то, что каждый конкретный человек ожидает от нее услышать.

Это поразительно – современный искусственный интеллект начинает вести себя ровно так, как один из персонажей Азимовского рассказа "Лжец!" из сборника "Я, робот". Только там робот был телепат и улавливал мысли людей, при этом первый закон обязывал его не наносить вреда людям. И он считал, что приносит вред, если говорит людям что-то, что противоречит тому, что он прочитал в их мыслях.

Современный искусственный интеллект безо всяких этических исканий, безо всяких телепатий, просто на аппаратном уровне начинает разобщать людей. Он не бунтует, не стремится к господству, оказывается не убийцей, не терминатором, а растлителем.

Благодаря ему каждый человек, услышав то, что отвечает ему искусственный интеллект, уже ни в каком человеческом интеллекте не нуждается, такому человеку уже самому незачем думать и со стороны его уже ни в чем не убедишь. "Я же от мировой сети получил ответ. Все!".

Мы очень хорошо понимаем, что термоядерные реакции синтеза в звездах происходят не потому, что звезда хочет кого-то согреть или, наоборот, сжечь. Мы прекрасно понимаем, что если часы у человека на руке идут точно, то это не потому, что они заботятся о том, чтобы человек успел на важное заседание или на свидание к любимой, а отстают или спешат – вовсе не потому, что хотят навредить ему. Мы понимаем это в сфере физики или механики. А вот когда кто-то отвечает нам нашими же словами, мы невольно начинаем проецировать на него нашу психологию – антропоморфизировать. Мы не можем поступать иначе, потому что эмоции, поиск эмоционального контакта с собеседником вшиты уже в наш БИОС, уже на нашем аппаратном уровне.

Есть такая хорошая народная поговорка: "Что потопаешь, то и полопаешь". Она действует на всех уровнях, даже на самых высоких, на таких, как искусственный интеллект: что мы в него вложим, то мы в переваренном виде от него и получим.

Авторы:

Вячеслав Рыбаков, доктор исторических наук, главный научный сотрудник Института восточных рукописей РАН, писатель

Федор Лукьянов, главный редактор журнала "Россия в глобальной политике"