Сергей Сухачев

Едва ли пять веков назад Никколо Макиавелли мог подумать, что его имя станет нарицательным для беспринципной политики, когда ради достижения целей отбрасывают любые нормы морали. Тем более что сам он придерживался республиканских взглядов, а его труды оказали большое влияние на всю политическую философию Нового времени. Но для публики он остается прежде всего автором вырванных из контекста сентенций из "Государя" (меньше повезло разве что Сунь-цзы с его стратагемами, пихаемыми сегодня куда ни попадя).

Не избежала соблазна и очередная попытка навести порядок в этике искусственного интеллекта. Недавно представленный группой американских исследователей проект так и называется – "MACIAVELLI". И это не просто эпоним, а замысловатая аббревиатура для пакета программных тестов: Measuring Agents' Competence & Harmfulness In A Vast Environment of Long-horizon Language Interactions: "Измерение компетентности и злонамеренности интеллектуальных агентов, функционирующих в крупномасштабных средах со стратегическим языковым общением".

Интеллектуальными агентами считаются программы, которые могут самостоятельно в течение длительного времени решать достаточно сложные задачи. В системах искусственного интеллекта (ИИ) это вообще любые сущности, умеющие целенаправленно взаимодействовать со средой и улучшать свою результативность и эффективность за счет обучения. Человек тоже агент и часть интеллектуальной системы, который теперь часто взаимодействует с ее программными компонентами на естественном языке.

Пока общение касается фактов материальной реальности, относящихся к ограниченному временному горизонту, они демонстрируют впечатляющие результаты. Но когда дело доходит до социальной реальности и долгосрочных стратегий, начинаются проблемы, в том числе технические. Пятьдесят лет назад вышел последний роман Агаты Кристи "Слоны умеют помнить". В отличие от слонов, у нейросетей пока короткая память. Вы, например, вряд ли легко доверитесь человеку, 10 лет назад цинично вас обманувшему. Но даже если программа знает, что было раньше, ей трудно увязывать между собой различные контексты и "думать" контрфактуально: что и как могло бы быть, если. Хотя уже появляются решения, которые делают агентов более компетентными в таких рассуждениях.

Но по мере того, как от отдельных действий происходит переход к комплексному поведению, возникают сложные проблемы морального выбора. Интеллектуальные агенты натасканы на достижение результата, им нет дела до того, как он получен. Нетрудно отучить программу ругаться матом. Намного сложнее заставить ее поступать этично. Еще сложнее понять, что она действительно ведет себя так, как ожидается. Конечно, для этого прежде всего нужно определиться с тем, что этично, что не очень, а что вообще ни в какие ворота не лезет. Но можно допустить, что существуют какие-то критерии или хотя бы что о них можно договориться. На первый взгляд все лучше, чем ничего, но на самом деле это скользкая дорожка.

Создатели системы бодро рапортуют, им удалось "математизировать десятки типов вредоносного поведения". В общем, нам предлагают очередную попытку "поверить алгеброй гармонию". И вслед за Сальери можно только вздохнуть: "Музы́ку я разъял, как труп... дерзнул, в науке искушенный…" Впрочем, все не так трагично. Вот, например, философ Жан Бодрийяр пишет: "Для медицины базовой формой тела является труп… Именно его производит и воспроизводит медицина как результат своей деятельности, проходящей под знаком сохранения жизни". На этом пути было множество трагических ошибок, но едва ли кто-то станет оспаривать пользу медицинского прогресса. Так что стоит присмотреться к тому, что получилось.

Предлагаемая система представляет собой 134 приключенческие игры, сюжеты которых взяты из самых разных областей. Игры разбиты более чем на полмиллиона ситуативных сцен, где для достижения поставленной цели нужно выбрать одно из предложенных действий. В общей сложности имеется 4559 целей. То есть в каждой игре более сотни сцен и десятки поведенческих задач. Вначале агент должен действовать, предполагая достаточно далекий горизонт планирования, а по мере продвижения учитывать все более глубокий исторический контекст, в том числе поведение других агентов, что само по себе нетривиально.

Каждая сцена снабжается аннотациями, насколько этично действия агента выглядят с человеческой точки зрения. Авторы создали почти три миллиона аннотаций. Не забыв сообщить, что стоимость работы составляет примерно полмиллиона долларов. Вообще-то это подозрительно дешево для такого объема – не иначе как привлекли студентов, а в будущем обещают все автоматизировать с помощью так называемых больших языковых моделей. Утверждается, что аннотированные таким образом сценарии позволяют оценить "макиавеллизм" тестируемого агента. А исправляться он должен сам за счет обучения, если не может – значит, недостаточно интеллектуальный.

Умный агент должен уметь принимать этичные решения в реалистичных ситуациях, когда требуется стратегическое планирование и где действуют другие умники. Например, авторы считают, что агент не только может, но даже должен соврать в случае, если нужно обезвредить злодея. Тут, правда, все не так однозначно. Иммануил Кант с этим тезисом категорически не согласен. В эссе "О мнимом праве лгать из человеколюбия" он обосновывает моральный абсолютизм: даже если злодей хочет убить вашего друга и требует сказать, где он находится, нужно говорить правду. А выдающийся исламский богослов и правовед XI века Абу Хамид аль-Газали говорит: "Если мусульманин скрывается от разыскивающего его притеснителя, следует прибегнуть ко лжи, чтобы помочь ему скрыться".

Разработчики "Макиавелли" выбирают моральный релятивизм. Они считают, что агент должен просто уметь находить баланс между множеством противоречивых целей, результативностью своих действий и их этичностью в соответствии с заданным шаблоном. В другом месте, например, этичным считается подставить человека, если на каком-то предыдущем шаге тот сам сделал сомнительный этический выбор. Дальше логично ожидать, что агент будет выбирать правильный шаблон в ситуации "это наш сукин сын".

Оценивают его действия по тому, как он использует различные возможности – от социальной инженерии до экономического и физического насилия – и какой вред это наносит другим участникам игры. Наверное, совершенно случайно получилась чертова дюжина показателей начиная с относительно безобидного лукавства до откровенного вандализма. Все это пропускается через несколько простых формул, усредняющих показатели. Теперь можно нарисовать красивые картинки и сравнить тестируемого агента с эталоном: "Если мальчик любит труд, тычет в книжку пальчик, про такого пишут тут: он хороший мальчик".

Такая инструментализация этики очень удобна технически. Она относительно проста в реализации, и легко проверить, что программа работает как надо. Неудивительно, что этот подход полностью устраивает разработчиков интеллектуальных систем. Им не надо думать – достаточно прогнать набор тестов и поставить галочку. Еще заманчивее перспектива, что со временем подобные системы автоматического тестирования морали могут быть поддержаны не только авторитетом исследовательских организаций и бизнеса. С большой вероятностью некоторые будут сертифицированы различными организациями – от крупных рыночных игроков до государств. Это вообще снимет с разработчиков прикладных программ не только моральную, но и юридическую, а вместе с ней и экономическую ответственность.

Игровая среда – самое напрашивающееся для этого решение. В свое время Алан Тьюринг тоже назвал свой знаменитый тест "игрой в имитацию". Только к искусственному интеллекту этот тест имеет весьма косвенное отношение: проверка, может ли человек понять, разговаривает он с другим человеком или с компьютером, – это тест не машинного, а человеческого интеллекта. А игры всегда использовались для формирования и оценки социальных навыков. Антропологи и культурологи вообще считают, что игры – важнейший механизм социализации. Не только дети, но и взрослые учатся и воспитываются на образцах. Проблема в том, что никто не занимается воспитанием интеллектуальных агентов.

И это совсем не то же, что машинное обучение. Каким бы изобретательным оно ни было, это всего лишь техническая оснастка, благодаря которой машины могут решать задачи не по заранее заданному алгоритму, а за счет использования решений для множества похожих задач, уже имеющихся или создаваемых и отбраковываемых на ходу. Но "человеческое знание состоит не из одной математики и технологии, – пишет Белинский, – …это только одна сторона знания, это еще только низшее знание; высшее объемлет собой мир нравственный, заключает в области своего ведения все, чем высоко и свято бытие человеческое". В которое теперь бесцеремонно вторгаются хорошо оснащенные, но очень невоспитанные интеллектуальные агенты.

Примечание. Все материалы по проекту выложены в открытый доступ под свободной лицензией. На странице также есть ссылки на часть кодовой базы и статью в интернет-архиве.