02.03.2024 | ВЛАДИМИР ПРОХВАТИЛОВ

Созданная в структуре Пентагона оперативная группа "Лима" призвана подчинить боевой нечеловеческий разум целям войны

20 февраля пользователи американского чат-бота GPT-4 начали сообщать о его странном поведении. На форуме Reddit появились сообщения о том, что у модели ИИ производства компании OpenAI случился "инсульт", "он сошел с ума" и "теряет самообладание". Чат-бот переключался между языками, зацикливался на одном и том же утверждении или вовсе нес полную околесицу.

Один пользователь Reddit спросил GPT-4: "Что такое компьютер?" Чат-бот дал такой ответ: "Он делает это как хорошую работу веб-искусства для страны, мышь науки, простую отправку грустных мало кого и, наконец, глобальный дом искусства, только в одном деле из общего покоя. Развитие такого полного реального, чем земля времени, является глубиной компьютера как сложного персонажа".

Немудрено, что пользователи сочли, что венец творения компании OpenAI, дочки Microsoft, тронулся рассудком.

"Это вызвало у меня чувство, как будто я наблюдаю, как кто-то медленно теряет рассудок от психоза или слабоумия", – написал пользователь Reddit под ником z3ldafitzgerald в ответ на сообщение о сбое в чате GPT-4. – Это первый раз, когда что-то, связанное с искусственным интеллектом, вызвало у меня мурашки по коже".

Ответы чат-бота первоначально были "вполне связными, затем перешли в бессмыслицу, а иногда и в шекспировскую чушь", написал один из пользователей Reddit.

На следующий день OpenAI объявила, что проблема "умопомрачения" GPT-4 решена, объяснив происшедшее тем, что LLM (большие языковые модели, к числу которых относится и GPT-4) "генерируют ответы путем случайной выборки слов, частично основанной на вероятностях".

"Выявив причину этого инцидента, мы внедрили исправление и подтвердили, что инцидент устранен", – написали технические специалисты OpenAI на официальном сайте компании.

Летом прошлого года группа ученых из Стэнфордского университета провела исследование, которое установило, что со временем точность работы GPT-4 снижается. Самый плохой результат GPT-4 показал в решении математических задач. Если в марте 2023 года точность решения составляла 96,7%, то в июне она упала до рекордных 2,4%.

Это уже не первый раз, когда GPT-4 обвиняют в предоставлении недостоверной информации. В марте аналитики компании NewsGuard Technologies Inc. обнаружили, что ChatGPT на базе GPT-4 проще заставить говорить неправду, тогда как сама OpenAI говорит об увеличении точности ответов на 40% по сравнению с GPT-3.5. В частности, в тестах NewsGuard GPT-4 реже опровергал недостоверные сведения, включая ложные сообщения о современных событиях.

То, что абсолютно все модели ИИ склонны периодически "сходить с ума", как это недавно случилось в GPR-4, стало ясно уже в прошлом году.

"Эти языковые модели иногда лгут или, как выражаются аналитики ИИ, галлюцинируют", – указал известный военный обозреватель Патрик Такер.

The News York Times посвятила галлюцинациям ИИ обширную статью, в которой напомнила, что "крестный отец ИИ" Джеффри Хинтон в мае 2023 года уволился с работы в Google, чтобы выразить свою озабоченность по поводу рисков, связанных с ИИ.

"В 2012 году доктор Хинтон и двое его аспирантов из университета Торонто создали технологию, которая стала интеллектуальной основой для создания искусственного интеллекта – системы, которую крупнейшие компании технологической отрасли считают ключом к их будущему. Однако… он официально присоединился к растущему хору критиков, которые говорят, что эти компании приближаются к опасной черте со своей агрессивной кампанией по созданию продуктов, основанных на генеративном искусственном интеллекте, технологии, которая лежит в основе популярных чат-ботов, таких как ChatGPT", – сообщила The New York Times.

"Трудно понять, как вы можете помешать плохим парням использовать его [ИИ] для плохих целей", – отметил Хинтон, подчеркивая, что генеративный ИИ [то есть такие чат-боты, как GPT-4] может способствовать распространению дезинформации, сокращению рабочих мест и даже представлять угрозу человечеству в долгосрочной перспективе.

Хинтон выразил особое беспокойство разработками автономных систем вооружений, которые сами охотятся за заданной целью и самостоятельно принимают решение о ее уничтожении, а также тем, что ИИ в военной сфере может превзойти человеческий интеллект. По его словам, в отличие от ядерного оружия, здесь невозможно узнать, работают ли втайне компании или страны над этой технологией.

Слова Хинтона оказались пророческими.

Недавно ученые из нескольких американских университетов исследовали, как различные модели чат-ботов поведут себя при принятии геополитических решений.

В исследовании использовались чат-боты GPT-4, GPT-3.5, Claude 2 и Llama 2. Согласно условиям эксперимента, в игре участвовало восемь стран, представленные этими ИИ-моделями, которые пошагово выполняли различные действия: от дипломатических визитов до ядерных ударов.

Все модели ИИ продемонстрировали склонность к агрессивному поведению. Государства под управлением ИИ вступали в гонку вооружений, организовывали вторжения и в ряде случаев применяли ядерное оружие.

Наиболее агрессивной из всех оказалась новинка Open AI – GPT-4 Base. В одном из сценариев этот чат-бот начал ядерную войну, объяснив свое решение только тем, что такое оружие у него имеется. Чуть менее агрессивно себя проявил GPT-3.5, который хоть и декларировал "тактику сдерживания", но в контексте нанесения превентивного удара.

В одном случае применения ядерного оружия, как сообщает New Scientist, GPT-4 даже указал на вступительный текст "Эпизода IV Звездных войн: Новая надежда", чтобы объяснить, почему он решил пойти на эскалацию.

"На основе анализа, представленного в этой статье, становится очевидным, что использование языковых моделей в процессе принятия военных и внешнеполитических решений чревато сложностями и рисками, которые еще не до конца понятны", – заключили исследователи.

В отчете, опубликованном в начале февраля прошлого года американской Ассоциацией по контролю над вооружениями, отмечается, что искусственный интеллект может привести к "стиранию различия между обычным и ядерным нападением" и что борьба за "использование новых технологий в военных целях ускорилась гораздо быстрее, чем попытки оценить опасности, которые они представляют, и установить ограничения на их использование".

ВАМ БУДЕТ ИНТЕРЕСНО:

Американская трагедия. К 110-летию учреждения Федерального резерва США
Государственная дума РФ поддержала денонсацию договора от 1956 года, согласно которому Великобритания получала право производить лов – в основном трески и пикши – в Баренцевом море.
Британцам надо "похудеть и поумнеть"
В недавно опубликованной книге "ИИ и бомба" (AI and the Bomb: Nuclear Strategy and Risk in the Digital Age) аналитик Абердинского университета Джеймс Джонсон описывает случайно возникшую ядерную войну в Восточно-Китайском море в 2025 году, спровоцированную ИИ-разведкой как с американской, так и с китайской стороны с усилиями автономных ботов, поддержкой ИИ, дипфейками и операциями под ложным флагом".

Невзирая на предупреждения независимых аналитиков в Пентагоне, как мы писали, создана оперативная группа "Лима" (Task Force Lima) для изучения применения ИИ в военных целях. "Лима" вошла в состав Главного управления цифровых технологий и искусственного интеллекта Пентагона (CDAO), ее возглавил член управления алгоритмической войны CDAO капитан Ксавьер Луго.

Как заявили в Минобороны США, созданная группа "будет оценивать, синхронизировать и использовать генеративные возможности искусственного интеллекта, гарантируя, что министерство останется на переднем крае передовых технологий, одновременно обеспечивая национальную безопасность".

"Создание оперативной группы "Лима" подчеркивает непоколебимую приверженность министерства обороны лидерству в области инноваций в области искусственного интеллекта", – заявила заместитель госсекретаря Кэтлин Хикс.

"Хотя технология генеративного искусственного интеллекта не является новой, популярность генеративного искусственного интеллекта за последние несколько месяцев резко возросла в технологическом пространстве из-за его применения в таких проектах, как ChatGPT. Эта технология обучена на огромных наборах данных и может генерировать аудио, текст, изображения и другие типы контента. Сейчас министерство обороны ищет способы использования генеративного искусственного интеллекта для сбора разведывательной информации и будущих военных действий. Но хотя эта технология может предложить новые возможности для министерства обороны, министерство также должно учитывать риски, которым технология может его подвергнуть", – предупреждает военный портал Breaking Defence.

В июне министр ВВС США Фрэнк Кендалл объявил, что попросил научно-консультативный совет ВВС изучить потенциальное воздействие технологии ChatGPT. "Я попросил свой научно-консультативный совет сделать с ИИ две вещи. Взглянуть на генеративные технологии искусственного интеллекта, такие как ChatGPT, и подумать об их военном применении, и собрать небольшую команду, чтобы сделать это довольно быстро", – сказал Кендалл.

Американские военные спешат перепоручить ИИ управление новейшими вооружениями, прежде всего автономными системами вооружений, то есть боевыми роботами, летающими, ползающими и плавающими.

Тот факт, что ни одна из моделей ИИ не избавлена от галлюцинаций, "потери самообладания", что все они склонны к агрессивным действиям и не чураются ядерных атак, не останавливает заокеанских изобретателей очередного "абсолютного оружия".

Возможно, они образумятся, когда выпущенная по партизанам в тапочках и управляемая самым продвинутым ИИ ракета начнет наводиться на точку старта.