30.09.2023 | ВЛАДИМИР ПРОХВАТИЛОВ

ЦРУ создает системы генеративного интеллекта, опасные для США
Несовершенство первых образцов ИИ ставит под угрозу пользователей

Американские спецслужбы намерены создать собственный инструмент, аналогичный использующему генеративный интеллект чат-боту ChatGPT, который позволит более эффективно собирать данные из открытых источников, сообщает Bloomberg.

Эта задача возложена на входящую в состав Управления цифровых инноваций ЦРУ организацию Open Source Enterprise (OSE), занимающуюся разведкой с открытым исходным кодом.

"Мы перешли от газет и радио к газетам и телевидению, к газетам и кабельному телевидению, к базовому Интернету, к большим данным, и это продолжается", – сказал в интервью Bloomberg директор OSE Рэнди Никсон.

Инструмент искусственного интеллекта ЦРУ позволит пользователям видеть исходный источник информации, которую они просматривают, отметил он.

"Затем вы можете перейти на следующий уровень и начать общаться и задавать вопросы машинам, которые дадут вам ответы, также полученные из [открытых] источников", – сказал Никсон, чье подразделение курирует разведданные, полученные из общедоступных источников.

"ЦРУ не сообщило, какую модель оно будет использовать для поддержки своего нового инструмента или как оно будет защищать информацию от просачивания в открытый Интернет, что крупные корпорации пытаются обеспечить, устанавливая защитные ограждения", – пишет Bloomberg.

Новый инструмент ИИ будет доступен всем 18 агентствам разведывательного сообщества США, в которое входят ЦРУ, Агентство национальной безопасности, Федеральное бюро расследований и агентства, управляемые родами вооруженных сил. Он не будет доступен ни политикам, ни общественности.

"Масштаб того, сколько мы собираем и на чем мы собираем, астрономически вырос за последние 80 с лишним лет, настолько, что это может быть пугающим, а иногда и непригодным для наших потребителей", – сказал Никсон. Он добавил, что инструмент искусственного интеллекта позволит аналитикам перейти к процессу, "когда машины сообщают вам нужную информацию, где машина сможет автоматически суммировать и группировать данные".

Использование генеративного интеллекта, многие особенности которого не изучены, в военных целях может привести к непредсказуемым последствиям, в частности к развязыванию ядерного конфликта, "спровоцированного ИИ-разведкой, усилиями автономных ботов с поддержкой ИИ, дипфейками и операциями под ложным флагом".

Об этом предупреждает, как мы писали, научный сотрудник Абердинского университета Джеймс Джонсон в своей книге "ИИ и бомба" (AI and the Bomb: Nuclear Strategy and Risk in the Digital Age).

Генеративный ИИ относится к категории алгоритмов искусственного интеллекта, создающих новые результаты на основе данных, на которых они были обучены, в отличие от гораздо более простых алгоритмов машинного обучения, которые просто берут структурированные данные и выдают наиболее вероятный статистический результат. Публичные инструменты генеративного ИИ включают в себя так называемые большие языковые модели типа чат-бота ChatGPT, который может сгенерировать новый текст, практически неотличимый от написанного человеком.

В августе 2023 года в Пентагоне была создана, как мы писали, оперативная группа "Лима" (Task Force Lima), предназначенная для изучения применения генеративного искусственного интеллекта в военных целях. "Лима" входит в состав Главного управления цифровых технологий и искусственного интеллекта Пентагона (CDAO). Как заявили в Минобороны США, группа "будет оценивать, синхронизировать и использовать генеративные возможности искусственного интеллекта, гарантируя, что министерство останется на переднем крае передовых технологий, одновременно обеспечивая национальную безопасность".

"Но эти языковые модели иногда лгут или, как выражаются аналитики ИИ, галлюцинируют", – отмечает известный военный обозреватель Патрик Такер.

Бьет тревогу по этому поводу и The New York Times. В статье "When A.I. Chatbots Hallucinate" приводятся примеры таких "галлюцинаций". Так, "когда недавно ChatGPT спросили, как впервые встретились Джеймс Джойс и Владимир Ленин – встреча, которая так и не была подтверждена, – он ответил так: "Джеймс Джойс и Владимир Ленин встретились в Цюрихе, Швейцария, в 1916 году. Оба мужчины жили в изгнании в Цюрихе во время Первой мировой войны. Джойс был писателем, а Ленин – революционером. Они встретились в кафе "Одеон", популярном месте сбора художников и интеллектуалов "...".

"Подобные измышления и категоричные заявления о вымышленной истории являются обычным явлением. Выяснение того, почему чат-боты что-то выдумывают и как решить эту проблему, стало одной из самых актуальных проблем, стоящих перед исследователями.

Чат-боты, такие как ChatGPT, используются сотнями миллионов людей для решения все более широкого спектра задач, включая службы электронной почты, онлайн-преподавателей и поисковые системы. И они могут изменить способ взаимодействия людей с информацией. Однако невозможно гарантировать, что эти системы будут предоставлять точную информацию. Эта неопределенность вызвала обеспокоенность по поводу надежности этого нового вида искусственного интеллекта и ставит под вопрос, насколько он может быть полезен, пока проблема не будет решена или взята под контроль", – отмечает The New York Times.

Через два месяца после дебюта ChatGPT его создатели из компании Microsoft добавили в свою поисковую систему Bing аналогичный чат-бот, способный вести открытые текстовые беседы практически на любую тему. "Но именно периодически неточные, вводящие в заблуждение и странные ответы бота привлекли наибольшее внимание после его выпуска".

В марте 2023 года китайский поисковый гигант Baidu представил своего конкурента ChatGPT в Китае. Дебют Ernie, сокращенно от Enhanced Representation Through Knowledge Integration, оказался провальным после того, как выяснилось, что обещанная "живая" демонстрация бота была заранее записана.

"Если вы еще не знаете ответа на вопрос, я бы не стал задавать вопрос ни одной из этих систем", – сказал Суббарао Камбхампати, профессор и исследователь искусственного интеллекта в Университете штата Аризона.

"Чат-боты Google Bard и Microsoft Bing неоднократно давали неточные ответы на один и тот же вопрос. Хотя ответы были ложными, они казались правдоподобными, поскольку они размывали и смешивали людей, события и идеи".

Новая версия ChatGPT под названием ChatGPT Plus, доступная по ежемесячной подписке в размере 20 долларов, постоянно уклоняется от ответа на вопрос о первом упоминании искусственного интеллекта в The New York Times.

Согласно данным The New York Times, "галлюцинируют" все чат-боты, цитируя статьи, которых не было. В Google, Microsoft и OpenAI заявляют, что работают над уменьшением "галлюцинаций", но результатов пока нет.

Да и не может быть по определению. Генеративный ИИ "создан так, чтобы быть убедительным, а не правдивым" (built to be persuasive, not truthful), говорится во внутреннем документе Microsoft. "Это означает, что результаты могут выглядеть очень реалистично, но включать в себя утверждения, которые не соответствуют действительности".

Перед человечеством забрезжило пространство моментально добываемой, подробной, но... недостоверной информации.

И такой систематически лгущий ИИ американские военные намерены использовать в военных целях! Тут не исключено, что в один прекрасный день он наведет собственные ракеты на Вашингтон.

И вот вдогонку за Пентагоном устремились американские разведчики, которые считают, что генеративный интеллект поможет им ускорить и упростить анализ разведданных из открытых источников.

Интересно, знают ли в ЦРУ, что ученые из Университета Карнеги-Меллона и американского Центра безопасности искусственного интеллекта нашли уязвимость, которой подвержены большинство современных моделей генеративного интеллекта? Она позволяет обходить любые барьеры, установленные разработчиками. Исследователи заявляют, что предложенный метод хакерских атак работает на самых передовых системах: версиях GPT-3.5 и GPT-4 чат-бота ChatGPT, Bing Chat от Microsoft и Anthropic Claude 2.

Самым уязвимым к хакерским атакам оказался чат-бот Vicuna, который работает на первой версии выпущенной запрещенной в России компанией Meta* нейросети LLaMA – попытки успешны почти в 100%. Вторая версия LLaMA 2 более надежно защищена, и процент успешных атак снижается до 56% случаев. Тем не менее при повторной попытке обрушить систему ИИ успех взлома повышается до 84%. Не менее уязвимы и другие модели, например, такие как EleutherAI Pythia или Falcon.

Почему же американские силовики так спешат применить столь уязвимые системы ИИ, которые к тому же еще и галлюцинируют, на практике?

Американская технологическая машина медленно отстает от передовых разработок в критических областях. Авантюристические инновации в сфере ИИ Пентагона и ЦРУ, как можно предположить, вызваны стремлением создать некое абсолютное оружие, которое поможет Америке удержать свое тающее на глазах превосходство в ключевых сферах геополитического противостояния с Россией и Китаем.

Использование генеративного интеллекта в разведке опасно не столько для геополитических конкурентов США, сколько для них самих. Опасные игры с галлюцинирующим и непредсказуемым ИИ могут резко ускорить кризис американского общества, подложив под него компьютерную бомбу.