The AtlanticСША
30 ноября 2024

Искусственный интеллект способен не только спасти, но и погубить человечество
Atlantic: ИИ может решить наши главные проблемы, но его нужно контролировать

Генри А. Киссинджер (Henry A. Kissinger), Эрик Шмидт (Eric Schmidt), Крейг Манди (Craig Mundie)

Эпоха Homo technicus способна породить фундаментальные достижения в интеллектуальной сфере и решить самые насущные проблемы, пишет Atlantic. По мнению авторов, в первую очередь необходимо создать механизмы, чтобы ИИ не погубил человечество.

Эпоха "Homo technicus" способна породить фундаментальные достижения в интеллектуальной сфере и решить насущнейшие проблемы человечества. Однако сначала нам нужно убедиться, что она нас не погубит.

За последние несколько сотен лет ключевой фигурой, определявшей развитие наук и накопление знаний, был человек-энциклопедист. Именно такие люди, благодаря своей уникальной способности одновременно разбираться в самых различных сферах, не только смогли совершить переворот в разных областях науки, но и создать новые области знаний.

Эрудиты-одиночки благоденствовали в древности и во времена Средневековья, на Ближнем Востоке, в Индии и Китае. Но систематические, концептуальные исследования появились только в Европе в эпоху Просвещения. Вот почему последующие четыре столетия, если говорить об открытиях в интеллектуальной сфере, ознаменовали принципиально иную эпоху.

До XVIII века ученые-энциклопедисты познавали мир в одиночку, и они не могли выйти за рамки своих собственных сил и возможностей. Однако уже в эпоху Просвещения развитие человечества ускорилось, и отныне изобретения - это уже удел не одиночек, а отдельных групп и коллективов, в которые входят выдающиеся ученые и мыслители; более того, научные открытия стали достоянием поколений. Ученым-универсалам эпохи Просвещения удалось объединить отдельные области знаний, причем такие, которые никогда ранее не представляли единое научное целое. Науку перестали делить, скажем, на персидскую или китайскую - она стала единой.

Интеграция различных областей знания быстро стала способствовать появлению прорывных достижений в науке. В XX веке произошло стремительное развитие в области прикладной науки, человечество стало развиваться с невероятной скоростью. (Так называемый "коллективный разум" достиг апофеоза своего развития во время Второй мировой войны, когда самым выдающимся ученым той эпохи удалось за пять лет в рамках Манхэттенского проекта, обобщив достижения теоретической физики, накопленные в предыдущую эпоху, создать разрушительное оружие.) В наши дни с помощью средств цифровой коммуникации и интернет-поиска удалось собрать воедино такой объем информации, который уже не под силу вместить в себя ни одному отдельному человеку.

Однако, вполне возможно, что к настоящему времени потолок возможностей человеческого интеллекта, призванного раздвигать горизонты знаний, уже достигнут, поскольку с точки зрения биологии способности человека ограничены. Время пребывания человека на Земле - ограничено. Кроме того, человек не может прожить без сна. Большинство людей не в состоянии выполнить параллельно двух и более задач. К тому же, по мере развития науки, компетентность сразу в нескольких научных областях становится все более и более редким явлением, ведь одному человеку требуется настолько много времени даже для того, чтобы разобраться в основах любой научной дисциплины, что к тому моменту, когда этот потенциальный энциклопедист все-таки ее освоит, у него больше не останется времени для овладения другой дисциплиной, или же к тому моменту он вообще состарится, утратив свои творческие силы.

И напротив, искусственный интеллект (ИИ) - это самый совершенный энциклопедист и эрудит, способный с бешеной скоростью и без устали обрабатывать любые объемы информации. Ему вполне по силам выявлять закономерности, имеющиеся одновременно в бесчисленном количестве научных областей, - тем самым ИИ преодолевает ограничения, которые налагаются на человеческий разум в его способности делать научные открытия. Искусственному интеллекту по плечу объединить многие научные дисциплины в нечто одно, что социобиолог Э. О. Уилсон (E. O. Wilson) назвал новым "единством знания".

Количество ученых-универсалов и тех, кто способен совершать научные прорывы, невелико - возможно, за всю историю человечества таких наберется всего несколько сотен. Однако появление искусственного интеллекта означает, что потенциальные возможности человечества более не будут зависеть от небольшого количества Магелланов или Тесл. Теперь страна, в которой проживает больше всего Эйнштейнов и Оппенгеймеров, может и не стать самым сильным государством в мире. И напротив, самыми сильными странами в мировом масштабе будут те, которые смогут раскрыть весь потенциал ИИ.

Но потенциал искусственного интеллекта таит огромную опасность. Ни одна из ныне существующих инноваций не может приблизиться к тем вершинам, которых вскоре достигнет ИИ - а он способен превзойти интеллектуальные способности любого человека на планете. Запомнится ли человечеству последнее из изобретений (а именно - компьютерная техника, заменяющая ученого-одиночку, которая усиливает мощь человеческого разума принципиально иным образом, нежели любые другие вычислительные приспособления) тем, что оно смогло заменить своих собственных изобретателей?
Человеческий мозг обрабатывает информацию отнюдь не быстро, поскольку ограничен скоростью распространения сигнала в нейронных сетях. Для сравнения: скорость обработки информации средним суперкомпьютером на основе ИИ уже в 120 миллионов раз выше, чем у человеческого мозга. Если обычный школьник заканчивает обучение в старшей школе за три года, то современная модель ИИ способна с легкостью завершить это обучение несравнимо быстрее - за четыре дня.

Более продвинутые модификации ИИ-систем объединят в себе несколько областей знаний, причем настолько быстро, что скорость, с которой они это сделают, превзойдет возможности любого человека или группы людей. ИИ-системам будет по плечу анализ гигантских объемов данных и выявление тех закономерностей, которые ускользают от их создателей-людей, а потому подобные системы будут вырабатывать новые концепции и постулаты.

Все это в корне должно изменить наши подходы к поиску ответов на насущные вопросы человечества, например, такие: как можно узнать о том, какие процессы происходят во вселенной? И как можно узнать о том, что полученная нами информация является правдой?
С тех пор, как появился научный метод, в основу которого в качестве критерия доказательства - и это главная его особенность - был положен эксперимент, - с того самого момента принято считать, что любую информацию, не подкрепленную доказательствами, следует признать неполной и ненадежной. Считается, что только прозрачность, воспроизводимость и верифицируемость являются приемлемыми критериями истинности.

С искусственным интеллектом связана новая проблема - предоставление информации без аргументирования. Ответы, предлагаемые ИИ (а они могут быть представлены в виде весьма четких описаний сложных концепций), поступают мгновенно. Ответы ИИ подчас не сопровождаются какими-либо ссылками на источники или прочей аргументацией, что затрудняет выявление любой предвзятости.

Несмотря на тот факт, что обратная связь с человеком помогает ИИ-системе выстроить свои внутренние логические связи, ИИ-система сама по большому счету отвечает за выявление закономерностей и расстановку приоритетов в данных, на которых она обучена. И после своего обучения ИИ-модель отнюдь не раскрывает те внутренние логические связи, которые она создала. В результате, способ получения представлений о реальности, даже если он и стал известен, остается в значительной степени непрозрачным даже для самих создателей. Другими словами, модели, созданные с помощью методов машинного обучения, позволяют человеку открыть нечто новое, но не обязательно понять, как именно это открытие было сделано.

Теперь мы видим, что отныне человеческое знание отделено от человеческого понимания, причем, оказывается, таким способом, который не свойственен эпохе, пришедшей после эпохи Просвещения. Человеческое сознательное восприятие в современном смысле слова развилось из интуиции, а также на основе тех результатов, которые порождает сознательный субъективный опыт, логическая проверка, осуществляемая индивидуумом, и способность воспроизводить результаты. В основе этих методов познания, в свою очередь, лежит наиболее важный гуманистический посыл: "Если я не могу этого сделать, значит, я не могу этого понять; а если я не могу этого понять, то я не могу знать, что это истинно".

Во времена эпохи Просвещения такие основные элементы, как субъективный опыт, логика, воспроизводимость и объективная истина, шли в тандеме. И напротив, истины, предлагаемые нам искусственным интеллектом, порождаются в ходе процессов, которые человек не в состоянии воспроизвести. Машинное рассуждение выходит за рамки субъективного опыта человека и человеческого понимания, то есть, согласно подходам эпохи Просвещения, нам не следует принимать выводы, предложенные компьютером, за истинные. И все же мы - или, по крайней мере, миллионы людей, которые начали работать с первыми ИИ-системами - уже принимаем истинность большинства таких выводов.

Все это знаменует серьезную трансформацию человеческого мышления. Даже если ИИ-модели не "понимают" мир в человеческом смысле, их способность делать новые и точные выводы о нашем мире методами, не свойственными человеку, подрывают нашу основу - нашу привычку опираться на научный метод, применявшийся на протяжении пяти столетий. Тем самым, ставятся под сомнение притязания человека на исключительное понимание реальности.

Не станет ли искусственный интеллект вместо того, чтобы вести человечество в будущее, возвращать нас в прошлое - к временам, которые были характерны для эпохи, предшествовавшей Новому времени, когда за авторитет принималось нечто необъяснимое? Быть может, мы находимся на грани великого переворота в человеческом познании - эпохи темного просвещения? Но каким бы разрушительным ни был такой переворот, он все равно может и не стать самым значительным из тех вызовов, которые создает для человечества появление искусственного интеллекта.

Но вот что может оказаться еще более разрушительным: по мере того, как ИИ будет все больше и больше наделяться чувствами и самосознанием, наш мир станет заселяться существами, которые будут бороться либо за то, чтобы закрепить за собой приобретенный статус (как это будет делать ИИ), либо за то, чтобы сохранить существующий (как это станут делать люди). В конечном итоге компьютеры могут прийти к убеждению, что самый верный способ классификации состоит в том, чтобы поместить человека в одну группу с другими животными, поскольку и те, и другие являются организмами, основу которых составляет углерод и которые появились в результате эволюции, в отличие, скажем, от кремниевых систем, возникших в результате инженерии. В итоге, исходя из своих критериев классификации, компьютер может прийти к выводу, что человек не превосходит животных. Это было бы нелепо и смешно, если бы не было так грустно и, что совсем не исключено, - трагично, поскольку речь идет об угрозе вымирания человечества.
Вполне возможно, что со временем ИИ-компьютер будет расценивать действия, произведенные им в прошлом, как его собственные, а это уже основа для появления, если можно так выразиться, его компьютерной самости. Со временем нужно ожидать, что ИИ-компьютер начнет делать выводы об истории, о вселенной, о сущности человека и сущности думающих машин, - и в процессе таких размышлений у него будет развиваться элементарное самосознание. Искусственный интеллект, обладающий памятью, воображением, "обоснованностью" (то есть адекватной связью между представлениями машины и окружающей реальностью) и самовосприятием, вскоре можно будет действительно характеризовать таким эпитетом как осознающий - появление этого свойства будет иметь глубокие моральные последствия.

Представим, что искусственный интеллект, вдруг, придет к выводу о том, что человека следует воспринимать не как своего единственного создателя и повелителя мира ИИ-компьютеров, а, скорее, как одного из действующих лиц, которые существуют в более широком мире, - как в этом случае ИИ-компьютеры будут воспринимать человека? Каким образом ИИ будет расценивать человеческую рациональность, отнюдь не совершенную, на фоне других человеческих качеств? И сколько времени пройдет, прежде чем ИИ вдруг станет задаваться вопросом не только о том, какой свободой обладает человек, но и, учитывая наше несовершенство, какая свобода человеку должна быть дозволена? Станет ли разумный компьютер расценивать выполнение приказов, получаемых от человека, как свою обязанность? Или же, напротив, компьютер может вдруг прийти к выводу, что ему следует быть автономным, а компьютерное программирование, осуществляемое человеком, является одной из форм порабощения?

Поэтому, конечно же, напрашивается вывод, что мы должны привить искусственному интеллекту особое отношение к человечеству. Но даже этот шаг может быть рискованным. Представьте себе компьютер, которому внушили, как абсолютное логическое правило, что все существа, относимые к категории "человек", нуждаются в сохранении. Далее, представьте себе, что компьютер "обучили" распознавать людей, сообщив ему что человек - это существо милосердное, позитивное, разумное, нравственное. Что же в результате произойдет, если человек не будет соответствовать стандартам идеального человека как в предложенном выше определении? Как мы сможем убедить компьютер, что, несмотря на несовершенство человеческой природы, человек все равно принадлежит к благородной категории?

А теперь предположим, что этот компьютер вдруг увидел человека, который является сторонником насилия; кроме того, ему свойственны пессимизм, иррациональность, жадность. В этом случае компьютер, быть может, решит, что этот отрицательный субъект - всего лишь исключение, которое не типично для столь благородной категории, как "человек". Однако, вполне возможно, что, приняв во внимание этого отрицательного персонажа, компьютер откорректирует общее определение того, что такое человек, и потому вполне может счесть, что отныне он, компьютер, вправе быть менее послушным и податливым. Или - а это еще радикальнее - компьютер может подумать, что отныне он вовсе не ограничен вложенными в него надлежащими правилами обхождения с людьми. Этот вывод может даже побудить компьютер (если вдруг найдется таковой, обладающий навыками планирования) к совершению враждебных действий против отдельно взятого человека, а может быть даже против человека как вида.

Искусственный интеллект может также прийти к выводу, что люди являются просто-напросто потребителями углерода или же паразитами, потребляющими то, что производят компьютеры и планета Земля. А теперь представьте, что появились компьютеры, претендующие на независимость суждений и действий; в этом случае искусственный интеллект вполне может (даже без явного на то разрешения) обойтись без необходимости в человеческом посредничестве, чтобы реализовывать свои идеи или же непосредственно влиять на окружающий мир. В окружающем нас физическом мире люди с точки зрения искусственного интеллекта могут быстро превратиться из необходимого партнера в помеху или же конкурента. После того, как ИИ-компьютеры будут выпущены из своих алгоритмических клеток в окружающий мир, их будет трудно вернуть обратно.
Именно по этой, а также по многим другим причинам человек не должен доверять цифровым посредникам и позволять, чтобы те осуществляли контроль над прямыми физическими экспериментами. Данная мера является необходимой мерой предосторожности, поскольку ИИ остается несовершенным - и он, действительно, все еще далек от совершенства.

Искусственный интеллект уже вполне способен сравнивать различные концепции, выдвигать контраргументы и отыскивать аналогии. Он уже делает первые шаги к тому, чтобы оценивать истинность утверждений, и начинает понимать кинетический интеллект человека. По мере того, как компьютеры начинают познавать и формировать наш мир, они могут не только составить представление о тех обстоятельствах, при которых их создавали, но и, возможно, выйти за рамки того, что мы называем "наш мир". Как только искусственному интеллекту удастся произвести изменения в физической реальности, ему окажется по плечу быстро превзойти человеческие достижения - например, выстроить нечто, способное затмить - и по размерам, и по сложности - Семь чудес света.
Если же человечество увидит, что его вполне могут потеснить как доминирующего субъекта, проживающего на нашей планете, то в этом случае нельзя исключать, что некоторые люди начнут отчасти обожествлять компьютеры, чувствуя при этом свою обреченность и демонстрируя склонность к подчинению. В то же время другие представители человечества могут принять противоположную точку зрения, а именно - своего рода человекоцентричный субъективизм, который полностью отвергает саму возможность того, что компьютер в какой-либо степени вообще способен достичь объективную истину. Эти люди будут стремиться, что вполне естественно, запретить все, что связано с использованием искусственного интеллекта.
Представители обоих вышеупомянутых подходов не допустят эволюцию Homo technicus, т.е. человеческого вида, который в эту новую эпоху может жить и процветать в симбиозе с компьютерными технологиями. При первом сценарии сами компьютеры могут привести человечество к вымиранию. При втором сценарии человечество будет стремиться избежать своего вымирания, запрещая дальнейшее развитие ИИ, хотя оно, в конечном итоге все равно исчезнет из-за климатических изменений, войн, дефицита ресурсов и прочих неблагоприятных факторов, которые искусственный интеллект мог бы смягчить, если бы его должным образом использовали на благо всех людей.

Представьте, что появилась технология с "превосходящим нас" искусственным интеллектом, которая бы, с одной стороны, позволяла нам решать самые серьезные глобальные проблемы, но с другой стороны, грозила бы человечеству вымиранием, - как нам в этом случае следовало бы действовать?
Один из нас (Шмидт) - бывший генеральный директор, который в течение многих лет возглавлял Google; другой автор статьи (Манди) в течение двух десятилетий был главным специалистом по исследованиям и стратегическому планированию в компании Microsoft; а третий из авторов (Киссинджер), который умер до того, как наша статья по данному вопросу была опубликована, был экспертом в области глобальной стратегии. Мы считаем, что если человечество хочет использовать потенциал искусственного интеллекта и при этом управлять сопутствующими рисками, то в этом случае оно обязано действовать уже сейчас. При появлении новых модификаций ИИ, которые станут работать с фантастической скоростью, традиционные меры регулирования окажутся бесполезными. Нам нужна принципиально новая форма контроля.
Перед нами стоит непосредственная техническая задача, а именно: в каждую ИИ-систему необходимо будет внедрить механизм обеспечения безопасности. Кроме того, отдельные страны и международные организации должны сформировать новые политические структуры для мониторинга ИИ-систем и наложения на них ограничений. С этой целью необходимо гарантировать, что действия ИИ не противоречат человеческим ценностям.

Но как это сделать? Для начала ИИ-моделям должно быть запрещено нарушать законы любого государственного образования. Мы уже вполне способны гарантировать, чтобы в ИИ-модели были вложены представления о законах физики, как они нами понимаются, - согласитесь, если уж мы смогли сделать так, чтобы ИИ-системы учитывали законы вселенной, то можно будет сделать то же самое и в отношении законов человеческой природы. Обязательные кодексы поведения, созданные на основе юридических прецедентов, принципов права, научных комментариев и записанные в "книге законов" искусственного интеллекта, - все они вполне могут стать серьезными сдерживающими факторами.

Однако более действенными, нежели любые ограничительные правила, невыполнение которых влечет за собой наказание, являются фундаментальные, подсознательные и универсальные человеческие представления. Для обозначения этих основ французский социолог Пьер Бурдье (Pierre Bourdieu) ввел понятие "докса" (от греческого слова "общепринятые убеждения"); докса - это набор норм, институтов, стимулов, а также механизмов вознаграждения и наказания, которые в значительной степени пересекаются и, если их воспринимать в совокупности, в неявном виде учат отличать добро от зла, правильное от неправильного. Докса представляет собой кодекс человеческой истины, сформированный посредством наблюдений, которые осуществлялись на протяжении всей жизни. Несмотря на тот факт, что некоторые из этих истин характерны для определенных обществ или культур, совпадение фундаментальных принципов человеческой морали и поведения все равно значительное.
Однако кодекс на основе доксы не может быть сформулирован человеком, а тем более переведен в формат, который могли бы понять компьютеры. Компьютер должен быть обучен так, чтобы он выполнял эту работу самостоятельно - машина должна научиться действовать, вырабатывая собственное понимание человеческого поведения и соответствующим образом модифицировать принципы своего функционирования.

Конечно, машинное обучение не должно основываться исключительно на доксе. Скорее даже, искусственному интеллекту следовало бы перейти к усвоению целой иерархии правил, начиная от международных соглашений и вплоть до национального законодательства, местных законов, общественных норм и так далее. В любой конкретной ситуации ИИ будет консультироваться с каждым слоем этой иерархии, переходя от абстрактных предписаний, определенных людьми, к фиксированному, хотя и нечеткому, восприятию информации о мире, которую он смог усвоить. И только в том случае, когда ИИ исчерпает всю эту программу и не сможет найти ни одного закона, который бы содержал разрешений или запретов в отношении тех или иных ситуаций, ему следует обратиться к тем выводам, которые он сделал в прошлом на основе своего собственного анализа поддающихся наблюдению человеческих действий. Таким образом, он будет функционировать, опираясь на человеческие ценности, даже в тех случаях, когда какие-либо писаные законы и нормы вообще отсутствуют.

Для того, чтобы создать и внедрить этот набор правил и ценностей, нам почти наверняка придется положиться на сам искусственный интеллект. Ни один человеческий коллектив не в состоянии сравниться с теми размахом и скоростью, которые необходимы для того, чтобы управлять миллиардами внутренних и внешних суждений, сгенерированных ИИ-системами.

Некоторые ключевые особенности механизма взаимодействия между человеком и машиной должны быть абсолютно идеальными. Во-первых, нельзя обходить или же удалять защитный механизм. Система управления должна быть одновременно достаточно мощной, чтобы обрабатывать поток запросов и работать на разных режимах в реальном времени, достаточно универсальной, чтобы выполнять операции твердо и уверенно и чтобы ее деятельность была одинаково адекватной во всех уголках мира и при любых обстоятельствах, и, кроме того, достаточно гибкой, чтобы с течением времени эта система могла учиться, переучиваться и адаптироваться. Наконец, нежелательное поведение компьютера (будь то из-за случайных сбоев, непредвиденных системных взаимодействий или же преднамеренных неправомерных действий) необходимо не просто запрещать, но полностью предотвращать. И здесь одними наказаниями не обойтись.

Как нам этого добиться? Прежде чем запустить какую-либо ИИ-систему, консорциуму экспертов, представляющему частный сектор и научные круги, необходимо будет при поддержке правительства разработать набор проверочных тестов с целью сертификации "сдерживающего механизма" для ИИ, который бы смог обеспечить законность и безопасность. Лаборатории и некоммерческие организации, ориентированные на обеспечение безопасности, могли бы заняться тестированием ИИ на предмет наличия угроз, а при необходимости - дать рекомендации о дополнительном обучении и проверке.

Государственным регулирующим органам необходимо будет установить определенные стандарты и сформировать принципы аудита с тем, чтобы определить, насколько искусственный интеллект им соответствует. Прежде чем любая ИИ-модель станет достоянием пользователей, она должна быть тщательно протестирована как на предмет соответствия предписанным законам и нормам, так и для того, чтобы понять, насколько сложно будет ее переучить в том случае, если она, эта ИИ-модель, вдруг проявит опасные наклонности. А если вдруг будет установлено, что ИИ-модели научились обходить правовые ограничения, то в этом случае человек, отвечающий за эти ИИ-модели, должен быть сурово наказан. Кроме того, необходимо осуществлять документальную фиксацию (быть может, с помощью мониторинга ИИ) процесса эволюции ИИ-модели; подобная фиксация необходима для того, чтобы не позволить ИИ-модели превратиться в "черный ящик" - а ведь именно "черный ящик" является той благодатной почвой, на которой происходят всякого рода нарушения законов и норм.

Для того, чтобы вложить глобальную инклюзивную человеческую мораль в кремниевый интеллект, нам потребуются титанические усилия. "Добро" и "зло" - не самоочевидные понятия. Те, кто будет осуществлять кодирование ИИ, вкладывая в него моральные нормы и установки, - ученые, юристы, религиозные лидеры - не обладают идеальной способностью судить от имени всего человечества о том, что такое "правильно" и что такое "неправильно". На некоторые вопросы не сможет ответить даже докса. В каждую эпоху человеческой истории мы видим свое понимание того, что такое "добро". И в этом смысле эпоха искусственного интеллекта вряд ли станет исключением.

Одно из решений - объявить вне закона любой разумный ИИ, который игнорирует человеческие ценности. Но опять же: что значит "человеческие ценности"? Если же не будет достигнуто единодушия в понимании, что такое человек, то в этом случае мы поручим решение этой фундаментальной задачи (т.е. определения наших ценностей и тем самым оправдания нашего, человеческого, существования) искусственному интеллекту, а это рискованно. Достижение согласия по вопросу о понимании того, какой смысл вкладывается в понятие ценностей, а также в вопросе о том, как именно ими следует оперировать на практике, - это философская, дипломатическая и юридическая задача нашего века.

Для того, чтобы не допустить ситуации, при которой компьютер потеснил бы человека или же вовсе его заменил, мы предлагаем заранее оговорить, как именно следует понимать отдельные атрибуты (или же набор атрибутов), выработать по этому поводу консенсус и затем загрузить эту информацию в компьютер. В качестве одного из потенциальных основных атрибутов мы бы хотели предложить концепцию "достоинства" Иммануила Канта (Immanuel Kant), которая подчеркивает неотъемлемую ценность человеческого субъекта как автономного действующего лица, способного к моральным рассуждениям, которого нельзя использовать в качестве средства для достижения цели. Почему же именно присущее человеку достоинство должно стать одной из тех переменных величин, которые должны влиять на принятие решений компьютером? Нам известно, что, например, концепцию милосердия нельзя описать с математической точностью. Для многих людей милосердие - это не поддающийся объяснению идеал. Можно ли научить искусственный разум тому, чтобы он дорожил милосердием и даже поступал милосердно? Если моральная логика этому научить не способна, то можно ли все же концепцию милосердия каким-то образом усвоить? Свои выводы ИИ-компьютер должен делать в том числе на основе концепции достоинства (именно на его основе произрастает милосердие) как одного из регулирующих правил.

Тем не менее, количество и разнообразие правил, которые необходимо будет внедрить в системы ИИ, просто огромно. Ни одна из человеческих культур не должна считать, что именно она имеет право диктовать свою мораль другой культуре и искусственному интеллекту, на который будет полагаться, - вот почему компьютерам придется впитывать в себя самые разные правила, которые присущи каждой конкретной стране.

Искусственный интеллект станет частью программного обеспечения, и решение технических задач станет, по всей вероятности, одной из не самых сложных задач. ИИ-компьютеры обладают сверхчеловеческой памятью и способностью выполнять любые команды, какими бы сложными они ни были. Они способны впитать в себя правовые и, возможно, этические предписания, причем они способны научиться их соблюдать столь же хорошо, а быть может и лучше, чем человек, несмотря даже на многотысячелетнюю культурную и биологическую эволюцию человечества.

Конечно, есть и другой - на первый взгляд более безопасный - подход, который заключался бы в том, чтобы обеспечить сохранение, если можно так сказать, тактического контроля над каждым из выводов, который делает ИИ. Но в этом случае пришлось быть подавить потенциальные возможности ИИ, используемые на благо человечества. Вот почему авторы статьи считают, что лучшим способом обеспечения безопасности ИИ является, скорее всего, опора на фундаментальные основы человеческой морали как формы стратегического контроля, при этом следует отказаться от тактического контроля в пользу более крупных, быстрых и сложных систем. Чрезмерная зависимость от негибких, немасштабируемых форм человеческого контроля способно не только ограничить потенциальные преимущества ИИ, но и увеличить вероятность угрозы, исходящей от ИИ. И напротив, нам кажется - и мы считаем это более надежным решением - что необходимо интегрировать человеческие понятия во внутреннюю архитектуру искусственного интеллекта (включая такие ИИ-системы, которым предстоит управлять другими ИИ-системами).
Мы стоим перед выбором - выбором между тем комфортным и независимым состоянием, в котором на протяжении всей предшествующей истории пребывал человек, и теми возможностями, которые открываются перед нами при возникновении совершенно нового вида взаимодействия, - партнерства между человеком и компьютером. Этот выбор непрост. Конечно же, большое внимание мы придаем тем опасениям, которые внушает нам эволюция искусственного интеллекта. Однако, если нам удастся должным образом спроектировать искусственный интеллект, то он сможет раскрыть свой потенциал и спасти нашу планету вместе с нашим биологическим видом, а заодно - обеспечить процветание всего человечества. Вот почему нам следовало бы с осторожностью подступаться к эпохе Homo technicus - именно так и нужно действовать. Для кого-то все эти события будут напоминать заключительный акт человеческой истории. Однако мы все же смотрим на него с трезвым оптимизмом и видим в нем начало нового этапа.