с целью оптимизации производства скрепок. Преследуя эту цель, он может создавать новые технологии, которые позволят превратить практически все ресурсы на Земле в скрепки. Поскольку такая система будет превосходить нас по интеллектуальным способностям, она, скорее всего, сможет эффективно противодействовать попыткам выключить ее или изменить порядок действий, поскольку любое вмешательство мешает реализации целевой функции.

Это, конечно, всего лишь карикатура. Реальные сценарии, которые могут разыграться в будущем, скорее всего, будут гораздо менее очевидными, и их потенциальные последствия предвидеть несопоставимо труднее, если вообще возможно. Уже сейчас можно привести пример, безусловно, пагубного воздействия непредвиденных последствий на общественный организм. Алгоритмы машинного обучения, используемые такими компаниями, как YouTube и Facebook, обычно нацелены на максимизацию вовлечения пользователя во взаимодействие с платформой, что увеличивает прибыль от онлайновой рекламы. Однако алгоритмы, преследующие эту цель, быстро обнаружили: самый простой способ обеспечить вовлеченность людей — подсовывать им все более поляризованный в политическом отношении контент или напрямую воздействовать на эмоции, вызывая, скажем, возмущение или страх. Это, в частности, привело к возникновению пресловутой «кроличьей норы» на YouTube: после видео, излагающего умеренную позицию, следуют рекомендации все более радикального контента, что ведет к стабильной эмоционально обусловленной привязанности к этой платформе[326]. Это, наверное, хорошо для прибылей, но, безусловно, плохо для нашей социальной или политической обстановки.

Поиск решения проблемы контроля стал темой научных исследований в университетах и особенно в специализированных организациях с частным финансированием, таких как OpenAI, Институт будущего человечества при Оксфордском университете во главе с Ником Бостромом и Институт исследования машинного интеллекта в Беркли, Калифорния. В своей книге «Совместимость: Как контролировать искусственный интеллект»[327], впервые изданной в 2019 году, Стюарт Рассел утверждает, что лучшее решение проблемы — вообще не встраивать в продвинутые системы ИИ целевую функцию в явном виде. Задачей системы, заложенной в ее конструкцию, должно быть «максимальное удовлетворение предпочтений человека»[328]. Поскольку машинный интеллект никогда не будет со всей определенностью знать эти предпочтения или намерения, он будет вынужден формулировать задачи для себя, изучая поведение человека, с готовностью вступать в диалог с человеком и подчиняться ему. В отличие от безостановочного максимизатора скрепок, такая система разрешит выключить себя, если будет считать, что это отвечает предпочтениям человека, для оптимального удовлетворения которых она создана.

Это совершенно непохоже на сегодняшний подход к разработке систем ИИ. Рассел объясняет.

Чтобы воплотить в жизнь подобную модель, нужно очень много исследований. Нам требуются «минимально инвазивные» алгоритмы принятия решений, не позволяющие машинам касаться элементов мира, в отношении ценностей которых у них нет полной уверенности. Нужны машины, которые все больше узнают о наших истинных, принципиальных предпочтениях в отношении будущего. Затем подобные машины столкнутся со старой как мир проблемой этики: как распределять выгоды и затраты между людьми с конфликтующими интересами.

На решение этих задач может уйти десятилетие, и даже после этого потребуются законы, гарантирующие одобрение лишь доказанно безопасных систем и отклонение разработок, не отвечающих всем требованиям. Это будет непросто. Очевидно, однако, что эта модель должна появиться до того, как способности ИИ-систем превзойдут человеческие в важных областях[329].

Примечательно, что за исключением Стюарта Рассела, соавтора основного университетского учебника по искусственному интеллекту, почти все видные фигуры, предупреждающие об экзистенциальной угрозе разумных машин, не являются исследователями ИИ и специалистами по компьютерным наукам. Эту тревогу выражают главным образом известные интеллектуалы, например Сэм Харрис, титаны Кремниевой долины вроде Маска и ученые из других областей, скажем Хокинг или физик из МТИ Макс Тегмарк. Большинство экспертов по ИИ хранят спокойствие. Переговорив с 23 ведущими исследователями из этой сферы во время работы над книгой «Архитекторы интеллекта», я убедился, что лишь немногие из них принимают угрозу существованию человечества всерьез. Абсолютное большинство относятся к этой мысли пренебрежительно. Они сходятся на том, что суперинтеллект появится еще не скоро, а конкретные пути решения проблемы настолько неясны, что заниматься этим вопросом просто бессмысленно. По словам Эндрю Ына, возглавлявшего группы по исследованию ИИ в Google и Baidu, волноваться из-за экзистенциальной угрозы со стороны ИИ — все равно что бояться перенаселения Марса задолго до отправки на Красную планету первых астронавтов. Робототехник Родни Брукс вторит ему, когда утверждает, что суперинтеллект дело настолько далекого будущего, что «мир тогда не будет похож на нынешний, это будет нечто с искусственным сверхразумом в центре… Мы не имеем ни малейшего представления о том, как он будет выглядеть. Предсказание будущего ИИ всего лишь состязание ученых-одиночек, живущих в изоляции от реального мира. Не хочу сказать, что эти технологии не появятся, просто мы не сможем узнать, какими они будут, до самого их появления»[330].

Сторонники серьезного отношения к экзистенциальной угрозе, связанной с ИИ, не согласны считать этот вопрос несущественным или нерешаемым лишь на том основании, что он едва ли встанет ранее, чем через несколько десятилетий. По их мнению, проблему контроля необходимо решить до того, как появится первый сверхразум, иначе будет слишком поздно. Стюарту Расселу нравится аналогия с инопланетянами. Представьте, что мы получили из космоса сигнал, сообщающий о прибытии к нам пришельцев через 50 лет. Скорее всего, сразу же начнется всемирная подготовка к этому событию. Рассел убежден, что мы точно так же должны готовиться к появлению суперинтеллекта.

На мой взгляд, экзистенциальную угрозу со стороны ИИ нужно принимать всерьез. Я очень рад, что исследователи из таких организаций, как Институт будущего человечества, реально работают над этой проблемой. Я считаю, именно так и должны распределяться ресурсы: этой проблеме в настоящий момент самое место в академических кругах. Пока очень трудно обосновать государственное финансирование программы масштабов Манхэттенского проекта. Вряд ли разумна и любая попытка встраивания этого вопроса в и без того неэффективный политический процесс. Мы действительно хотим, чтобы политики, почти или совершенно ничего не знающие об ИИ, писали твиты об опасности сверхразумных машин? С учетом очень ограниченной способности правительства США решать что-либо, хайп вокруг футуристической экзистенциальной угрозы или ее политизация лишь отвлекут от реальных, уже существующих рисков, таких как превращение ИИ в оружие и проблемы безопасности и предвзятости. Вот задачи, в решение которых мы должны немедленно начать вкладывать существенные ресурсы.

Острая необходимость регулирования

Из знакомства с рисками, представленными в этой главе, следует лишь одно — важность государственного регулирования в сфере ИИ продолжает возрастать и становится всеобъемлющей. Я, однако, считаю большой ошибкой чрезмерное регулирование или ограничение исследований искусственного интеллекта. Скорее всего, это будет неэффективно в глобальном масштабе, поскольку исследования ведутся повсюду. В частности, Китай активно конкурирует с