то у нас появятся сверхразумные противники”. Он заключает: “Нам нужно внедрить механизмы (социальные, правовые, политические, культурные), чтобы удостовериться, что все получится”, но “неизбежно значимость обычных людей снизится” (Sutton, 2015), (Alexander, 2015).

О рисках, сопряженных с ИИ, высказывались и другие ведущие исследователи, включая Джеффа Клюна (2019): “…даже если есть лишь небольшая вероятность, что мы создадим опасный ИИ или вызовем неописуемые страдания, издержки так велики, что мы должны обсуждать такую возможность. По аналогии, если бы с вероятностью 1 % через десять или сто лет на Землю упал бы астероид, способный уничтожить цивилизацию, было бы глупо не начать дискуссию о том, как отследить его и предотвратить такую катастрофу”.

Ян Гудфеллоу (OSTP, 2016): “Очень долго будет важно создавать ИИ-системы, которые понимают ценности своих пользователей и настроены в соответствии с ними… Исследователи начинают изучать этот вопрос, и государственное финансирование могло бы помочь сообществу заранее решить его, а не пытаться разбираться с серьезными проблемами после их возникновения”.

431

Szilard & Winsor (1968), pp. 107–108.

432

Хотя в открытом письме содержались в основном утверждения общего характера (Future of Life Institute, 2015), в прилагающейся к нему программе исследований четко говорилось о необходимости изучать стоящие перед человечеством риски того типа, который обсуждается в этом разделе (Russell, Dewey & Teg-mark, 2015).

433

Future of Life Institute (2017).

434

Это была выдержка из работы Russell (2014), и она близка к приведенным здесь аргументам.

435

Это поразительно высокая оценка. Полагаю, так высоко вероятность того, что их работа приведет к катастрофически плохим последствиям для человечества, могли бы оценить еще разве что ученые-атомщики накануне создания бомбы. И все же я благодарен исследователям за честность в этом вопросе.

436

См., например, доводы Пинкера в книге “Просвещение продолжается” (2018, p. 300).

437

Демис Хассабис открыто говорит об этих вещах (Bengio et al., 2017): “Сейчас нам важнее всего сосредоточиться на проблеме координации. Нам хотелось бы избежать губительной гонки к финишу, в которой будут срезаться углы и страдать безопасность. Это станет серьезной проблемой мирового масштаба”.

438

Если бы системы могли совершенствовать собственный интеллект, это, возможно, вызвало бы каскадный эффект, называемый “интеллектуальным взрывом”. Это могло бы случиться, если бы при повышении уровня интеллекта повышались и способности системы к самосовершенствованию. Первым на это обратил внимание И. Дж. Гуд (1959), и это вполне правдоподобный механизм того, как прогресс может быстро выйти из под контроля. В упоминавшемся ранее опросе (Grace et al., 2018) 29 % респондентов посчитали вероятным, что аргумент в пользу того, почему нам следует ожидать интеллектуального взрыва, в целом верен.

Но нельзя сказать, что такой исход гарантирован. Начать хотя бы с того, что ИИ для этого должен быть способен исследовать ИИ не только лучше человека, но и лучше всего исследовательского сообщества ИИ (при сравнимых затратах). Следовательно, мы, возможно, успеем заметить, что система находится примерно на человеческом уровне, прежде чем дело дойдет до интеллектуального взрыва.

Кроме того, сложность каждого следующего шага на пути к повышению интеллекта системы будет, возможно, расти быстрее, чем уровень ее интеллекта, и тогда потенциал “взрыва” быстро сойдет на нет. Предполагается, что в какой то момент он действительно должен сойти на нет, и поэтому главный вопрос в том, есть ли где то ближе к началу процесса промежуток, когда усовершенствования порождают еще большие усовершенствования. Подробнее об этом см. у Bostrom (2014, p. 66).

439

Metz (2018). Согласен и Стюарт Рассел (Flatow, Russell & Koch, 2014): “Я замечаю, что ведущие исследователи отрасли, которые никогда публично не высказывали никаких опасений, негласно полагают, что к этому вопросу нам следует относиться со всей серьезностью, причем чем раньше мы начнем воспринимать его всерьез, тем лучше”.

Советы Хассабиса и Рассела вторят заблаговременному предупреждению И. Дж. Гуда (1970): “Даже если вероятность появления ультраинтеллектуальной машины невелика, это приведет к таким серьезным последствиям, будь они хоть плохими, хоть хорошими, что нам пора бы рассматривать такую возможность. Как бы то ни было, я надеюсь, что к 1980 году мы успеем в деталях обсудить последствия этого и необходимые меры безопасности, и это главная причина, по которой я поднимаю этот вопрос: пора начинать дискуссию”.

Если бы мы последовали совету Гуда, сегодня мы, возможно, оказались бы на несколько десятилетий впереди, а грозящий нам риск был бы небольшим и хорошо контролируемым.

440

В худших случаях, возможно, даже имеющем отрицательную ценность – а такой исход хуже вымирания.

441

Orwell (1949, p. 121; перевод В. Голышева) четко это формулирует: “Правящая группа теряет власть по четырем причинам. Либо ее победил внешний враг, либо она правит так неумело, что массы поднимают восстание, либо она позволила образоваться сильной и недовольной группе средних, либо потеряла уверенность в себе и желание править. Причины эти не изолированные; обычно в той или иной степени сказываются все четыре. Правящий класс, который сможет предохраниться от них, удержит власть навсегда”.

442

Можно даже сказать, что таким стал первый в истории серьезный экзистенциальный риск. С этой точки зрения первая волна антропогенного экзистенциального риска поднялась из за этих опасных идеологий, которые были открыты совсем недавно, и глобализованный мир, возможно, не в силах будет ее сдержать. Технологические риски (начиная с ядерного оружия) представляют собой вторую волну.

В поддержку этой идеи можно вспомнить о характерной для нацистской Германии риторике о “тысячелетнем рейхе” как свидетельстве стремления создать поистине устойчивый режим. Обратите внимание, что вероятность этого не должна быть особенно высокой, чтобы принимать ее в расчет: вероятно, хватит и одного шанса на тысячу (поскольку это больше, чем годовой природный риск).

Хотя “1984” – художественное произведение, оно свидетельствует, что Оруэлла беспокоила вероятность поистине экзистенциальной катастрофы. Он нарисовал картину мира, пребывающего в состоянии постоянного конфликта между тремя тоталитарными сверхдержавами, каждая из которых коварными социальными и технологическими средствами подавляет любые намеки на сопротивление. Ключевой аспект этой картины в том, что в ней, вероятно, воплотилась необратимая дистопия: “Если вам нужен образ будущего, вообразите сапог, топчущий лицо человека – вечно”. Предвосхищая идею об экзистенциальном риске, он сравнил такой