критики назвали несостоятельной модель саморегулирования, принятую в Асиломаре, и отметили, что необходимо было призвать к решению вопроса гражданское общество (Wright, 2001).

560

См. Bostrom (2002b).

561

Это различие проводит Бустрём (Bostrom, 2014). В своем обзоре я опирался на его работу в соответствующей сфере.

562

Точное время, за которое экспонента уменьшается вдвое, – это натуральный логарифм 2 (≈0,69), деленный на годовой риск, а средняя продолжительность выживания – просто единица, деленная на годовой риск.

Обратите, однако, внимание, что падающей экспонентой описывается лишь объективная вероятность выживания. Поскольку мы не знаем, за какое время вдвое уменьшится субъективная вероятность нашего выживания, она представляется как взвешенное среднее двух этих экспонент и, как правило, сама не является экспонентой. В частности, у нее обычно более толстый хвост. (Такой же эффект наблюдается, когда мы не уверены в ставке дисконтирования; см. с. 290–291.)

563

Могут быть и риски, которые не входят ни в одну из этих категорий.

564

Различие между рисками состояния и рисками переходного периода не четкое. В частности, когда речь идет о рисках меняющегося характера, оно может зависеть от временных рамок. Возьмем, к примеру, риск ядерной зимы. В одних временных рамках он представляется риском состояния – и это логично для периода с 1960 по 1990 год. Но если уменьшить масштаб, мы увидим серию переходов, которыми нужно было управлять. Если увеличить масштаб, включив в рамки весь период до текущего момента, покажется, что уровень риска сильно различается при двух разных режимах (во время и после холодной войны). Если увеличить масштаб, включив в рамки все время, на протяжении которого человечество остается уязвимым для ядерного оружия, этот риск в масштабе веков снова покажется риском состояния, а геополитические колебания в масштабах десятилетий потеряют значимость. Если же еще сильнее увеличить масштаб, чтобы лишь небольшая область риска ядерной войны оказалась зажатой между доядерной и постъядерной эпохами, этот риск снова лучше будет рассматривать в качестве риска переходного периода, который ставит вопрос о том, как человечеству осуществить переход к режиму, при котором ядерную энергию удастся обуздать.

Подобное наблюдается при анализе риска ОИИ. Как только ОИИ будет разработан, человечество станет уязвимо для чрезвычайных происшествий, связанных с ним, и злоупотреблений со стороны тех, кто имеет к нему доступ. Покончить с этим можно будет лишь путем активных действий. В этот период (который может оказаться коротким) риск, сопряженный с ОИИ, будет риском состояния, но при расширении временных рамок он станет риском переходного периода.

Несмотря на существование таких неоднозначных случаев, проводить это различие полезно. Даже в описанных ситуациях оно позволяет изучать изменчивую природу рисков.

565

Эту мысль первым высказал Бустрём (Bostrom, 2013, pp. 24–26).

566

Разумеется, исследователь всегда утверждает, что исследования стоит продолжать. Надеюсь, читатель сможет понять, почему продолжение исследований экзистенциального риска действительно принесет огромную пользу человечеству. Здесь исследования нужны не просто для ответа на произвольно выбранный научный вопрос. Они нужны, чтобы ответить на чрезвычайно важный вопрос (что делать, чтобы лучше всего защитить долгосрочный потенциал человечества?), который пока практически не исследовался.

567

Например, к моменту написания этой книги вышло всего два исследования воздействия полномасштабной ядерной войны на климат, проведенных после окончания холодной войны в 1991 году (Robock, Oman & Stenchikov, 2007; и Coupe et al., 2019), а исследований ее воздействия на сельское хозяйство не публиковалось с 1986 года (Harwell & Hutchinson, 1986).

568

Например, исследовательскую стипендию, которая дала мне время на написание этой книги, мне предоставил индивидуальный благотворитель.

569

Они также выделили крупный грант в поддержку оксфордского Института будущего человечества, где я работаю.

570

Особенно ценно их движимое искренней заботой о деле желание финансировать исследования, которые действительно приносят максимум пользы, поскольку если просто увеличивать финансирование исследований экзистенциального риска, то средства, вероятно, будут направляться главным образом в уже сложившиеся области (возможно, после удачного ребрендинга) и лишь малая их часть будет выделяться на поистине прорывную и смелую работу. Также можно ожидать, что общее финансирование будет направляться на исследование более понятных рисков (например, астероидов), а более серьезные, но менее изученные риски (например, сопряженные с продвинутым искусственным интеллектом) останутся без внимания. Кроме того, финансироваться может и работа с катастрофическими рисками, которые не входят в категорию экзистенциальных. Если ведущие грантодатели начнут выделять средства на исследование экзистенциального риска, им необходимо соблюдать осторожность, чтобы не нарушить порядок приоритетов в отрасли. См. также Bostrom (2013, p. 26).

571

Есть и другие исследовательские институты, например Институт будущего жизни (FLI) и Институт глобального катастрофического риска (GCRI).

572

Отличный пример – энвайронментализм. На заре своего существования движение в защиту окружающей среды было гораздо менее политически ангажированным и добилось немалых успехов. Ричард Никсон основал Агентство по охране окружающей среды США, а Рейган заявил: “Необходимость защиты окружающей среды диктуют не программы либералов и консерваторов, а здравый смысл”. На мой взгляд, движение добилось бы большего, если бы ему удалось сохранить свою неангажированность.

573

Взять хотя бы движение в защиту окружающей среды. Первые энвайронменталисты главным образом сталкивались с проблемами загрязнения, снижения биологического разнообразия, вымирания и дефицита ресурсов. Но они не называли себя ни “экстинкционистами”, ни “поллюционистами” [от англ. extinc-tion – “вымирание” и pollution – “загрязнение”. – Прим. перев.]. Они отождествляли себя не с проблемами, с которыми боролись, а с положительной ценностью, которую всячески старались сберечь.

574

На момент написания этой книги у всех на слуху DeepMind и OpenAI. Им нужны толковые исследователи в сфере безопасности ИИ и умелые программисты – особенно те, кто воспринимает экзистенциальный риск всерьез.

575

В число организаций, работающих над снижением экзистенциального риска, входят:

Институт будущего человечества (FHI);

Центр изучения экзистенциального риска (CSER);

Институт будущего жизни (FLI);

Институт глобального катастрофического риска (GRCI);

Инициатива по исследованию экзистенциального риска в Беркли (BERI);

Проект “Открытая филантропия” (OpenPhil);

Инициатива по исследованию ядерной угрозы (NTI);

Бюллетень ученых-атомщиков;

Фонд глобальных вызовов;

Группа правового регулирования экзистенциальных рисков (LGER);