точки. Но ситуация может быть иной, если риск чрезвычайно высок, например 99,9 %. В таком случае катастрофа кажется неизбежной (иначе риск был бы ниже). Следовательно, лучше пользоваться таким эвристическим принципом: одинаково просто снизить в два раза соотношение шансов риска. Это значит, что риски средней вероятности (скажем, от 30 до 70 %) особенно просто снижать на один процентный пункт.

Однако нужно иметь в виду, что не все такие риски равны. В некоторых случаях средняя вероятность, которую мы присваиваем таким рискам, как ИИ, на самом деле отражает наше неопределенное положение между мирами: тем, где снизить вероятность риска очень сложно, и тем, где сделать это очень легко. Поэтому даже при среднем итоговом показателе изменить вероятность такого риска, работая над ним, может быть непросто. (Приведу пример: истинная вероятность одного риска может составлять 50 %, а другой риск может быть либо крайне маловероятным (0,1 %), либо крайне вероятным (99,9 %), но его истинная вероятность нам неизвестна. Последний риск будет менее податлив, чем мы могли бы подумать, опираясь на его субъективный уровень (50 %).)

492

MacAskill (2015), pp. 180–185.

493

Иногда решающим становится именно пренебрежение риском в краткосрочной перспективе: сколько ресурсов расходуется на работу с ним прямо сейчас. Но чаще основную роль играет долгосрочное пренебрежение: сколько всего ресурсов будет потрачено на работу с риском, пока не станет слишком поздно. Резкое перераспределение ресурсов (например, когда исследования в соответствующей области набирают обороты) может радикально изменить ситуацию.

494

Чтобы определить эти понятия, нужно иметь в виду, что затратная эффективность – это скорость изменения ценности относительно расходуемых ресурсов: d ценности / d ресурсов. Оуэн Коттон-Баррат показал, что затем мы можем разбить это на три фактора (Wiblin, 2017):

495

Взято у Оуэна Коттон-Баррата.

496

В случае с некоторыми рисками проходит много времени между последним моментом, когда можно было принять действенные меры, и моментом катастрофы. При расстановке приоритетов на основе того, какой из рисков наступает первым, мы датируем их по последнему моменту, когда можно было принять меры.

Если со временем наша работа постепенно становится менее эффективной, необходима более сложная оценка. Так происходит с изменением климата: хотя катастрофический ущерб от него будет ощущаться еще долгое время, ограничение выбросов и разработка альтернативных источников энергии приносят тем большую пользу, чем раньше мы к ним приступаем.

497

Диаметр околоземных объектов распределен по степенному закону с экспонентой –3,35 (Chapman, 2004). Масштаб эпидемий кори в изолированных обществах распределен по степенному закону с экспонентой –1,2 (Rhodes & Anderson, 1996). Число жертв многих других стихийных бедствий – цунами, извержений вулканов, наводнений, ураганов, торнадо – также распределено по степенному закону. Обычно соответствие исчезает по достижении некоторого крупного размера, где истинные вероятности чрезвычайно масштабных событий, как правило, оказываются ниже, чем прогнозируемые по степенному закону (например, число жертв при вспышках кори ограничивается размером популяции). Тем не менее такой предупредительный анализ все равно оказывается действенным в той мере, в какой степенной закон дает нам верхний предел истинной вероятности.

498

Взято у Эндрю Снайдера-Битти.

499

“Дилемма Колингриджа” – особый случай компромисса между использованием преимуществ этого рычага и защиты от нашей близорукости, поскольку она связана с регулированием новых технологий. Колингридж отмечает, что чем дальше мы от внедрения некоторой технологии, тем больше у нас возможностей для контроля за траекторией ее развития, но тем меньше нам известно о ее влиянии (Collingridge, 1982).

500

Он говорит об этом в своей диссертации, посвященной экзистенциальному риску и лонгтермизму (Beck-stead, 2013), одном из лучших текстов об экзистенциальном риске.

501

Мировые правительства расходуют на образование 4,8 % ВВП (World Bank, 2019b) – около 4 трлн долларов в год. Целевые расходы на работу по снижению экзистенциального риска составляют порядка 100 млн долларов. См. примечание 56 к главе 2, где подробнее объясняется, как оцениваются расходы на работу с экзистенциальным риском.

502

Это касается средств, направляемых именно на снижение экзистенциального риска, а не всей совокупности средств, направляемых в сферы, связанные с экзистенциальным риском (например, на работу с изменением климата и повышение биологической безопасности). Кроме того, я представляю себе мир, который выглядит так же, как наш сегодняшний. Если же экзистенциальный риск создаст явную чрезвычайную ситуацию (например, к нам будет приближаться огромный астероид), непосредственная работа с ним потребует гораздо больше средств.

503

Asimov (1979), p. 362; перевод А. Девеля и Л. Девель. Я начал эту цитату с заглавной буквы. [Extract from A Choice of Catastrophes: The Disasters That Threaten Our World by Isaac Asimov. Copyright © 1979 by Isaac Asimov. Reprinted with the permission of Simon & Schuster, Inc. All rights reserved.]

504

Можно охарактеризовать их и так:

1. Не потерпеть провал сразу и сделать провал невозможным.

2. Понять, как преуспеть.

3. Преуспеть.

505

Защита нашего потенциала (а следовательно, и экзистенциальная безопасность в целом) предполагает, что людям необходимо закрепить за собой обязательство не допустить экзистенциальной катастрофы. Здесь возникает любопытное противоречие с утверждением, что блокировку сценариев нужно сводить к минимуму (с. 189). Дело в том, что бороться с общей блокировкой (вызываемой экзистенциальным риском) лучше всего помогает закрепление небольшого количества отдельных ограничений.

И все же следует быть крайне осторожными, когда мы закрепляем хоть какую нибудь идею, поскольку мы рискуем отрезать путь к тому, что могло оказаться лучшим из вариантов. Можно сделать обязательство не допускать экзистенциального риска не категорическим (например, удерживать общий риск на определенном уровне во все грядущие века), а более мягким, чтобы от него было сложно, но возможно отказаться. Хороший пример – конституции: как правило, в них можно вносить изменения уже после принятия, но процедура очень сложна.

506

Обеспечивать это можно множеством способов: не допускать новых пожаров, повышать пожарную безопасность зданий, содержать хорошо оснащенную пожарную часть. Есть и аналогичные способы оберегать наш потенциал.

507

Здесь поможет числовой пример. Для начала допустим, что мы сумели снизить вековой экзистенциальный риск до 1 % и