доля остаточного риска. Во-первых, они не столь очевидны, как другие риски, и потому, даже если мы возьмемся за ум и сделаем сохранение своего долгосрочного потенциала глобальным приоритетом, лишь незаурядная мудрость и рассудительность помогут нам избежать некоторых из этих ловушек. Во-вторых, если мы в конце концов расселимся за пределами Земли, это, вероятно, сделает нас почти неуязвимыми перед природными катастрофами, но идеи распространяются со скоростью света и могут все равно испортить то, чего мы надеемся достичь.

Главная проблема в том, что истинность идеи – лишь один элемент ее меметического потенциала, то есть ее способности распространяться и проникать в сознание. Но чем больше стимулов создается для обстоятельных и рациональных дебатов, тем больший вклад истинность вносит в меметический успех. Насаждая культуру таких дебатов, мы, возможно, нащупаем единственный путь, который поможет нам избежать такой судьбы. (Подробнее об этом читайте в разделе о долгом раздумье в главе 7.)

Понятие заблокированного состояния также позволяет нам рассмотреть экзистенциальный риск в другом любопытном ракурсе. Мы можем руководствоваться принципом минимизации блокировки. Или, чтобы избежать двойного отрицания, сохранения вариантов выбора[451]. Это тесно связано с идеей сохранения нашего долгосрочного потенциала, и разница лишь в том, что, сохраняя варианты выбора, мы не делим их на хорошие и плохие. И не потому, что в силу своей природы мы хотим сохранить даже плохие варианты, а потому, что мы не можем сказать наверняка, действительно ли они плохи, и, следовательно, рискуем совершить необратимую катастрофическую ошибку, если навсегда отринем тот из них, который был бы наилучшим.

Другие риски

Какие еще будущие риски дают прочные основания для беспокойства?

Одна из самых революционных технологий, которая, возможно, будет разработана в текущем столетии, – это нанотехнология. Мы уже стали свидетелями наступления эпохи наноматериалов (таких как углеродные нанотрубки), сконструированных с атомарной точностью при толщине всего в несколько атомов. Но гораздо более широкие перспективы откроются в случае, если мы сумеем создать механизмы, работающие с атомарной точностью. Мы точно знаем, что в некоторой форме это возможно, ведь в наших собственных клетках работают атомарно точные механизмы, которые уже выполняют жизненно важные функции.

В представлении людей нанотехнологии подразумевают создание микроскопических машин. Но настоящая революция может произойти тогда, когда наномеханизмы станут использоваться для создания макрообъектов. В своей основополагающей работе на эту тему Эрик Дрекслер описывает, как нанотехнологии могут открыть дорогу к появлению настольных фабрикаторов, способных собрать что угодно, от бриллиантового колье до нового ноутбука. Такое атомарно точное производство стало бы высшей ступенью 3D-печати: имея цифровой чертеж объекта и сырье в виде химических элементов, можно будет создавать атомарно точные копии. Это позволит производить объекты, для которых современных технологий пока недостаточно, а также снизить цены на то, что уже производится, например компьютеры и солнечные панели, почти до себестоимости сырья и материалов – и обеспечить мир гораздо большим объемом вычислительной мощности и чистой энергии.

Такая мощная технология может представлять некоторый экзистенциальный риск. Основное внимание пока уделяется возможности создания крошечных самовоспроизводящихся машин, распространение которых может привести к экологической катастрофе. Такое, пожалуй, возможно, но существуют и более приземленные опасности, которые кажутся более вероятными, поскольку огромная производственная мощность и точность, скорее всего, также проложат дорогу к производству нового оружия массового уничтожения[452]. Проблемы в этой области, в сущности, напоминают проблемы продвинутых биотехнологий: демократизация исключительно мощных технологий может наделить индивидов или небольшие группы возможностями (как конструктивными, так и деструктивными), которыми прежде обладали лишь могущественные державы. Контроль за этими технологиями, вероятно, можно будет осуществлять либо цифровыми методами, определяя, что подлежит производству, либо с помощью государственного надзора над производством (как в случае с атомной энергетикой). Хотя эти технологии более умозрительны, чем продвинутые биотехнологии и ИИ, со временем они тоже могут стать источником серьезного риска.

Совсем другой риск может быть связан с нашими исследованиями за пределами Земли. Космические агентства планируют экспедиции на Марс, чтобы доставить оттуда на Землю образцы грунта, главным образом для поиска признаков жизни. Это создает возможность “обратного загрязнения”, в результате которого микробы с Марса подвергнут опасности земную биосферу. Хотя все сходятся во мнении, что риск крайне мал, к нему относятся со всей серьезностью[453]. Планируется, что такие образцы будут доставлены в лабораторию уровня BSL-4 нового типа, чтобы вероятность того, что хоть одна нестерильная частица попадет в окружающую среду, не превысила одного к миллиону[454]. Хотя многие факторы остаются неизвестными, этот антропогенный риск представляется сравнительно невысоким и хорошо контролируемым[455].

Внеземной риск, который стоит на первом плане в популярной культуре, связан с конфликтом с инопланетной цивилизацией, способной путешествовать по космосу. Хотя очень сложно однозначно исключить такую возможность, широко признается, что такой сценарий крайне маловероятен (но становится более правдоподобным в исключительно долгосрочной перспективе)[456]. В популярной культуре главный риск сопряжен с прибытием инопланетян на Землю, но это, пожалуй, наименее вероятно и совсем не поддается нашему контролю. Однако, возможно, нам следует провести открытую дискуссию, прежде чем приступать к реализации активной части проекта SETI (отправке мощных сигналов для привлечения внимания далеких внеземных цивилизаций). Опасность может представлять даже пассивная часть проекта (прослушивание их сообщений), ведь сообщения вполне могут оказаться ловушкой[457]. Эти опасности невелики, но пока плохо изучены и плохо контролируемы.

Другой антропогенный риск сопряжен с самыми радикальными из наших научных экспериментов – теми, в которых создаются поистине беспрецедентные условия[458]. Так, при первом ядерном взрыве температура дошла до отметки, которой никогда прежде на Земле не наблюдалось, и появилась теоретическая возможность воспламенения атмосферы. Поскольку эти условия были беспрецедентными, мы не могли утешаться тем, что такое случалось уже много раз и не приводило к катастрофе. (Можно сказать, что часть рисков, о которых мы упоминали ранее, например обратное загрязнение, исследования с повышением вирулентности и ОИИ, также сопряжена с научными экспериментами, создающими беспрецедентные условия.)

В некоторых случаях ученые уверенно заявляют, что эксперимент не может вызвать катастрофу или вымирание. Но в прошлом даже то, что наука воспринимала как данность, порой оказывалось неверным: например, что объекты имеют определенное положение, что пространство подчиняется Евклидовой геометрии и что атомы невозможно делить, создавать и уничтожать. Если на ученых надавить, они признаются, что на самом деле имеют в виду, что такое не может произойти, если не будут существенным образом изменены наши научные теории. В обычных обстоятельствах такой уверенности достаточно, ведь при стремлении к точности уверенность в 99,9 % нас вполне удовлетворяет. Но этот стандарт не учитывает, что стоит