• Повысить открытость данных о чрезвычайных происшествиях в лабораториях уровней BSL-3 и BSL-4.

• Разработать стандарты работы с информационными опасностями и внедрить их в существующие механизмы контроля.

• Проводить упражнения по анализу сценариев развития пандемий искусственного происхождения.

Неконтролируемый искусственный интеллект

• Стимулировать международное сотрудничество в сфере безопасности и управления рисками.

• Исследовать способы регулирования продвинутого ИИ.

• Проводить технологический анализ приведения продвинутого искусственного интеллекта в соответствие с человеческими ценностями.

• Проводить технологическое исследование других аспектов безопасности ОИИ, таких как стратегия безопасного сдерживания и возможные ловушки.

Общее

• Изучить варианты создания новых международных институтов для разработки как поступательных, так и революционных мер по снижению экзистенциального риска.

• Исследовать возможности признать намеренные или неосторожные действия, вызывающие риск вымирания, международным преступлением.

• Изучить возможности представлять будущие поколения в национальных и международных демократических институтах.

• Каждая крупная мировая держава должна учредить высокую правительственную должность для регистрации экзистенциальных рисков, возникновение которых реально спрогнозировать на ближайшие 20 лет, и работы с ними.

• Выявить основные факторы экзистенциального риска и факторы безопасности, ориентируясь как на абсолютный размер, так и на затратную эффективность незначительных изменений.

• Направить силы на снижение вероятности военных конфликтов между США, Россией и Китаем.

• Научиться лучше выявлять непредвиденные и зарождающиеся риски.

• Изучить заместители продуктов питания на случай чрезвычайного и длительного снижения способности мира производить продовольствие.

• Разработать более эффективные теоретические и практические инструменты для оценки рисков с чрезвычайно высокими ставками, которые либо беспрецедентны, либо считаются крайне маловероятными.

• Углубить наши знания о том, с какой вероятностью цивилизация может восстановиться после глобального коллапса, что может этому помешать и как повысить наши шансы на это.

• Развивать исследования по вопросу об общей стратегии человечества.

• Углубить наше понимание этики экзистенциального риска и ценности долгосрочного будущего.

Приложение G

Расширение шкалы Кардашёва

В 1964 году советский астроном Николай Кардашёв разработал метод классификации потенциальных продвинутых цивилизаций по физическому масштабу и количеству энергии (на единицу времени), которую они могут потреблять. Он рассмотрел три уровня: планета, Солнечная система и Галактика. На каждом делении шкалы количество энергии в распоряжении у цивилизации возрастает более чем в миллиард раз.

Мы можем естественным образом расширить эту шкалу в обоих направлениях[673]. Мы можем добавить более низкий уровень для очень маленьких цивилизаций (таких, например, как цивилизация в Месопотамии в момент зарождения письменности)[674]. Мы также можем добавить высочайший уровень в масштабах нашей влияемой Вселенной: все, чего мы вообще можем надеяться достичь. Как ни удивительно, размеры этих шагов весьма близки к тем, которые выделил Кардашёв, и продолжают в целом логарифмическую шкалу оценки могущества цивилизаций.

Наша глобальная цивилизация в настоящий момент контролирует около 12 трлн Вт энергии. Это примерно в 100 тысяч раз больше, чем в распоряжении у минимальной цивилизации, но в 10 тысяч раз меньше, чем полная емкость нашей планеты. Следовательно, мы находимся на уровне K0[675], – более чем на половине пути к K1 и на одной восьмой пути к K4.

Интернет-ресурсы

Сайт книги

Видео Рассылка FAQ Список опечаток

Дополнительные статьи и очерки Цитаты Списки для чтения

theprecipice.com

Сайт автора

Информация о других моих проектах Мои статьи

Контакты для прессы и организации лекций

tobyord.com

Эффективный альтруизм

Познакомьтесь с людьми, которые хотят сделать как можно больше для человечества

effectivealtruism.org

Карьера

Советы о том, как использовать свою карьеру, чтобы спасти будущее

80000hours.org

Пожертвования

Присоединяйтесь ко мне и берите на себя пожизненное обязательство помогать миру с помощью эффективных пожертвований

givingwhatwecan.org

Благодарности

Немногие книги создаются одним только автором. Думаю, большинству из нас об этом уже известно. И все же мало найдется книг, которые в той же степени, что и эта, обязаны своим существованием щедрости, усердию и талантам столь многих людей.

Университетским преподавателям нечасто случается найти в своем графике достаточно времени, чтобы написать подобную книгу. На них давят огромные обязательства перед студентами, коллегами и учебными заведениями. Даже грантов, выделяемых специально на написание книг, обычно хватает лишь на небольшой промежуток времени. В связи с этим я особенно благодарен за выделение мне исследовательской стипендии, позволившей мне несколько лет непрерывно заниматься темой, которую я считаю такой важной, и пройти весь путь от подготовительных изысканий до издания книги. Я обязан этим личной щедрости Люка Динга и гранту Европейского исследовательского совета (выделенному в рамках грантовой программы по исследованиям и инновациям “Горизонт-2020”, реализуемой в Европейском союзе, по грантовому соглашению № 669751). Дополнительное финансирование от Люка Динга, проекта “Открытая благотворительность” и Инициативы Беркли по изучению экзистенциальных рисков позволило мне собрать увлеченную команду для подготовки этой книги и получать советы и поддержку от экспертов, чтобы обеспечить ей успех. Книги, написанные университетскими преподавателями, редко получают такую поддержку, и сложно переоценить ее важность.

Стоит также отметить, что университетским преподавателям редко удается писать книги, которые так сильно выходят за рамки их основной дисциплины. Я чрезвычайно благодарен своему академическому дому, Институту будущего человечества при Оксфордском университете, где не существует подобных предрассудков и создаются все условия, чтобы люди могли отправляться в свободный полет, работая над своими темами.

Когда пишешь книгу, освещающую такой широкий спектр вопросов, обычно возникает большой риск скатиться к упрощенчеству, избирательности и очевидным ошибкам в тех сферах, которые слишком далеки от области твоей специализации. В моем случае этот риск тоже был бы слишком высок, если бы в моих исследованиях мне не помогали люди, поверившие в проект. Я благодарен за помощь Джозефу Карлсмиту, Джону Хэлстеду, Хоуи Лемпелу, Киту Мэнсфилду и Мэтью ван дер Мерве, которые познакомили меня с нужной литературой.

Я также безмерно благодарен многим экспертам из других сфер, которые посвятили немало времени тому, чтобы удостовериться, что в книге отражены последние достижения их дисциплин. Спасибо Фреду Адамсу, Ричарду Элли, Тацуе Амано, Сету Бауму, Нилу Боуэрмену, Майлзу Брандейджу, Каталине Кангеа, Пауло Чеппи, Кларку Чепмену, Дэвиду Кристиану, Аллану Дефо, Ричарду Данцигу, Бену Дэю, Дэвиду Денкенбергеру, Дэниелу Дьюи, Эрику Дрекслеру, Дэниелу Эллсбергу, Оуэну Эвансу, Себастиану Фаркуару, Владу Фирою, Бену Гарфинкелю, Тиму Геневейну, Гудвину Гиббонсу, Тору Грепелю, Джоанне Хей, Алану Харрису, Хиски Хауккале, Айре Гельфанду, Говарду Херцогу, Майклу Дженнеру, Риа Каллури, Джиму Кастингу, Яну Лейке, Роберту Лемперту, Эндрю Левану, Грегори Льюису, Марку Липсичу, Розали Лопес, Стивену Луби, Энджелу Лужнице, Дэвиду Манхейму, Йохему Маротцке, Джейсону Матени, Пирсу Миллетту, Майклу Монтегю, Дэвиду Моррисону, Кэссиди Нельсон, Клайву Оппенгеймеру, Рэймонду Пьерхумберту, Максу Поппу, Дэвиду Пайлу, Майклу Рампино, Джорджии