Если хотя бы несколько мировых диктаторов решат довериться ИИ, это может иметь далеко идущие последствия для всего человечества. Научная фантастика полна сценариев, в которых ИИ выходит из-под контроля и порабощает или уничтожает человечество. В большинстве научно-фантастических сюжетов эти сценарии рассматриваются в контексте демократического капиталистического общества. Это вполне объяснимо. Авторов, живущих в демократических странах, очевидно, интересует их собственное общество, в то время как авторы, живущие в диктаторских государствах, обычно не склонны критиковать своих правителей. Но самое слабое место в защите человечества от ИИ - это, пожалуй, диктаторы. ИИ легче всего захватить власть не путем побега из лаборатории доктора Франкенштейна, а путем сближения с каким-нибудь параноиком Тиберием.

Это не пророчество, а всего лишь возможность. После 1945 года диктаторы и их подчиненные сотрудничали с демократическими правительствами и их гражданами в деле сдерживания ядерного оружия. 9 июля 1955 года Альберт Эйнштейн, Бертран Рассел и ряд других выдающихся ученых и мыслителей опубликовали Манифест Рассела-Эйнштейна, в котором призвали лидеров как демократических, так и диктаторских государств к сотрудничеству в деле предотвращения ядерной войны. "Мы обращаемся, - говорится в манифесте, - как человеческие существа, к человеческим существам: помните о своей человечности и забудьте обо всем остальном. Если вы сможете это сделать, перед вами откроется путь в новый рай; если не сможете, перед вами встанет риск всеобщей гибели". Это справедливо и для ИИ. Было бы глупо со стороны диктаторов полагать, что ИИ обязательно изменит баланс сил в их пользу. Если они не будут осторожны, ИИ просто захватит власть в свои руки.

ГЛАВА 11.

Силиконовый занавес: Глобальная империя или глобальный раскол?

В предыдущих двух главах мы рассмотрели, как различные человеческие общества могут отреагировать на появление новой компьютерной сети. Но мы живем во взаимосвязанном мире, где решения одной страны могут оказать глубокое влияние на другие. Некоторые из самых серьезных опасностей, создаваемых ИИ, не являются результатом внутренней динамики отдельно взятого человеческого общества. Скорее, они возникают в результате динамики, охватывающей многие общества, что может привести к новым гонкам вооружений, новым войнам и новым имперским экспансиям.

Компьютеры еще не настолько мощны, чтобы полностью выйти из-под нашего контроля или самостоятельно уничтожить человеческую цивилизацию. Пока человечество сплочено, мы можем создать институты, которые будут контролировать ИИ, выявлять и исправлять ошибки алгоритмов. К сожалению, человечество никогда не было единым. Мы всегда страдали от плохих игроков, а также от разногласий между хорошими игроками. Таким образом, развитие ИИ представляет собой экзистенциальную опасность для человечества не из-за злобы компьютеров, а из-за наших собственных недостатков.

Так, параноидальный диктатор может передать неограниченную власть слабому ИИ, включая даже право наносить ядерные удары. Если диктатор доверяет своему ИИ больше, чем министру обороны, разве не имеет смысла поручить ему контроль над самым мощным оружием страны? Если ИИ допустит ошибку или начнет преследовать чужие цели, результат может быть катастрофическим, и не только для этой страны.

Точно так же террористы, сосредоточенные на событиях в одном уголке мира, могут использовать ИИ для провоцирования глобальной пандемии. Террористы могут быть более сведущи в мифологии апокалипсиса, чем в науке эпидемиологии, но им нужно только поставить цель, а все остальное сделает их ИИ. ИИ может синтезировать новый патоген, заказать его в коммерческих лабораториях или напечатать на биологических 3-D принтерах и разработать оптимальную стратегию его распространения по всему миру через аэропорты или цепочки поставок продовольствия. А что, если ИИ синтезирует вирус, который будет таким же смертоносным, как Эбола, таким же заразным, как COVID-19, и таким же медленно действующим, как СПИД? К тому времени, когда первые жертвы начнут умирать, а мир будет предупрежден об опасности, большинство людей на Земле уже будут заражены.

Как мы уже видели в предыдущих главах, человеческой цивилизации угрожает не только физическое и биологическое оружие массового поражения, такое как атомные бомбы и вирусы. Человеческую цивилизацию также может уничтожить оружие социального массового поражения, например истории, подрывающие наши социальные связи. ИИ, разработанный в одной стране, может быть использован для распространения фальшивых новостей, фальшивых денег и фальшивых людей, чтобы люди во множестве других стран потеряли способность доверять чему-либо или кому-либо.

Многие общества - как демократические, так и диктаторские - могут ответственно подходить к регулированию такого использования ИИ, пресекать действия плохих игроков и сдерживать опасные амбиции своих правителей и фанатиков. Но если даже горстка обществ не справится с этой задачей, этого может оказаться достаточно, чтобы поставить под угрозу все человечество. Изменение климата может опустошить даже те страны, где приняты отличные экологические нормы, потому что это глобальная, а не национальная проблема. ИИ тоже является глобальной проблемой. Странам было бы наивно полагать, что если они будут разумно регулировать ИИ в пределах своих границ, то эти правила защитят их от худших последствий революции ИИ. Соответственно, чтобы понять новую компьютерную политику, недостаточно изучить, как отдельные общества могут отреагировать на ИИ. Нам также необходимо рассмотреть, как ИИ может изменить отношения между обществами на глобальном уровне.

В настоящее время мир разделен на около двухсот национальных государств, большинство из которых получили независимость только после 1945 года. Не все они равноправны. В списке есть две сверхдержавы, несколько крупных держав, несколько блоков и альянсов, а также множество мелкой рыбы. Тем не менее, даже самые маленькие государства обладают некоторыми рычагами влияния, о чем свидетельствует их способность играть со сверхдержавами друг против друга. Например, в начале 2020-х годов Китай и США боролись за влияние в стратегически важном Южно-Тихоокеанском регионе. Обе сверхдержавы обхаживали такие островные государства, как Тонга, Тувалу, Кирибати и Соломоновы острова. Правительства этих небольших государств с населением от 740 000 (Соломоновы острова) до 11 000 (Тувалу) имели значительную свободу действий при выборе пути и смогли добиться значительных уступок и помощи.

Другие малые государства, такие как Катар, зарекомендовали себя как важные игроки на геополитической арене. Имея всего 300 000 граждан, Катар, тем не менее, преследует амбициозные внешнеполитические цели на Ближнем Востоке, играет огромную роль в мировой экономике и является домом для Аль-Джазиры, самой влиятельной телевизионной сети арабского мира. Кто-то может возразить, что Катар способен значительно превосходить свои размеры, потому что он является третьим по величине экспортером природного газа в мире. Однако в другой международной обстановке это сделало бы Катар не независимым игроком, а первым блюдом в меню любого имперского