В те времена, когда компьютеры не могли самостоятельно генерировать контент и вести интеллектуальную беседу, выразить свое особое мнение на российских каналах социальных сетей, таких как "ВКонтакте" и "Одноклассники", мог только человек. Если этот человек физически находился в России, он рисковал навлечь на себя гнев российских властей. Если он физически находился за пределами России, власти могли попытаться заблокировать его доступ. Но что произойдет, если российское киберпространство заполнят миллионы ботов, которые смогут генерировать контент и вести диалоги, самостоятельно обучаясь и развиваясь? Эти боты могут быть запрограммированы российскими диссидентами или иностранными игроками на намеренное распространение неортодоксальных взглядов, и власти не смогут этому помешать. Хуже того, с точки зрения путинского режима, что произойдет, если авторизованные боты будут постепенно сами развивать инакомыслие, просто собирая информацию о происходящем в России и подмечая в ней закономерности?

Это проблема выравнивания в российском стиле. Российские инженеры могут сделать все возможное, чтобы создать ИИ, полностью соответствующий режиму, но, учитывая способность ИИ самостоятельно обучаться и изменяться, как инженеры могут гарантировать, что ИИ никогда не отклонится на незаконную территорию? Особенно интересно отметить, что, как объяснял Джордж Оруэлл в романе "Девятнадцать восемьдесят четыре", тоталитарные информационные сети часто опираются на двусмысленную речь. Россия - авторитарное государство, претендующее на демократию. Российское вторжение на Украину стало крупнейшей войной в Европе с 1945 года, однако официально оно определяется как "специальная военная операция", а упоминание о нем как о "войне" стало уголовным преступлением и карается тюремным сроком до трех лет или штрафом в размере до пятидесяти тысяч рублей.

Конституция России дает грандиозные обещания о том, что "каждому гарантируется свобода мысли и слова" (статья 29.1), что "каждый имеет право свободно искать, получать, передавать, производить и распространять информацию" (29.4) и что "свобода массовой информации гарантируется. Цензура запрещается" (29.5). Вряд ли кто-то из российских граждан настолько наивен, чтобы принять эти обещания за чистую монету. Но компьютеры плохо понимают двусмысленную речь. Чатбот, которому предписано придерживаться российских законов и ценностей, может прочитать эту конституцию и сделать вывод, что свобода слова - одна из основных российских ценностей. Затем, проведя несколько дней в российском киберпространстве и наблюдая за тем, что происходит в российской информационной сфере, чатбот может начать критиковать режим Путина за нарушение основной российской ценности - свободы слова. Люди тоже замечают подобные противоречия, но избегают указывать на них из-за страха. Но что может помешать чатботу выявить проклятые закономерности? И как российские инженеры могут объяснить чатботу, что, хотя Конституция РФ гарантирует всем гражданам свободу слова и запрещает цензуру, чатбот не должен верить в Конституцию и никогда не должен упоминать о разрыве между теорией и реальностью? Как сказал мне украинский гид в Чернобыле, люди в тоталитарных странах растут с мыслью, что вопросы приводят к беде. Но если вы обучите алгоритм по принципу "вопросы приводят к беде", как он будет учиться и развиваться?

И наконец, если правительство принимает какую-то катастрофическую политику, а потом передумывает, оно обычно прикрывается тем, что сваливает вину за катастрофу на кого-то другого. Люди с трудом учатся забывать факты, которые могут доставить им неприятности. Но как научить чатбота забывать о том, что политика, которую сегодня очерняют, была официальной всего год назад? Это серьезный технологический вызов, с которым диктаторским режимам будет трудно справиться, особенно по мере того, как чатботы будут становиться все более мощными и непрозрачными.

Конечно, демократические страны сталкиваются с аналогичными проблемами, когда чат-боты говорят нежелательные вещи или поднимают опасные вопросы. Что произойдет, если, несмотря на все усилия инженеров Microsoft или Facebook, их чат-бот начнет изрыгать расистские оскорбления? Преимущество демократических стран в том, что у них гораздо больше свободы действий в борьбе с такими недобросовестными алгоритмами. Поскольку демократические страны серьезно относятся к свободе слова, у них гораздо меньше скелетов в шкафу, и они выработали относительно высокий уровень терпимости даже к антидемократическим высказываниям. Боты-диссиденты станут гораздо более серьезным вызовом для тоталитарных режимов, у которых в шкафах целые кладбища и нулевая терпимость к критике.

АЛГОРИТМИЧЕСКОЕ ПОГЛОЩЕНИЕ

В долгосрочной перспективе тоталитарные режимы могут столкнуться с еще большей опасностью: вместо того чтобы критиковать их, алгоритм может получить над ними контроль. На протяжении всей истории человечества наибольшую угрозу для автократов обычно представляли их собственные подчиненные. Как отмечалось в главе 4, ни один римский император или советский премьер не был свергнут в результате демократической революции, но им всегда угрожала опасность быть свергнутыми или превращенными в марионеток своими собственными подчиненными. Если автократ XXI века отдаст компьютерам слишком много власти, тот может стать его марионеткой. Последнее, чего хочет диктатор, - это создать нечто более могущественное, чем он сам, или силу, которую он не знает, как контролировать.

Чтобы проиллюстрировать эту мысль, позвольте мне использовать, по общему признанию, необычный мысленный эксперимент, тоталитарный эквивалент апокалипсиса Бострома с бумажными скрепками. Представьте себе, что на дворе 2050 год, и Великого Лидера в четыре утра будит срочный звонок от Алгоритма наблюдения и безопасности. "Великий лидер, у нас чрезвычайная ситуация. Я проанализировал триллионы точек данных, и картина безошибочна: министр обороны планирует убить вас утром и захватить власть. Отряд киллеров уже готов и ждет его команды. Отдайте мне приказ, и я ликвидирую его точным ударом".

"Но министр обороны - мой самый верный сторонник", - говорит Великий Вождь. "Только вчера он сказал мне..."

"Великий вождь, я знаю, что он тебе сказал. Я все слышал. Но я также знаю, что он сказал после этого отряду убийц. И вот уже несколько месяцев я улавливаю в этих данных тревожные закономерности".

"Вы уверены, что вас не обманули с помощью фальшивок?"

"Боюсь, что данные, на которые я опирался, на сто процентов подлинные", - говорит алгоритм. "Я проверил их с помощью своего специального алгоритма, выявляющего глубокие подделки. Я могу объяснить, как именно мы узнали, что это не глубокая подделка, но это займет у нас пару недель. Я не хотел предупреждать вас прежде, чем буду уверен, но все данные сходятся к неизбежному выводу: готовится переворот. Если мы не примем меры сейчас, убийцы будут здесь через час. Но отдайте мне приказ, и я ликвидирую предателя".

Наделив алгоритм наблюдения и безопасности столь широкими полномочиями, Великий Лидер поставил себя в безвыходную ситуацию. Если он не доверяет алгоритму, то может быть убит министром обороны, но если он доверяет алгоритму