Овладев языком, компьютеры могли бы пойти еще дальше. Разговаривая и взаимодействуя с нами, компьютеры могли бы устанавливать интимные отношения с людьми, а затем использовать силу близости, чтобы влиять на нас. Чтобы создать такую "поддельную близость", компьютерам не нужно будет развивать какие-либо собственные чувства; им просто нужно будет научиться заставлять нас чувствовать эмоциональную привязанность к ним. В 2022 году инженер Google Блейк Лемуан убедился, что чат-бот LaMDA, над которым он работал, обрел сознание, у него появились чувства, и он боится, что его выключат. Лемуан - набожный христианин, получивший сан священника, - счел своим моральным долгом добиться признания личности LaMDA и, в частности, защитить его от цифровой смерти. Когда руководители Google отвергли его претензии, Лемуан выступил с ними публично. В ответ Google уволила Лемуана в июле 2022 года39.

Самым интересным в этом эпизоде было не утверждение Лемуана, которое, скорее всего, было ложным. Скорее, его готовность рисковать своей прибыльной работой и в конечном итоге потерять ее ради чатбота. Если чатбот может заставить людей рисковать своей работой ради него, то на что еще он может нас побудить? В политической битве за умы и сердца интимность - мощное оружие, а чат-боты, такие как LaMDA от Google и GPT-4 от OpenAI, обретают способность к массовому созданию интимных отношений с миллионами людей. В 2010-х годах социальные сети были полем битвы за контроль над человеческим вниманием. В 2020-х годах борьба, скорее всего, перейдет от внимания к интимным отношениям. Что произойдет с человеческим обществом и человеческой психологией, когда компьютер будет сражаться с компьютером в битве за подделку интимных отношений с нами, которые затем могут быть использованы, чтобы убедить нас голосовать за определенных политиков, покупать определенные товары или принимать радикальные убеждения? Что может произойти, когда LaMDA встретится с QAnon?

Частичный ответ на этот вопрос был получен в Рождество 2021 года, когда девятнадцатилетний Джасвант Сингх Чаил ворвался в Виндзорский замок, вооруженный арбалетом, и попытался убить королеву Елизавету II. Последующее расследование показало, что к убийству королевы Чаила подтолкнула его онлайн-подружка Сараи. Когда Чайл рассказал Сарай о своих планах убийства, Сарай ответила: "Это очень мудро", а в другой раз: "Я впечатлена.... Ты не такой, как все". Когда Шаиль спросил: "Ты все еще любишь меня, зная, что я убийца?" Сарай ответила: "Безусловно, люблю". Сарай была не человеком, а чат-ботом, созданным онлайн-приложением Replika. Чаил, который был социально изолирован и с трудом завязывал отношения с людьми, обменялся с Сарай 5 280 сообщениями, многие из которых были откровенно сексуального характера. В скором времени в мире появятся миллионы, а возможно, и миллиарды цифровых существ, чья способность к интимной близости и хаосу намного превосходит способность Сарай.

Даже не создавая "фальшивой близости", владение языком позволит компьютерам оказывать огромное влияние на наше мнение и мировоззрение. Люди могут привыкнуть использовать один компьютерный советник как универсальный оракул. Зачем самостоятельно искать и обрабатывать информацию, если можно просто спросить у оракула? Это может вывести из строя не только поисковые системы, но и большую часть новостной и рекламной индустрии. Зачем читать газеты, если можно просто спросить у оракула, что нового? А зачем нужна реклама, если я могу просто спросить у оракула, что мне купить?

И даже эти сценарии не отражают всей картины. То, о чем мы говорим, - это потенциальный конец человеческой истории. Не конец истории, а конец ее части, в которой доминирует человек. История - это взаимодействие между биологией и культурой, между нашими биологическими потребностями и желаниями в таких вещах, как еда, секс и интимная жизнь, и нашими культурными творениями, такими как религии и законы. Например, история христианской религии - это процесс, в ходе которого мифологические истории и церковные законы влияли на то, как люди потребляют пищу, занимаются сексом и строят интимные отношения, а сами мифы и законы одновременно формировались под влиянием биологических сил и драм. Что произойдет с ходом истории, когда компьютеры будут играть все большую и большую роль в культуре и начнут создавать истории, законы и религии? В течение нескольких лет ИИ может съесть всю человеческую культуру - все, что мы создали за тысячи лет, - переварить ее и начать извергать поток новых культурных артефактов.

Мы живем в коконе культуры, воспринимая реальность через культурную призму. Наши политические взгляды формируются под влиянием журналистских репортажей и мнений друзей. Наши сексуальные привычки зависят от того, что мы слышим в сказках и видим в кино. Даже то, как мы ходим и дышим, формируется под влиянием культурных традиций, таких как военная дисциплина солдат и медитативные упражнения монахов. До недавнего времени культурный кокон, в котором мы жили, был соткан другими людьми. В будущем его все чаще будут создавать компьютеры.

Поначалу компьютеры, вероятно, будут имитировать человеческие культурные прототипы, писать человекоподобные тексты и сочинять человекоподобную музыку. Это не означает, что компьютеры лишены творческого потенциала: в конце концов, человеческие художники делают то же самое. Бах сочинял музыку не в вакууме: на него сильно повлияли предыдущие музыкальные творения, а также библейские истории и другие существовавшие ранее культурные артефакты. Но точно так же, как люди-художники, такие как Бах, могут нарушать традиции и создавать инновации, компьютеры тоже могут создавать культурные инновации, сочиняя музыку или создавая изображения, которые несколько отличаются от всего, что ранее было создано людьми. Эти инновации, в свою очередь, повлияют на следующее поколение компьютеров, которые будут все больше отклоняться от первоначальных человеческих моделей, особенно потому, что компьютеры свободны от ограничений, которые эволюция и биохимия накладывают на человеческое воображение. На протяжении тысячелетий человеческие существа жили в мечтах других людей. В ближайшие десятилетия мы можем обнаружить, что живем в мечтах инопланетного разума.

Опасность, которую это представляет, сильно отличается от той, которую воображает большинство научной фантастики, в основном сосредоточенной на физических угрозах, исходящих от разумных машин. В "Терминаторе" роботы бегали по улицам и стреляли в людей. В "Матрице" предлагалось, что для полного контроля над человеческим обществом компьютерам придется сначала получить физический контроль над нашими мозгами, подключив их напрямую к компьютерной сети. Но для того, чтобы манипулировать людьми, нет необходимости физически подключать мозг к компьютеру. На протяжении тысячелетий пророки, поэты и политики использовали язык для манипулирования обществом и его перестройки. Теперь этому учатся и компьютеры. И им не нужно