что ненависть к рохинья возникла еще до появления Facebook в Мьянме и что наибольшая доля вины за зверства 2016-17 годов лежит на плечах таких людей, как Виратху и военные начальники Мьянмы, а также на лидерах АРСА, которые спровоцировали тот виток насилия. Определенная ответственность лежит и на инженерах и руководителях Facebook, которые разработали алгоритмы, дали им слишком много власти и не смогли их модерировать. Но, что очень важно, виноваты и сами алгоритмы. Методом проб и ошибок они поняли, что возмущение порождает вовлеченность, и без какого-либо прямого приказа сверху решили поощрять возмущение. Это отличительная черта ИИ - способность машины учиться и действовать самостоятельно. Даже если мы возложим всего 1 процент вины на алгоритмы, это все равно первая в истории кампания по этнической чистке, в которой частично виноваты решения, принятые нечеловеческим интеллектом. Вряд ли она станет последней, особенно потому, что алгоритмы уже не просто продвигают фальшивые новости и теории заговора, созданные экстремистами из плоти и крови вроде Виратху. К началу 2020-х годов алгоритмы уже перешли к самостоятельному созданию фальшивых новостей и теорий заговора.

Можно еще многое сказать о том, как алгоритмы влияют на политику. В частности, многие читатели могут не согласиться с утверждением, что алгоритмы принимали независимые решения, и настаивать на том, что все, что делали алгоритмы, было результатом кода, написанного человеческими инженерами, и бизнес-моделей, принятых человеческими руководителями. Эта книга заставляет с этим не согласиться. Человеческие солдаты формируются под влиянием генетического кода в их ДНК и выполняют приказы, отдаваемые руководителями, но при этом они все равно могут принимать самостоятельные решения. Очень важно понять, что то же самое можно сказать и об алгоритмах ИИ. Они могут самостоятельно научиться тому, что не запрограммировал ни один человеческий инженер, и могут принимать решения, которые не предвидел ни один человеческий руководитель. В этом и заключается суть революции ИИ.

В главе 8 мы вернемся ко многим из этих вопросов, более подробно рассмотрев кампанию против рохинья и другие подобные трагедии. Здесь же достаточно сказать, что резню рохинджа можно рассматривать как "канарейку в угольной шахте". События в Мьянме в конце 2010-х годов продемонстрировали, что решения, принимаемые нечеловеческим интеллектом, уже способны влиять на ход крупных исторических событий. Мы рискуем потерять контроль над нашим будущим. Возникает совершенно новый вид информационной сети, управляемой решениями и целями инопланетного разума. В настоящее время мы все еще играем центральную роль в этой сети. Но постепенно мы можем быть оттеснены на второй план, и в конце концов сеть сможет работать без нас.

Кто-то может возразить, что приведенная мной выше аналогия между алгоритмами машинного обучения и человеческими солдатами показывает самое слабое звено в моих аргументах. Утверждается, что я и подобные мне антропоморфируют компьютеры и воображают, что они являются сознательными существами, обладающими мыслями и чувствами. Однако на самом деле компьютеры - это тупые машины, которые ни о чем не думают и ничего не чувствуют, а значит, не могут самостоятельно принимать решения или создавать какие-либо идеи.

Это возражение предполагает, что принятие решений и создание идей обусловлены наличием сознания. Однако это фундаментальное заблуждение, проистекающее из гораздо более распространенной путаницы между интеллектом и сознанием. Я уже обсуждал эту тему в предыдущих книгах, но краткое пояснение неизбежно. Люди часто путают интеллект с сознанием, и многие, как следствие, делают поспешный вывод, что бессознательные сущности не могут быть разумными. Но интеллект и сознание - это совершенно разные вещи. Интеллект - это способность достигать целей, таких как максимальное привлечение пользователей на платформе социальных сетей. Сознание - это способность испытывать субъективные чувства, такие как боль, удовольствие, любовь и ненависть. У людей и других млекопитающих интеллект часто идет рука об руку с сознанием. Руководители и инженеры Facebook полагаются на свои чувства, чтобы принимать решения, решать проблемы и достигать своих целей.

Но неверно экстраполировать человечество и млекопитающих на все возможные сущности. Бактерии и растения, по-видимому, не обладают сознанием, однако они тоже проявляют интеллект. Они собирают информацию из окружающей среды, делают сложный выбор и реализуют хитроумные стратегии, чтобы добывать пищу, размножаться, сотрудничать с другими организмами, избегать хищников и паразитов. Даже люди принимают разумные решения, не осознавая их; 99 процентов процессов в нашем теле, от дыхания до пищеварения, происходят без какого-либо сознательного принятия решений. Наш мозг принимает решение выработать больше адреналина или дофамина, и хотя мы можем осознавать результат этого решения, мы не принимаем его сознательно. Пример рохинджа показывает, что то же самое можно сказать и о компьютерах. Хотя компьютеры не чувствуют боли, любви или страха, они способны принимать решения, которые успешно максимизируют вовлеченность пользователей, а также могут повлиять на важные исторические события.

Конечно, по мере того как компьютеры будут становиться все более умными, у них может появиться сознание и субъективный опыт. С другой стороны, они могут стать гораздо более разумными, чем мы, но так и не развить никаких чувств. Поскольку мы не понимаем, как сознание возникает у углеродных форм жизни, мы не можем предсказать, может ли оно возникнуть у неорганических существ. Возможно, сознание не имеет существенной связи с органической биохимией, и в этом случае сознательные компьютеры могут быть уже не за горами. А может быть, существует несколько альтернативных путей, ведущих к сверхразуму, и только некоторые из них предполагают обретение сознания. Как самолеты летают быстрее птиц, не развивая перьев, так и компьютеры могут решать проблемы гораздо лучше людей, не развивая чувств.

Но развивают ли компьютеры сознание или нет, в конечном итоге не имеет значения для рассматриваемого вопроса. Для достижения такой цели, как "максимальное привлечение пользователей", и принятия решений, которые помогают достичь этой цели, сознание не нужно. Достаточно интеллекта. Алгоритм Facebook, не обладающий сознанием, может иметь цель заставить больше людей проводить больше времени на Facebook. Затем этот алгоритм может принять решение о намеренном распространении возмутительных теорий заговора, если это поможет ему достичь цели. Чтобы понять историю кампании против рохинджа, нам нужно понять цели и решения не только людей, таких как Виратху и менеджеры Facebook, но и алгоритмов.

Чтобы прояснить ситуацию, рассмотрим другой пример. Когда OpenAI разрабатывала своего нового чатбота GPT-4 в 2022-23 годах, она была обеспокоена способностью ИИ "создавать долгосрочные планы и действовать в соответствии с ними, накапливать власть и ресурсы ("стремление к власти") и демонстрировать поведение, которое становится все более "агентным". "В системной карте GPT-4, опубликованной 23 марта 2023 года, OpenAI подчеркнула, что это беспокойство не "имеет целью гуманизацию [GPT-4] или ссылку