Рэй Курцвейл согласен с ним, утверждая в книге "Сингулярность уже близко", что "ИИ - это ключевая технология, которая позволит нам решить стоящие перед нами насущные проблемы, включая преодоление болезней, бедности, деградации окружающей среды и всех наших человеческих слабостей. У нас есть моральный императив - реализовать это обещание новых технологий". Курцвейл прекрасно осознает потенциальные опасности технологии и подробно анализирует их, но считает, что их можно успешно смягчить.

Другие настроены более скептически. Не только философы и социологи, но и многие ведущие эксперты и предприниматели в области ИИ, такие как Йошуа Бенгио, Джеффри Хинтон, Сэм Альтман, Элон Маск и Мустафа Сулейман, предупреждают общественность о том, что ИИ может уничтожить нашу цивилизацию. В статье, опубликованной в 2024 году в соавторстве с Бенджио, Хинтоном и другими экспертами, отмечается, что "бесконтрольное развитие ИИ может привести к масштабной гибели людей и биосферы, маргинализации или даже вымиранию человечества". В опросе, проведенном в 2023 году среди 2 778 исследователей ИИ, более трети дали хотя бы 10-процентную вероятность того, что развитый ИИ приведет к таким же последствиям, как и вымирание человечества. В 2023 году около тридцати правительств, включая правительства Китая, США и Великобритании, подписали Блетчлискую декларацию по ИИ, в которой признали, что "существует потенциал для нанесения серьезного, даже катастрофического вреда, преднамеренного или непреднамеренного, исходящего от наиболее значительных возможностей этих моделей ИИ". Используя такие апокалиптические термины, эксперты и правительства не хотят вызвать в воображении голливудский образ роботов-убийц, которые бегают по улицам и расстреливают людей. Такой сценарий маловероятен, и он просто отвлекает людей от реальных опасностей. Скорее, эксперты предупреждают о двух других сценариях.

Во-первых, мощь ИИ может усилить существующие человеческие конфликты, разделив человечество против него самого. Как в двадцатом веке "железный занавес" разделял соперничающие державы в холодной войне, так и в двадцать первом веке "кремниевый занавес", сделанный из кремниевых чипов и компьютерных кодов, а не из колючей проволоки, может разделить соперничающие державы в новом глобальном конфликте. Поскольку гонка вооружений ИИ будет создавать все более разрушительное оружие, даже маленькая искра может привести к катаклизмическому взрыву.

Во-вторых, "силиконовый занавес" может отделить не одну группу людей от другой, а всех людей от наших новых владык ИИ. Где бы мы ни жили, мы можем оказаться в паутине непостижимых алгоритмов, которые управляют нашей жизнью, формируют нашу политику и культуру и даже перестраивают наши тела и сознание, в то время как мы уже не можем понять, что за силы управляют нами, не говоря уже о том, чтобы остановить их. Если тоталитарной сети XXI века удастся завоевать мир, ею может управлять не человек-диктатор, а нечеловеческий интеллект. Люди, которые выделяют Китай, Россию или постдемократические Соединенные Штаты в качестве основного источника тоталитарных кошмаров, неправильно понимают опасность. На самом деле тоталитарный потенциал нечеловеческого интеллекта угрожает и китайцам, и русским, и американцам, и всем остальным людям.

Учитывая масштабы опасности, ИИ должен интересовать всех людей. Хотя не каждый может стать экспертом в области ИИ, мы все должны помнить, что ИИ - это первая в истории технология, которая может самостоятельно принимать решения и создавать новые идеи. Все предыдущие изобретения человека расширяли его возможности, потому что, каким бы мощным ни был новый инструмент, решения о его использовании всегда оставались в наших руках. Ножи и бомбы сами не решают, кого убивать. Это тупые инструменты, не обладающие интеллектом, необходимым для обработки информации и принятия самостоятельных решений. ИИ, напротив, обладает необходимым интеллектом, чтобы самостоятельно обрабатывать информацию и, следовательно, заменить человека в принятии решений.

Овладение информацией также позволяет ИИ самостоятельно генерировать новые идеи в самых разных областях - от музыки до медицины. Граммофоны воспроизводят нашу музыку, а микроскопы раскрывают секреты наших клеток, но граммофоны не могут сочинять новые симфонии, а микроскопы - синтезировать новые лекарства. ИИ уже способен самостоятельно создавать произведения искусства и совершать научные открытия. В ближайшие несколько десятилетий он, вероятно, обретет способность даже создавать новые формы жизни, либо написав генетический код, либо придумав неорганический код, оживляющий неорганические существа.

Даже сейчас, на эмбриональной стадии революции ИИ, компьютеры уже принимают за нас решения - выдать ли нам ипотечный кредит, взять ли нас на работу, отправить ли в тюрьму. Эта тенденция будет только усиливаться и ускоряться, усложняя понимание нашей собственной жизни. Можем ли мы доверить компьютерным алгоритмам принимать мудрые решения и создавать лучший мир? Это гораздо большая авантюра, чем доверить заколдованной метле принести воду. И мы ставим на карту не только человеческие жизни. ИИ может изменить ход не только истории нашего вида, но и эволюции всех форм жизни.

ИСПОЛЬЗОВАНИЕ ИНФОРМАЦИИ В КАЧЕСТВЕ ОРУЖИЯ

В 2016 году я опубликовал книгу Homo Deus, в которой рассказал о некоторых опасностях, которые несут человечеству новые информационные технологии. В этой книге утверждалось, что настоящим героем истории всегда была информация, а не Homo sapiens, и что ученые все чаще понимают не только историю, но и биологию, политику и экономику в терминах информационных потоков. Животные, государства и рынки - все это информационные сети, поглощающие данные из окружающей среды, принимающие решения и выдающие их обратно. Книга предупреждает, что, хотя мы надеемся, что более совершенные информационные технологии дадут нам здоровье, счастье и власть, на самом деле они могут отнять у нас власть и разрушить как наше физическое, так и психическое здоровье. Homo Deus предположил, что если люди не будут осторожны, мы растворимся в потоке информации, как ком земли в стремительной реке, и в грандиозной схеме вещей человечество окажется лишь рябью в космическом потоке данных.

За годы, прошедшие с момента выхода книги Homo Deus, темпы изменений только ускорились, и власть действительно переходит от людей к алгоритмам. Многие из сценариев, которые в 2016 году казались научной фантастикой, - например, алгоритмы, способные создавать произведения искусства, маскироваться под людей, принимать за нас важнейшие жизненные решения и знать о нас больше, чем мы сами о себе, - в 2024 году станут повседневной реальностью.

С 2016 года изменилось и многое другое. Усилился экологический кризис, обострилась международная напряженность, а популистская волна подорвала сплоченность даже самых крепких демократий. Популизм также бросил радикальный вызов наивному взгляду на информацию. Популистские лидеры, такие как Дональд Трамп и Жаир Болсонару, а также популистские движения и теории заговора, такие как QAnon и антивакцинаторы, утверждают, что все традиционные институты, которые получают авторитет, заявляя, что собирают информацию и открывают истину, просто лгут. Бюрократы, судьи, врачи,