«Реалисты», как они сами себя называют, утверждают, что государства должны накапливать передовые военные технологии, иначе их перегонят менее щепетильные конкуренты и будут терроризировать бандиты. Сторонники ИИ заявляют, что роботы сглаживают ужасы войны, определяя цели лучше, чем любой человек. Скептики полагают, что до такого будущего еще далеко. Теоретики сдерживания обеспокоены тем, что, даже если автоматизированная война станет «гуманнее», вооруженный конфликт не должен быть для государств слишком легким предприятием, иначе они используют техническое преимущество для подчинения всех остальных.

В этой главе, исследовав плюсы и минусы аболиционистского и реалистического подходов к военному ИИ, мы порекомендуем определенные формы атрибуции, которые на основании четвертого нового закона робототехники (требующего идентификации оператора или собственника робота) способны облегчить государствам соблюдение второго закона (предупреждающего о гонке вооружений). Контроль вооружений бывает процессом запутанным и опасным, но он упростится, если страны смогут работать сообща и будут честно отчитываться в своих способностях и действиях. Из истории мы знаем о программах нераспространения ядерного оружия. Сегодня намного меньше стран с ядерным оружием, чем государств, способных такое оружие создать. История той траектории развития ядерного оружия, которая не была выбрана, указывает на выход из лабиринта стратегий ИИ, в которых ныне увязли общие глобальные инициативы, направленные против гонки вооружений в сфере искусственного интеллекта.

Как представить роботизированную бойню

Видео производит впечатление. Два человека грозного вида стоят рядом с белым грузовиком в поле, в руках – пульты дистанционного управления. Они открывают задние двери грузовика, и раздается громкое жужжание дронов-квадрокоптеров. Люди нажимают переключатель, и дроны вылетают роем, как летучие мыши из пещеры. Через несколько секунд фильм переключается на класс в колледже. Роботы-убийцы влетают в него через окна и вентиляционные шахты. Студенты, оказавшиеся в ловушке, вопят от ужаса. Концовку в фильме Slaughterbots («Бойнеботы») может дорисовать воображение, но мысль понятна. Роботы-убийцы размером с ладонь либо уже существуют, либо будут созданы на следующем витке технологического развития. Применение им легко найдут и террористы. Защита от них либо слабая, либо ее не существует[457].

После того как Future of Life Institute выпустил фильм Slaughterbots, некоторые ведущие авторитеты из оборонной сферы высказали недовольство. Они утверждали, что в фильме серьезная проблема была представлена в виде сенсации, что им нагнетались страхи, тогда как требуется мудрое размышление. Однако в военном футуризме граница между научной фантастикой и промышленным фактом часто размывается. Согласно прогнозу ВВС США, «опергруппы будут отправлять механических насекомых, оснащенных видеокамерами, способных пробраться внутрь зданий, где держат заложников»[458]. В рамках одной «инициативы микросистем» уже был выпущен Octoroach – «миниатюрный робот с камерой и радиопередатчиком, который может передавать сигнал на100 м»[459]. Если через трещину в стене может пройти таракан, то так же через нее пролезет и Octoroach. Мы знаем, что многие другие опасные твари служат сегодня моделью для «роевой» технологии дронов. Само слово «рой» стало крайне популярным в среде передовых военных теоретиков.

В романе Питера Сингера и Огюста Кула «Призрачный флот», в котором речь идет о технологической войне, представлена богатая картина автономных дронов, взломанных спутников и лазеров, которые используются в ходе военного столкновения США с Россией и Китаем[460]. От книги нельзя отмахнуться как от простой военно-технической фантазии: в ней сотни сносок, в которых указано на разработки каждой аппаратной и программной составляющей, описанной в романе. Оба автора публиковались в военных изданиях[461].

Прогресс в теоретическом моделировании роботов-убийц может вызвать даже больше тревог, чем тенденции в развитии вооружений. В русском научно-фантастическом рассказе 1960-х гг. «Крабы идут по острову» описан вариант «Голодных игр» для алгоритмических агентов, в котором роботы ведут друг с другом битву за ресурсы. Проигравших отправляют на металлолом, а победители размножаются, пока эволюция не доходит до совершенных машин-убийц[462]. Когда ведущий компьютерный специалист упомянул аналогичный сценарий в Управлении по перспективным научным исследованиям Министерства обороны США, назвав его «„Парком юрского периода“ для роботов», его контрагенты сказали, что такой сценарий «вполне возможен»[463]. Несложно понять, что подобный сценарий может выйти из-под контроля, и это приведет к ужасающим последствиям[464]. Один из навыков совершенной машины-убийцы – умение убегать от других, пытающихся тебя поймать, причем неважно, кто они – люди или роботы. Главным препятствием на пути к таким экспериментам для крупных держав являются расходы. Но программное моделирование способно устранить и этот барьер, а потому виртуальные сражения могут послужить основой для будущих военных инвестиций.

Немало прецедентов, когда государства объединялись, чтобы запретить особо опасное или ужасное вооружение. В середине XX в. были заключены международные соглашения, запрещающие биологическое и химическое оружие. Содружество наций запретило также применение ослепляющей лазерной технологии. Мощная сеть НПО потребовала от ООН, чтобы страны-члены согласились также запретить и автономные системы оружия летального действия (АСОЛД). И хотя об определении АСОЛД сейчас много споров, которые наверняка продолжатся и в будущем, мы все можем представить особенно страшные виды подобных вооружений, отказаться производить или применять которые должны все страны. Например, действия дрона, который постепенно разогревает вражеских солдат, пока они не умрут, подпадают под международные соглашения, запрещающие пытки[465]. Такого же отношения заслуживает и звуковое оружие, которое повреждает слух солдат противника или их чувство равновесия. Проектировщик подобных видов вооружений должен быть изгнан из содружества стран, так же как создатель смертельно опасного вируса или ядовитого газа.

Ненадежный аргумент в пользу роботов-убийц

Действительно ли робот-убийца так же ужасен, как и биологическое оружие? Некоторые военные теоретики утверждают, что роботы не только превосходят прежнее вооружение в техническом отношении, но и являются более гуманными. По словам Майкла Шмитта из Военно-морского колледжа США, автономные системы вооружений (АСВ) позволяют более точно поражать мишени, что снижает количество непреднамеренных жертв. Например, если учитывать вероятный прогресс в области распознавания лиц и походки, робот-убийца мог бы стрелять по жителям деревни мужского пола в возрасте от 21 до 65 лет[466]. Шмитт также считает, что автономные системы вооружений могут стать гарантами мира. Он заявляет, что они могут «патрулировать небо», чтобы такие массовые убийства, как уничтожение курдов и болотных арабов Саддамом Хуссейном, стали невозможными[467].

С точки зрения уважаемых военных теоретиков и специалистов по компьютерным наукам, программируемое вооружение позволит наилучшим образом соотнести требования войны с нормами международного гуманитарного права. Рональд Аркин из Института технологии Джорджии полагает, что АСВ способны, «благодаря технологии, снизить негуманное отношение людей друг к другу», поскольку робот не ведает человеческих приступов гнева, садизма или жестокости. Он предложил вывести людей из процесса