В теоретическом плане Аркин в каком-то смысле прав. Трудно представить роботов, которые бы устроили массовое убийство в Сонгми. Видимо, подобная жестокость коренится в человеческой иррациональности, которая связана скорее с эмоциями, чем с расчетом. Но часто мы более всего осуждаем не то насилие, которое было совершено в пылу страсти, а заранее все взвесившего убийцу, хладнокровно спланировавшего нападение. Трудно представить роботизированную систему вооружений, у которой не было бы способа обойти различные ограничения, причем обход, очевидно, контролировался бы человеком в военной форме.

Любая попытка закодировать право и этику в программах роботов-убийц сталкивается с огромными практическими затруднениями. Профессор компьютерных наук Ноэль Шарки утверждал, что в принципе невозможно запрограммировать робота-воина с реакциями на бесконечное число ситуаций, способных возникнуть в разгар конфликта[469]. Проклятие многомерности слишком сильно, особенно в области, где мы, к счастью, не обладаем значительным запасом данных о прошлом, на которые могли бы ориентироваться будущие действия. Беспилотный автомобиль из-за снега, который влияет на его сенсоры, становится бесполезным, и точно так же опасны АСВ в «тумане войны». Машинное обучение лучше всего работало там, где есть большой объем данных и четкие примеры хороших и плохих, правильных и неправильных решений. В частности, компании, обслуживающие кредитные карты, смогли усовершенствовать механизмы распознания мошенничества, анализируя сотни миллионов трансакций, в которых ложноотрицательные и ложноположительные результаты легко отметить с почти что 100 %-й точностью. Можно ли будет датафицировать опыт солдат в Ираке, когда они решают, открыть ли огонь по врагу, который вызывает сомнения? Даже если бы это было возможным, насколько релевантным такой массив данных оказался бы при оккупации, например Судана или Йемена (двух из многих стран, в которых в той или иной форме присутствуют американские вооруженные силы)?[470]

Условием для обычных успехов больших данных в предсказательной аналитике является большой объем информации, которую можно легко закодировать. Большинство солдат, участвовавших в противоповстанческих действиях, могут засвидетельствовать то, что повседневный опыт войны – это долгие периоды скуки, иногда прерываемые внезапными и ужасающими вспышками хаоса. Стандартизировать отчеты о подобных инцидентах – задача не из простых. Рассказы о столкновениях в условиях военной оккупации не всегда доступны, однако они имеют критическое значение для оценки ответа на данную ситуацию в качестве правильного или неправильного. Еще больше беспокойства вызывает то, что «использование информации в качестве вооружения» становится все более важной стратегией конфликта, как и применение дезинформации[471]. Военные во всем мире понимают, что идеологическое оформление конфликта столь же важно, как и само военное действие. Примеры – Владимир Путин с его классической русской стратегией «маскировки» или доклады армии США о стратегическом применении дезинформации[472]. Учитывая скудность данных о конфликте и их ненадежность, стремление создать этических роботов представляется нереалистичным.

Роботы-убийцы и военное право

Международное гуманитарное право (МГП), комплекс норм, управляющих вооруженным конфликтом, создает еще больше проблем для разработчиков автономных вооружений[473]. Главная норма МГП – это правило дискриминации, требующее, чтобы воюющие стороны проводили различие между комбатантами и нонкомбатантами. Мишенями могут становиться только комбатанты[474]. Среди партизан или повстанцев не существует надежной общепринятой «самоидентификации» комбатантов (которой могли бы быть униформа или знаки отличия). В противоповстанческих операциях и других нетрадиционных видах военных действия, которые получили распространение в последние несколько десятилетий, комбатанты смешиваются с гражданскими. НПО Human Rights Watch предлагает следующий пример трагедии, которую могут устроить машины, но способно предупредить человеческое суждение:

Может случиться так, что испуганная мать побежит за двумя детьми и крикнет им, чтобы они прекратили играть с игрушечными автоматами рядом с солдатом. Солдат-человек может заметить страх матери и игру детей и понять, что их намерения безобидны, тогда как полностью автономное вооружение может заметить лишь человека, бегущего к нему, и двух вооруженных людей. Первый не станет открывать огонь, а второй может начать атаку[475].

Учитывая современную ограниченность программирования и распознавания лиц, этот пример представляется довольно убедительной критикой военных роботов. Ключевой этический пример военных действий – это принцип дискриминации: атакующие должны проводить различие между комбатантами и гражданскими.

Апологеты АСВ подчеркивают, однако, что способность таких вооружений к различению постоянно улучшается. Когда она достигнет совершенства, наблюдение силами дронов будет способно создать «зоны боевых действий, которые видят», тщательно отслеживая, кто среди врагов вооружен и опасен, а кто всегда отсиживался, не подавая подозрительных сигналов и не демонстрируя необычных паттернов активности[476]. Даже если предположить, что технология станет более точной, ничем не обоснован вывод, будто командующие купят ее, будут ее использовать или разработают справедливые принципы распознавания в условиях неопределенной боевой обстановки. Статус комбатанта (являющегося законной мишенью) «становится все более неопределенным и до такой степени размытым, что может распространяться на любую форму принадлежности, сотрудничества или симпатии к повстанческой организации»[477].

Принцип распознавания – лишь один из множества международных законов, регулирующих военные действия. Принятое Женевской конвенцией «правило соразмерности» запрещает «атаку, которая, как можно предполагать, приведет к таким случайным жертвам среди гражданских, их травмам или сочетанию того и другого, которые будут чрезмерными в сравнении с ожидаемым конкретным и непосредственным военным преимуществом»[478]. Установление статуса комбатанта может быть в принципе доступным паноптическому предшественнику сети Skynet, способному отслеживать всех людей на определенной территории для оценки их вооруженности или причастности тем или иным враждебным действиям. Однако даже американские военно-воздушные силы указали на то, что определение соразмерности является «субъективным по самой своей сути, а потому ее надо устанавливать в каждом случае отдельно»[479].

Многие авторитеты объясняли, насколько сложно запрограммировать робота, способного справиться с «бесконечным числом сценариев, которые могут возникнуть» во время войны[480]. Питер Асаро, эксперт в области робототехники, получивший образование как в области информатики, так и философии науки, утверждает, что «утилитарный расчет минимизации риска» не способен подменить тот правовой анализ, которым ранее занимались юристы, когда интерпретировали Декларацию Мартенса[481]. И военные чиновники, и международные трибуналы должны заниматься широким спектром этических вопросов, которые возникают из-за все более автономных систем вооружений. Асаро выделяет резкое расхождение между роботизированной обработкой данных и человеческим разумом – то, как это проявляется в юридических процессах. Асаро замечает: «Автоматический процесс, спроектированный заранее и основанный на сенсорных данных, не является ни правовым, ни моральным суждением»[482]. Какой бы эффективной технология нацеливания ни была в мониторинге, выявлении и нейтрализации угроз, нет