последуют за ней, чтобы не оказаться в крайне невыгодном положении. Боязнь оказаться отстающим, похоже, главная причина того, что США, Китай и Россия выступили против официального запрета разработки и производства автономных систем вооружения.

Чтобы составить представление о возможном развитии событий, можно взглянуть на противостояние другого рода — постоянную битву торговых систем на основе ИИ на Уолл-стрит. Сейчас алгоритмическая торговля господствует в дневных сделках, заключаемых на крупнейших фондовых биржах. В США на их долю приходится до 80 % всего объема торгов. Еще в 2013 году группа физиков изучила финансовый рынок и опубликовала в журнале Nature статью, где утверждалось, что «формируется экосистема конкурирующих машин, реализующих „толпы“ хищнических алгоритмов» и что алгоритмическая торговля, возможно, уже вышла из-под контроля — и даже понимания — людей, создавших эти системы[313]. Сейчас алгоритмы включают новейшие достижения в области ИИ, их влияние на рынки резко выросло, а способы взаимодействия становятся все более непостижимыми. Например, многие алгоритмы способны напрямую подключаться к машиночитаемым новостным ресурсам таких компаний, как Bloomberg и Reuters, и осуществлять сделки, исходя из этой информации, за ничтожные доли секунды. Что касается краткосрочной поминутной торговли, то человек даже не успевает осмыслить детали происходящего, не говоря уже о попытках переиграть алгоритмы. Подозреваю, что со временем это будет относиться и к ситуации на поле боя.

Даже если технологии автономного ведения боевых действий будут использоваться исключительно сильнейшими державами, опасность очень велика. Роботизированное боестолкновение происходит быстрее, чем военные или политические лидеры способны полностью понять и разрядить ситуацию. Иначе говоря, риск втягивания в масштабную войну в результате относительно мелкого инцидента может существенно вырасти. Еще одной проблемой является то, что в мире, где роботы сражаются с роботами и непосредственная опасность угрожает очень немногим людям, воспринимаемая цена участия в войне может стать опасно низкой. Пожалуй, это уже произошло в Соединенных Штатах, где вследствие отказа от всеобщего воинского призыва и перехода к полностью контрактной армии очень немногие представители элиты отправляют своих детей служить в вооруженные силы. Вследствие этого для людей, обладающих наибольшей властью, ставки в игре очень низки — они защищены от прямых, персональных издержек военных действий. Этот разрыв кажется мне важной причиной военных вмешательств США на Ближнем Востоке на протяжении многих десятилетий. Разумеется, если бы машина могла пойти навстречу опасности и тем спасти жизнь солдата, это было бы безусловным благом. Однако нельзя допустить, чтобы кажущаяся незначительность риска стала определяющей в нашем коллективном восприятии, когда принимается решение начать войну.

Величайшей опасностью является утрата законными властями и военными контроля над уже произведенным оружием, созданным по технологии автономного летального вооружения. Если это произойдет, его начнут продавать незаконные торговцы оружием, снабжающие террористов, наемников и государства-изгои. Если автономное оружие станет общедоступным, кошмарные сценарии, представленные в фильме «Роботы-убийцы», легко могут превратиться в реальность. Даже если такие системы нельзя будет купить, барьеры для их создания намного ниже, чем в случае других видов оружия массового уничтожения. Особенно это касается дронов. Легкодоступные технологии и компоненты, предназначенные для коммерческого или развлекательного использования, могут быть применены для производства оружия. Если создание атомной бомбы является сложнейшей задачей даже для государства с его ресурсами, то сконструировать и изготовить автономные дроны для небольшого роя под силу даже кучке людей, работающих в подвале. Технология автономных систем вооружения сродни вирусу: стоит ей просочиться в мир — и будет чрезвычайно трудно защититься от нее или ограничить расползание.

Большое заблуждение — распространению которого порой способствуют СМИ — привязывать автономные системы летальных вооружений к научно-фантастическим сценариям, знакомым нам по таким фильмам, как «Терминатор». Это категориальная ошибка, опасная тем, что отвлекает наше внимание от непосредственных опасностей подобного оружия. Риск заключается не в том, что машины когда-нибудь вырвутся из-под нашего контроля и решат напасть на нас по своей собственной воле. Для этого потребовался бы универсальный искусственный интеллект, до которого, как мы убедились, еще много десятилетий. Нам следует опасаться того, что люди могут воспользоваться оружием, не более «интеллектуальным», чем iPhone, но безжалостно компетентным в идентификации, выслеживании и уничтожении живых целей. Такая опасность вовсе не умозрительная и не футуристическая. Как отмечает Стюарт Рассел в заключении к «Роботам-убийцам», в этом фильме показаны «результаты интеграции и миниатюризации технологий, которыми мы уже обладаем». Иными словами, такое оружие может появиться в ближайшие несколько лет, и, если мы хотим это предотвратить, следует помнить, что «окно возможностей закрывается быстро»[314]. С учетом того, что прямой запрет этого оружия с санкции ООН появится, вероятно, не скоро, мировое сообщество должно хотя бы не допустить попадания автономных систем вооружения в руки террористов, которые могут применить их против гражданских лиц.

Предвзятость, справедливость и прозрачность применительно к алгоритмам машинного обучения

Искусственный интеллект и машинное обучение применяются все более широко, и принципиально важно, чтобы результаты и рекомендации, выдаваемые алгоритмами, воспринимались как справедливые, а стоящая за ними логика имела адекватное объяснение. Если вы используете систему глубокого обучения для максимизации энергоэффективности промышленного оборудования, вас едва ли интересует, чем она руководствуется: вам просто нужен оптимальный результат. Если же машинное обучение применяется в таких областях, как уголовное судопроизводство, наем или обработка ипотечных заявок, — в общем, там, где решения имеют серьезные последствия и непосредственно влияют на права и благополучие людей, — то необходимо продемонстрировать, что полученные результаты беспристрастны в отношении всех демографических групп, а проведенный анализ прозрачен и объективен.

Предвзятость — частая проблема машинного обучения, в большинстве случаев возникающая из-за недостатков данных, на которых обучают алгоритмы. Как мы видели в предыдущей главе, алгоритмы распознавания лиц, созданные на Западе, часто необъективны по отношению к цветным людям, потому что в обучающих выборках слишком много фотографий представителей европеоидной расы. Проблема более общего характера заключается в том, что характер значительной части данных, используемых для обучения алгоритмов, напрямую зависит от поведения, решений и действий людей. Если люди, подбирающие данные, имеют ту или иную предвзятость, например в отношении расовой или гендерной принадлежности, то она автоматически будет встроена в обучающую выборку.

Возьмем, например, алгоритм машинного обучения, созданный для отбора резюме претендентов на вакансию в крупной компании. Такую систему нужно обучить на полных текстах всех резюме, поданных предыдущими кандидатами на аналогичные места, а также на решениях, принятых по каждому из этих резюме менеджерами. Алгоритм машинного обучения должен переработать все данные и сформировать представление о том, какие характеристики резюме нужны, чтобы пригласить кандидата на дополнительное собеседование, а какие приводят к отказу без лишних раздумий. Алгоритм, способный сделать это эффективно