изображений в медицине, где все согласны с тем, что усовершенствование технологии действительно служит человечеству[364]. Обнаружение опухоли в легком – совсем не то же самое, что выявление человека, который никуда не годен. Должны ли всевидящие компьютерные глаза усеивать наши школы, улицы и больницы и должны ли они следить за каждым нажатием клавиши – это действительно спорный вопрос. И то же самое можно сказать о новых способах оценки надежности и кредитоспособности, в частности на основе «граничных» данных, собираемых финансово-технологическими стартапами.

Движение в защиту справедливости, подотчетности и прозрачности в машинном обучении предложило много разных способов усовершенствования ИИ, который ныне оценивает человеческие усилия, внимательность, кредитоспособность и достоинство[365]. Но есть немало оснований и для заблаговременного запрета многих подобных технологий, за которым может последовать специальное лицензирование некоторых из них. Например, в целом за школами не должен следить взгляд системы Hikvision (о которой упоминалось в третьей главе), однако мы можем допустить, что она могла бы оказаться полезной в больнице, в которой выявлены случаи злоупотреблений или халатности. Но даже и там следует поставить под вопрос идею компьютерной оценки качества медицинской помощи или квалификации работников. Люди обязаны уделять друг другу внимание и объясняться на человеческом языке, и эту критическую функцию нельзя передать непрозрачному и неподотчетному программному обеспечению.

Привлекательные черты (и опасность) роботизированных суждений

Представьте, что вы получили повестку в суд. Явившись в зал суда, вы обнаруживаете, что там никого нет. Киоск, который там находится, фотографирует вас и выводит на экране инструкцию: вы должны занять место с цифрой 9. Голос из киоска, представляющий собой нечто среднее между голосами Сири и Алексы, заявляет, что ваше дело – девятое по счету. Когда все расселись, звучит объявление: «Всем встать». Занавес в передней части комнаты поднимается и показывает другой экран, с изображением человека в судебной тоге. Лицо судьи – одно из миллионов сфабрикованных лиц, которые порождаются состязательными сетями[366]. Оно составлено на основе изображений судей в выборке из io тыс. фильмов, обычно используемых исследователями ИИ. То есть это ИИ-версия судьи, как он видится при кастинге актеров.

Робот-пристав называет ваше дело, вы выходите за ограждение к стулу и столу, которые установлены для ответчиков. Аватар судьи начинает говорить: «Вы признаны виновным в критической массе правонарушений. Ваш автомобиль по крайней мере десять раз за два последних года превысил допустимую скорость как минимум на пять миль в час. В прошлом году вы нелегально скачали три фильма. На вечеринке вы курили марихуану. Согласно нашему алгоритмическому судебному решению, оптимальным наказанием за этот комплекс правонарушений будет вычитание сорока пунктов из вашего рейтинга, штраф в сумме 5 % от ваших активов и ваше согласие на установку в вашем доме камеры с алгоритмическим мониторингом на следующие шесть месяцев, чтобы вы не смогли снова нарушить закон. Если вы хотите подать апелляцию, пожалуйста, введите основания для апелляции в приложении „Скорое правосудие“, только что загруженном на ваш телефон. Если нет, пожалуйста, выйдите через ту же дверь, через которую вошли, и получите дальнейшие инструкции в автоматическом киоске».

Этот сценарий может показаться забавной научной фантастикой – некоей смесью Франца Кафки и Филиппа К. Дика[367]. Но в то же время можно сказать, что в нем отражены три актуальные тенденции социального контроля. Первая – повсеместное наблюдение, то есть способность записывать и анализировать каждый момент жизни людей. Вторая – запрос на умные города, которые динамически выдают штрафы или, наоборот, награды за запрещенное или поощряемое поведение. Футуристы рассматривают полицейское регулирование на базе результатов, которое позволит отказаться от старомодного права и перейти к более гибким оценкам общественного порядка. В этом идеале порядка без права, если на громкую вечеринку подано достаточное количество жалоб, она считается незаконной; если нет, она может продолжаться. Третья – попытка заменить людей машинами. Если охранники и полиция нуждаются в зарплатах и пенсиях, то роботам только и нужно, что электричество и обновление программ. Возможно, в будущем охраной правопорядка будут заниматься рои дронов, готовых остановить любого преступника или подозреваемого.

Искусственный интеллект и роботы в охране порядка и управлении сегодня в основном обосновываются экономическим нарративом, сосредоточенным на более эффективном применении ресурсов. Дроны, камеры наружного наблюдения и роботы – все это может быть намного дешевле, чем батальоны офицеров полиции. Они могут оказаться и более эффективными, к тому же, скорее всего, они будут реже наносить ущерб подозреваемым или выбирать неправильные цели. Но во всем этом сохраняется определенная двусмысленность, ощущение не только приобретения, но и утраты, возникающее, когда государство слишком далеко уходит по этой траектории контроля[368]. Государство всегда выступает защитником и в то же время потенциальной угрозой, источником помощи и агентом подавления. Полиция способна защитить мирных протестующих от враждебной толпы, но также она может арестовывать их и бросать в тюрьмы. Еще неприятнее то, что плюсы и минусы государственной силы слишком часто распределяются произвольным и дискриминирующим образом. Полиция оказывает непропорциональное давление на меньшинства – на афроамериканцев в США, уйгуров в Китае и жителей фавел в Бразилии.

Сообщества, стремящиеся утвердить верховенство права, нашли способы сгладить подобную несправедливость. Гражданские апелляционные комиссии и суды способны ограничивать полицейский произвол, назначая компенсации, когда нарушены гражданские права. Четвертая поправка Конституции США запрещает «общие ордеры», которые являются разрешениями общего характера на обыски и арест имущества и лиц без убедительной причины. Другие организации и структуры, поддерживающие права человека, предлагают еще более надежную защиту от полицейского государства. Все эти способы защиты снижают эффективность полицейских мер[369]. То есть наши обычные стандарты промышленной результативности не слишком хорошо сочетаются с такой социальной практикой, как охрана общественного порядка.

Программы и ИИ уже определяют значительную часть труда охранников и полицейских, то есть ту обширную область служб безопасности (как кибернетической, так и физической), полиции и армии, которая потребляет значительную долю мировых производительных сил[370]. Существуют проекты программирования таких роботов, которые будут безусловно соблюдать международное право, поскольку на них не влияют человеческие предубеждения, страсти или предрассудки. Профессор права Беннет Кейперс представил в своей работе будущее, в котором значительно компьютеризированные полицейские силы будут защищать всех и каждого, подчинив все население США контролю необычайно высокой интенсивности[371]. В его афрофутуристическом описании технология охраны правопорядка будет встроена в более мягкий и великодушный социальный порядок. Кейперс надеется на то, что «те немногие судебные разбирательства, которые понадобятся, будут не вполне „машинным судом“, но могут приблизиться к этой форме, поскольку она позволит исключить