заключены в тюрьму и сфотографированы. Значительный процент преступников никогда не ловят или не наказывают, поэтому подобные данные не могут адекватно представлять преступность как таковую. Исследование, претендующее на идентификацию лиц геев, возможно, отобрало определенные паттерны саморепрезентации людей, использующих сайты знакомств, ставших источниками фотографий «геев» и «не геев», использованных для тренировки классификационной системы. Геи и лесбиянки в определенное время и в определенном месте, возможно, и в самом деле в большей или меньшей степени склонны носить очки, бороды или усы, улыбаться или, наоборот, выглядеть серьезно.

Как отмечает Дэн Маккиллан, машинное обучение часто выдвигает сильные предсказания, «склоняя к сравнениям с наукой. Но фактически оно производит знание, которое, не будучи универсальным и объективным, неразрывно связано с определенными вычислительными механизмами и данными, 84 использованными для тренировки»[395].

Все эти недостатки подкрепляют более общую критику многих непрозрачных форм машинных суждений; оставаясь необъясненными (или необъяснимыми), они могут быть надежными или, наоборот, ненадежными в зависимости от репрезентативности тренировочных данных[396]. К примеру, представьте переполненный зал суда, в котором применяется обработка естественного языка для определения того, какой из актуальных исков более всего напоминает те, что были удовлетворены в прошлом, а потому при структурировании порядка рассмотрения дел предпочтение отдается именно им. Поскольку прошлые иски отражают прошлые условия, которые более недействительны, они не могут быть надежным ориентиром для того, какие актуальные иски на самом деле заслуживают внимания[397]. Более объяснимая система, которая бы показывала, почему она выделяет определенные слова и фразы в качестве признаков действительно серьезного или обоснованного иска, была бы полезнее. Но даже ее ценность снижается при изменении типов рассматриваемых дел, приоритетов судей и других факторов[398].

Перед предсказанием преступной деятельности методами ИИ стоит еще больше препятствий. Как пояснил Кил Бреннан-Маркес, юриспруденция, основанная на принципе хорошо обоснованного сомнения (и в целом опирающаяся на Четвертую поправку Конституции США), требует того, чтобы органы власти предоставили убедительное, а не просто вероятностное, статистическое или искусственно-интеллектуальное объяснение причин, по которым они производят расследование в отношении данных подозреваемых[399]. Нам нужно понимать не только то, что мы под наблюдением, но также и то, почему это так. Это ограничение государственной власти, которой, вероятно, очень хочется использовать передовые технологии наблюдения для полного контроля граждан. Предсказательная аналитика, работающая как черный ящик, легко может дать полиции предлог для преследования практического любого, поскольку все мы с равной вероятностью демонстрируем поведение, которое в каком-то смысле коррелирует с поведением потенциальных преступников.

Отсутствие причинно-следственной связи (противопоставляемой простой корреляции) указывает на еще один неприятный аспект предсказаний, основанных на лицах. За неимением данных, подтверждающих то, что форма лица действительно влияет на преступные наклонности, обосновывать полицейские меры простой корреляцией – довольно жутковатое решение. В действительности оно стало бы возвышением чуждого, нечеловеческого интеллекта в той системе, в которой ключевым фактором легитимности является человеческий смысл и коммуникация[400]. Если мы действительно можем сказать людям, что в определенном смысле благодаря изменению своего лица он могут снизить вероятность стать преступниками, тогда операции на основе больших данных указывают на перспективу исключительно интенсивного и высокоточного социального контроля. Подобный тупик, образованный манипуляцией, исходящей от черного ящика, и в то же время интимным контролем, указывает на необходимость остановить работы в этом направлении.

Теми же предосторожностями следует руководствоваться и в приложениях эмоционального программирования. Фирма Affectiva заявляет, что у нее чуть ли не лучший «анализ чувств» в мире. Используя базы данных с миллионами лиц, размеченных по эмоциям, представители Affectiva считают, что их ИИ может считывать грусть, радость, отвращение и многие другие чувства, анализируя видеозаписи лиц. Спрос на такой анализ велик. Американские военные, уставшие от процедуры получения допуска, хотят найти ИИ, который бы отмечал подозрительные выражения[401]. Существуют многочисленные полицейские, специальные и военные приложения детекторов эмоций, которые восходят еще к детекторам лжи (являющимся весьма спорным предметом, к тому же в США при найме запрещены)[402]. Рана эль-Калиуби, гендиректор и один из основателей компании Affectiva, отказалась предоставлять лицензию на эту технологию государству, однако признает, что распознавание эмоций является обоюдоострым мечом, где бы он ни использовался. Она описывает рабочее место будущего, на котором будет реализован постоянный мониторинг эмоциональных состояний сотрудников:

Я думаю, было бы очень интересно, если бы люди согласились участвовать в эксперименте на анонимных условиях, а работодатели могли бы составить рейтинг чувств или просто общий обзор, который бы описывал, как люди себя чувствуют в офисе – увлечены они и довольны ли.

Еще один интересный пример – это гендиректор, который делает презентацию для людей, которые подключены из разных стран, а машина может показывать, доходит ли идея гендиректора до людей. Привлекают ли их его цели? Мотивированы ли они? Это базовые вопросы, на которые легко ответить, если мы в одном месте; но теперь, когда все в разных точках, очень трудно это понять. Однако если повернуть ту же технологию другой стороной и сказать: «Хорошо, я сейчас разберусь с этим вот членом команды, поскольку он недостаточно увлечен», это будет бесспорное злоупотребление данными[403].

С точки зрения эль-Калиуби, мы можем получить все сразу – и всеобщий мониторинг без применения собираемых данных против нас, и ИИ, понимающий наши чувства, чтобы служить нам, но без попыток подчинить нас или нами манипулировать.

Но есть все причины сомневаться в выполнимости обеих этих надежд. Сотрудники в США страдают от практически «безграничного наблюдения», – о котором заявила группа исследователей права[404]. Даже в юрисдикциях, где надежная защита права на личную жизнь закреплена законом, правоприменение часто неэффективно. С другой стороны, технологические фирмы не всегда могли выстроить политику лицензирования. Конечно, этичные поставщики ИИ включают в контракты формулировки, требующие от работодателей не предпринимать никаких действий против равнодушных работников, которые не улыбнулись шутке гендиректора. Но смогут ли они проникнуть в защищенные коммерческой тайной методы оценки работников? Какое у такой фирмы может быть бизнес-обоснование для продолжения контроля своих продуктов? Даже в юрисдикциях, где подобное навязчивое наблюдение нарушает трудовой кодекс, сил охраны порядка не хватает, к тому же они заняты более насущными угрозами. Сторонние аудиторы – тоже не панацея. Они не раз терпели неудачу даже в тех условиях, когда правоприменение требовало более строгого изучения корпоративных практик.

Во всех вышеперечисленных случаях нам нужно нечто большее, чем смутные заверения в следовании принципам социальной ответственности и регулирования. Нам нужно структурировать рабочие сообщества так, чтобы работники могли иметь возможность предупреждать о злоупотреблениях технологией и реагировать на них (как внутри фирмы,