Безопасная среда особенно важна для детей. Джонатан Хайдт, писатель, профессор Нью-Йоркского университета, настойчиво выступает за воспитание «без гиперопеки». Он утверждает, что мы, жители Соединенных Штатов, создали культуру гиперопеки детей, которая лишает их возможности неконтролируемого взаимодействия с миром, позволяющего превратиться в уверенно стоящих на ногах взрослых[288]. Большинству американских родителей сама мысль о том, чтобы отпустить ребенка одного в школу или разрешить ему играть в соседнем парке без присмотра, кажется чудовищной, а в некоторых местах это просто незаконно. Я подозреваю, что маленьких китайцев не слишком заботит всевидящее око оруэлловского государства, зато они знают, что могут самостоятельно пойти в школу и поиграть в парке. Вот будет ирония, если окажется, что у китайской системы слежки есть положительная сторона — хотя бы для самых маленьких граждан страны. Со временем это, возможно, позволит воспитать более предприимчивое и склонное к новаторству поколение. Никто не хочет, чтобы китайская система появилась в Соединенных Штатах, но в тех пределах, в которых технологии слежения на основе ИИ помогают снизить уровень преступности и создать более безопасную среду, нам следует серьезно задуматься о компромиссе.

Итак, технология распознавания лиц способна принести реальную пользу обществу. Принципиально, однако, чтобы она применялась справедливо и одинаково затрагивала все группы населения. В этом и коренится основная проблема. Ряд исследований доказали, что системы распознавания лиц стабильно демонстрируют определенную предвзятость, как расовую, так и гендерную. Разумеется, это далеко от китайских алгоритмов, открыто нацеленных на выявление уйгуров, и связано с преобладанием лиц белых мужчин в наборах данных, на которых обучаются алгоритмы. В одной популярной выборке обучающих данных 83 % лиц были белыми и 77 % — мужскими[289]. Типичным проявлением этой проблемы является более высокая вероятность «ложноположительного» результата в отношении небелых и женских лиц. Иными словами, в случаях женщин и цветных шансы на ошибочное совпадение возрастают.

В 2018 году Американский союз защиты гражданских свобод (ACLU) сравнил фотографии всех 538 членов Конгресса США с большим набором снимков из архива арестованных. ACLU воспользовался системой Rekognition, доступ к которой можно получить через Amazon Web Service. Она становится все более популярной у отделений полиции благодаря очень низкой цене пользования. ACLU смог провести свой эксперимент всего за $12. Система отметила 28 конгрессменов как тех, кто подвергался аресту и включен в базу фотографий преступников. С учетом того, что человек, подвергавшийся аресту, не может быть избран ни в палату представителей, ни в сенат, все эти результаты были ложноположительным. Больше всего исследователей встревожило даже не количество ошибок как таковое, а выраженный перекос в сторону небелых членов конгресса. Цветные составляют около 20 % конгрессменов, но на них пришлось 39 % ложных совпадений. Amazon в ответ заявила, что ACLU неправильно настроил систему, поскольку использовал для выявления совпадений доверительный уровень по умолчанию 85 %, а не более подходящий — 95 %. Однако ACLU отметил, что Amazon не дает инструкций о том, как правильно настроить систему, и что многие управления полиции почти наверняка пользуются настройками по умолчанию[290].

Намного более масштабное исследование провел в 2019 году Национальный институт стандартов и технологий, входящий в Министерство торговли США. Он оценил 189 систем распознавания лиц, принадлежащих 99 компаниям[291]. Оказалось, что почти во всех случаях уровень ложноположительных результатов был самым низким для европейских лиц и значительно увеличивался для африканских и азиатских. Ожидаемым исключением стали алгоритмы, созданные китайскими компаниями, которые давали самые точные результаты в отношении выходцев из Восточной Азии. Кроме того, системы лучше работали с мужскими лицами по сравнению с женскими, но здесь расхождение было меньше, чем в случае представителей разных рас.

Снижение точности идентификации небелых рас было существенным. Например, для чернокожего вероятность ложноположительной идентификации в 100 с лишним раз выше, чем для белого. Иными словами, афроамериканец в 100 раз сильнее белого рискует быть ошибочно принятым системой за потенциального правонарушителя и, следовательно, привлечь к своей персоне повышенное внимание полиции. Собственно, это цифровая версия сценария из жизни, прекрасно знакомого афроамериканцам, часто сталкивающимся с навязчивым вниманием охранников в универмагах и подозрительностью кассиров.

Казалось бы, эти проблемы можно решить, просто включив в обучающие выборки больше фотографий людей разного этнического происхождения и пола. Однако компаниям, создающим системы распознавания, зачастую трудно найти высококачественные изображения небелых лиц, полученные этически корректно и с согласия людей, иными словами, не надерганные из соцсетей, как это сделала Clearview[292]. Определенные решения этой проблемы сами вызывают вопросы, и в этой области компании, готовые преступить этические нормы, могут получить преимущество. В 2018 году китайская компания-«единорог» CloudWalk заключила с властями Зимбабве сомнительный контракт на создание общенациональной системы распознавания лиц. Соглашение предусматривало предоставление CloudWalk доступа к фотографиям граждан Зимбабве и разрешение обучать на них свои алгоритмы. Систему теоретически можно затем использовать в любой стране мира, естественно, без уведомления граждан Зимбабве[293].

Подобные вопросы, как и ситуация с Clearview, однозначно свидетельствуют, что технологию распознавания лиц нельзя оставлять в руках компаний нерегулируемого частного сектора. Правовое регулирование и надзор имеют принципиальное значение. Если бы The New York Times не привлекла всеобщее внимание к Clearview, ее технология применялась бы в обществе совершенно бесконтрольно задолго до того, как люди осознали бы угрозу своим личным данным, которую она несет. Как минимум нам нужны четкие нормы, обеспечивающие непредвзятость используемых алгоритмов, а также гарантии против применения систем слежения, угрожающего неприкосновенности частной жизни.

Пока нет общих стандартов, в некоторых местах, например в Сан-Франциско, было решено полностью запретить использование технологии распознавания лиц полицией и местными властями. Однако запрет не распространяется на частный сектор. Как и в Китае, применение системы распознавания лиц для допуска в крупные жилые комплексы становится нормой. Некоторые жители таких комплексов уже подают судебные иски, утверждая, что это является вторжением в их частную жизнь. Розничные магазины также используют эту технологию с незначительными ограничениями. Очевидно, нам необходимо регулирование на государственном уровне, которое определит базовый комплекс правил, обязательных для систем распознавания лиц, как публичных, так и частных. Отношение к приватности, слежке и важности общественной безопасности сильно варьирует, и, скорее всего, отдельные страны, регионы и города придут к разным компромиссам в отношении систем распознавания лиц и других технологий слежения на основе ИИ. В демократических обществах к этому должен вести прозрачный процесс, учитывающий мнение общественности, а технология должна подчиняться комплексу базовых принципов, защищающих права всех сопричастных.

Совершенно реальная возможность состязания в области ИИ между Соединенными Штатами и Китаем, беспрецедентная угроза неприкосновенности частной жизни