и незаметны для человека, вызовут каскад сбоев в нейронной сети. При правильной настройке результат может превратить правильную классификацию, например "жираф", в дико неправильную, например "книжная полка" или "карманные часы", при этом исходное изображение останется неизменным. Но если над зрелищем, когда передовые технологии спотыкаются о фотографии дикой природы, можно только хихикать, то атака противника, призванная обмануть самодвижущийся автомобиль и заставить его неправильно классифицировать знак "Стоп", не говоря уже о ребенке на пешеходном переходе, вряд ли покажется смешной.

Конечно, не исключено, что в этом может помочь более глубокая инженерия. Новое, обнадеживающее направление исследований, известное как "объяснимый ИИ", или просто "объяснимость", стремилось свести почти магические рассуждения нейронных сетей к форме, которую человек мог бы тщательно изучить и понять. Но это направление находилось в зачаточном состоянии, и не было никакой уверенности в том, что оно когда-нибудь достигнет тех высот, на которые рассчитывали его сторонники. Тем временем модели, которые она должна была осветить, распространялись по всему миру.

Даже полностью объяснимый ИИ будет лишь первым шагом; встраивания в уравнение безопасности и прозрачности после факта, каким бы изощренным оно ни было, будет недостаточно. Следующее поколение ИИ должно быть разработано с принципиально иным отношением с самого начала. Энтузиазм - это хороший первый шаг, но настоящий прогресс в решении таких сложных и негламурных задач требует благоговения, которого в Кремниевой долине, похоже, просто не было.

Академики давно знали о негативном потенциале ИИ в таких вопросах, как отсутствие прозрачности, подверженность предвзятости и негативному влиянию, и тому подобное, но, учитывая ограниченный масштаб наших исследований, риски всегда были теоретическими. Даже окружающий интеллект - самая значительная работа, которую когда-либо проводила моя лаборатория, - имел бы достаточно возможностей столкнуться с этими подводными камнями, поскольку наше волнение всегда было сдержано клиническими правилами. Но теперь, когда у руля стояли компании с рыночной капитализацией, приближающейся к триллиону долларов, темп работы радикально ускорился. Готовы мы к этому или нет, но эти проблемы нужно было решать со скоростью бизнеса.

Как бы ни пугала каждая из этих проблем в отдельности, они указывали на будущее, которое будет характеризоваться меньшим надзором, большим неравенством и, при неправильном подходе, возможно, даже неким надвигающимся цифровым авторитаризмом. Было неловко размышлять об этом, прогуливаясь по коридорам одной из крупнейших компаний мира, особенно если учесть искренность и добрые намерения моих коллег. Это были институциональные, а не личные проблемы, и отсутствие очевидных злодеев с закрученными усами только еще больше запутывало проблему.

Я вспомнил о своей работе с Арни и о том, как трудно было внедрить небольшие, сделанные вручную прототипы всего в нескольких больницах. Инновации в мире здравоохранения, отличающемся повышенной осторожностью, внедрялись постепенно, и хотя этот факт иногда разочаровывал, он же и успокаивал. Я задался вопросом, не является ли этот пример примером, которому стоит следовать более широко.

Кремниевую долину никогда не обвиняли в отсутствии высокомерия, но эра искусственного интеллекта вознесла корпоративное бахвальство на новую высоту, даже когда наше понимание его подводных камней , казалось, росло. Руководители компаний по всему миру выступали с программными речами, которые варьировались от провидческих до неуклюжих и откровенно оскорбительных, обещая автомобили, которые скоро будут ездить сами, виртуозные алгоритмы обнаружения опухолей и сквозную автоматизацию на заводах. Что касается судеб людей, которых эти достижения вытеснят с рабочих мест, - водителей такси, дальнобойщиков, рабочих сборочных линий и даже врачей-рентгенологов, - то настроения корпораций, похоже, находились где-то между полусерьезными разговорами о "переквалификации" и тонко завуалированным безразличием.

Но как бы ни отталкивали общественность слова руководителей компаний и самопровозглашенных футуристов, растущее внедрение технологии давало людям еще больше причин бояться ИИ. Это была эпоха вех, и приближалась самая мрачная из всех, которые только можно себе представить. Впервые в истории нашей области будет пролита кровь.

Элейн Херцберг погибла, когда прототип самодвижущегося автомобиля, тестируемый группой перспективных технологий Uber, сбил ее, когда она толкала велосипед по дороге в Темпе, штат Аризона. Менее чем через три года после того, как Uber организовала отток преподавателей с кафедры робототехники Карнеги-Меллона, амбиции компании в области самодвижения стали объектом общественного презрения. Если теперь частые столкновения ИИ с предрассудками вызывали у меня и моих коллег тошноту, то ощущения, которые мы испытывали сейчас, не поддавались описанию. Хотя было легко обвинить Uber - и без того печально известный бренд по причинам, не имеющим никакого отношения к технологиям, - было совершенно ясно, что это далеко не последняя подобная история.

Действительно, вскоре были получены дополнительные уроки. Серия расследований ProPublica 2016 года зафиксировала широкое использование предвзятого искусственного интеллекта для помощи кредиторам в обработке заявок на получение займов и даже для помощи судьям в принятии решений об условно-досрочном освобождении. Аналогичные репортажи выявили сомнительное использование технологии для отбора кандидатов на работу еще до собеседования с людьми, часто с непреднамеренным (но не удивительным) дискриминационным эффектом. Смерть Элейн Херцберг справедливо вызвала отказ от инициативы Uber по созданию самодвижущихся автомобилей и поставила крест на всей сфере, но такие быстрые исправления были бы невозможны для этих более тонких, более институциональных форм вреда. Это были почти безмолвные проблемы, действующие в гораздо больших масштабах и с гораздо меньшим надзором. Ожидать такого же уровня общественного возмущения было нереально. Но осведомленность росла, и СМИ понимали, что при освещении ИИ нельзя игнорировать такие вопросы, как предвзятость, справедливость и конфиденциальность.

По мере того как я начинал осознавать этот новый ландшафт - неподотчетные алгоритмы, целые сообщества, которым отказано в справедливом отношении, и оборванные человеческие жизни, - я пришел к выводу, что простые ярлыки больше не подходят. Даже фразы вроде "вышел из-под контроля" казались эвфемистическими. ИИ - это не феномен, не нарушение, не загадка, не привилегия. Мы находились в присутствии силы природы. Что-то настолько большое, мощное и капризное, что оно может разрушить так же легко, как и вдохновить. Чтобы сделать его достойным нашего доверия, потребуется гораздо больше, чем корпоративные бромиды.

Это была сложная ситуация, которая регулярно усугублялась тем, что ИИ был не единственной угрозой для общественного блага со стороны технологического мира. Параллельно происходили такие события, как скандал с Cambridge Analytica, широко распространенные опасения по поводу дезинформации во время президентских выборов 2016 года в США и растущие сообщения о плохом влиянии социальных сетей и "пузырей" фильтров в новостных лентах. Тем не менее, общий знаменатель был достаточно устойчивым. Мир просыпается к мысли о том, что данные не только ценны, но и влиятельны - даже детерминированы - в такой степени, как никогда раньше.

К 2018