в истории существовала та или иная версия этой биодрамы, и историки, социологи, антропологи и биологи понимают, почему она так привлекательна для людей, а также почему она глубоко порочна. Хотя расизм позаимствовал свою основную сюжетную линию у эволюции, конкретные детали являются чистой мифологией. Нет никаких биологических оснований для разделения человечества на отдельные расы, и нет абсолютно никаких биологических причин считать, что одна раса "чистая", а другая "нечистая".

Американские белые супремасисты пытаются обосновать свою позицию, апеллируя к различным священным текстам, в первую очередь к Конституции США и Библии. Конституция США изначально узаконила расовую сегрегацию и превосходство белой расы, оставив все гражданские права за белыми людьми и разрешив порабощение чернокожих. Библия не только освятила рабство в Десяти заповедях и других многочисленных отрывках, но и наложила проклятие на потомство Хама - предполагаемого прародителя африканцев - сказав, что "низшим из рабов будет он для братьев своих" (Бытие 9:25).

Однако оба эти текста были созданы людьми, а значит, люди могли осознать их происхождение и несовершенство и хотя бы попытаться исправить их ошибки. Люди могут понять политические интересы и культурные предубеждения, которые преобладали на древнем Ближнем Востоке и в Америке XVIII века и которые заставили человеческих авторов Библии и Конституции США узаконить расизм и рабство. Такое понимание позволяет людям либо вносить поправки в эти тексты, либо игнорировать их. В 1868 году Четырнадцатая поправка к Конституции США предоставила равную правовую защиту всем гражданам. В 1954 году Верховный суд США в своем знаковом решении по делу "Браун против Совета по образованию" постановил, что сегрегация школ по расовому признаку является неконституционным нарушением Четырнадцатой поправки. Что касается Библии, то, хотя не существует механизма, позволяющего внести изменения в Десятую заповедь или Бытие 9:25, люди на протяжении веков по-разному интерпретировали этот текст и в конце концов полностью отвергли его авторитет. В деле "Браун против Совета по образованию" судьи Верховного суда США не сочли нужным принимать во внимание библейский текст.

Но что может произойти в будущем, если какой-нибудь алгоритм социального кредита откажет ребенку с низким кредитом в просьбе записаться в школу с высоким кредитом? Как мы видели в главе 8, компьютеры, скорее всего, будут страдать от собственных предубеждений и изобретать межкомпьютерные мифологии и фиктивные категории. Как люди смогут выявлять и исправлять такие ошибки? И как судьи Верховного суда из плоти и крови смогут принимать решения о конституционности алгоритмических решений? Смогут ли они понять, как алгоритмы приходят к своим выводам?

Это уже не чисто теоретические вопросы. В феврале 2013 года в городе Ла-Кросс, штат Висконсин, произошла перестрелка на автомобиле. Позднее полицейские заметили автомобиль, участвовавший в стрельбе, и арестовали водителя, Эрика Лумиса. Лумис отрицал свою причастность к стрельбе, но признал себя виновным по двум менее тяжким обвинениям: "попытка скрыться от сотрудника дорожной полиции" и "управление транспортным средством без разрешения владельца".26 Когда судье предстояло определить меру наказания, он обратился к алгоритму под названием COMPAS, который Висконсин и некоторые другие американские штаты использовали в 2013 году для оценки риска повторного совершения преступления. Алгоритм оценил Лумиса как человека с высоким риском, который, скорее всего, совершит больше преступлений в будущем. Эта алгоритмическая оценка повлияла на судью, который приговорил Лумиса к шести годам лишения свободы - суровое наказание за относительно незначительные правонарушения, в которых он признался.

Лумис подал апелляцию в Верховный суд Висконсина, утверждая, что судья нарушил его право на надлежащую правовую процедуру. Ни судья, ни Лумис не понимали, как алгоритм КОМПАС дает свою оценку, а когда Лумис попросил дать ему полное объяснение, ему было отказано. Алгоритм КОМПАС был частной собственностью компании Northpointe, и компания утверждала, что методология алгоритма является коммерческой тайной. Однако, не зная, как алгоритм принимает решения, как Лумис или судья могли быть уверены, что это надежный инструмент, свободный от предвзятости и ошибок? Впоследствии ряд исследований показал, что алгоритм КОМПАС действительно мог содержать несколько проблемных предубеждений, вероятно, взятых из данных, на которых он обучался.

В деле "Лумис против Висконсина" (2016) Верховный суд Висконсина все же вынес решение не в пользу Лумиса. Судьи утверждали, что использование алгоритмической оценки риска является законным, даже если методология алгоритма не раскрывается ни суду, ни подсудимому. Судья Энн Уолш Брэдли написала, что, поскольку КОМПАС делает свою оценку на основе данных, которые либо находятся в открытом доступе, либо предоставлены самим обвиняемым, Лумис мог бы опровергнуть или объяснить все данные, которые использовал алгоритм. В этом заключении не учитывался тот факт, что точные данные вполне могут быть неверно интерпретированы и что Лумис не мог опровергнуть или объяснить все общедоступные данные о себе.

Верховный суд штата Висконсин не был полностью лишен понимания опасности, связанной с использованием непрозрачных алгоритмов. Поэтому, разрешив такую практику, он постановил, что всякий раз, когда судьи получают алгоритмические оценки риска, они должны содержать письменное предупреждение для судей о потенциальной предвзятости алгоритмов. Суд также посоветовал судьям быть осторожными, полагаясь на такие алгоритмы. К сожалению, эта оговорка оказалась пустым жестом. Суд не дал судьям никаких конкретных указаний относительно того, как им следует проявлять такую осторожность. В своем обсуждении этого дела Гарвардское юридическое обозрение пришло к выводу, что "большинство судей вряд ли поймут алгоритмические оценки рисков". Затем он процитировал одного из судей Верховного суда штата Висконсин, который отметил, что, несмотря на подробные объяснения алгоритма, им самим было сложно его понять.

Лумис подал апелляцию в Верховный суд США. Однако 26 июня 2017 года суд отказался рассматривать это дело, фактически поддержав решение Верховного суда Висконсина. Теперь подумайте о том, что алгоритм, который в 2013 году оценил Лумиса как человека с высоким уровнем риска, был ранним прототипом. С тех пор были разработаны гораздо более сложные и изощренные алгоритмы оценки риска, которым были предоставлены более широкие полномочия. К началу 2020-х годов граждане многих стран будут регулярно получать тюремные сроки, частично основанные на оценках риска, сделанных алгоритмами, которые не понимают ни судьи, ни обвиняемые. И тюремные сроки - это только верхушка айсберга.

 

ПРАВО НА ОБЪЯСНЕНИЕ

Компьютеры принимают за нас все больше решений, как обыденных, так и меняющих жизнь. Помимо тюремных сроков, алгоритмы все чаще решают, предложить ли нам место в колледже, дать ли нам работу, предоставить ли нам социальное пособие или выдать кредит. Они также помогают определить, какое медицинское обслуживание мы получаем, какие страховые взносы платим, какие новости слышим и кто пригласит нас на свидание.

По мере того как общество доверяет все больше