другом. Мы предпочитаем работать с отдельными точками данных. Вот почему, сталкиваясь со сложными проблемами - будь то просьба о кредите, пандемия или война, - мы часто ищем одну-единственную причину для принятия определенного решения и игнорируем все остальные соображения. Это и есть заблуждение единственной причины.

Мы настолько плохо умеем взвешивать множество различных факторов, что, когда люди называют большое количество причин для принятия того или иного решения, это обычно звучит подозрительно. Допустим, хорошая подруга не пришла на нашу свадьбу. Если она даст нам единственное объяснение - "Моя мама попала в больницу, и я должна была ее навестить", - это звучит правдоподобно. Но что, если она перечислит пятьдесят различных причин, по которым решила не приходить: "Моя мама была немного не в духе, и я должна была отвезти свою собаку к ветеринару на этой неделе, и у меня был проект на работе, и шел дождь, и... и я знаю, что ни одна из этих пятидесяти причин сама по себе не оправдывает моего отсутствия, но когда я сложила их все вместе, они не позволили мне присутствовать на вашей свадьбе". Мы не говорим так, потому что не думаем в таком ключе. Мы не перечисляем в уме пятьдесят различных причин, не придаем каждой из них определенный вес, не суммируем все веса и не приходим таким образом к выводу.

Но именно так алгоритмы оценивают наш криминальный потенциал или нашу кредитоспособность. Алгоритм КОМПАС, например, оценивает риски, принимая во внимание ответы на 137 пунктов анкеты. То же самое можно сказать и о банковском алгоритме, который отказывает нам в кредите. Если правила GDPR ЕС заставят банк объяснить решение алгоритма, это объяснение не будет состоять из одного предложения; скорее всего, оно будет представлено в виде сотен или даже тысяч страниц, заполненных цифрами и уравнениями.

"Наш алгоритм, - говорится в письме воображаемого банка, - использует точную систему баллов для оценки всех заявок, принимая во внимание тысячу различных типов данных. Все эти данные суммируются, чтобы получить общий балл. Люди, чей общий балл отрицательный, считаются малокредитоспособными, слишком рискованными, чтобы получить кредит. Ваш общий балл составил -378, поэтому ваша заявка на кредит была отклонена". Далее в письме может быть приведен подробный список тысячи факторов, которые учитывал алгоритм, включая те, которые большинство людей могут посчитать несущественными, например точное время подачи заявки или тип смартфона, которым пользовался заявитель. Так, на странице 601 своего письма банк может объяснить, что "вы подали заявку со своего смартфона, который был последней моделью iPhone. Проанализировав миллионы предыдущих заявок на кредит, наш алгоритм обнаружил закономерность: вероятность того, что люди, подавшие заявку с помощью последней модели iPhone, выплатят кредит, на 0,08 % выше. Поэтому алгоритм добавил 8 баллов к вашему общему баллу за это. Однако на момент отправки заявки с вашего iPhone его батарея была разряжена на 17 процентов. Проанализировав миллионы предыдущих заявок на кредит, наш алгоритм обнаружил еще одну закономерность: люди, которые допускают, чтобы заряд батареи их смартфона опускался ниже 25 процентов, на 0,5 процента реже выплачивают кредит. За это вы теряете 50 баллов".

Вам может показаться, что банк поступил с вами несправедливо. "Разве это разумно - отказывать мне в кредите, - скажете вы, - только потому, что у меня разрядилась батарея телефона?" Однако это было бы недоразумением. "Батарея была не единственной причиной", - объяснят в банке. "Это был лишь один из тысячи факторов, которые учитывал наш алгоритм".

"Но разве ваш алгоритм не видел, что только дважды за последние десять лет мой банковский счет был переполнен?"

"Очевидно, он это заметил", - могут ответить в банке. "Посмотрите на страницу 453. За это вы получили 300 баллов. Но все остальные причины снизили ваш суммарный балл до -378".

Хотя такой способ принятия решений может показаться нам чуждым, у него, безусловно, есть потенциальные преимущества. При принятии решения, как правило, целесообразно учитывать все значимые данные, а не только один или два существенных факта. Конечно, есть много поводов для споров о том, кто определяет значимость информации. Кто решает, следует ли считать релевантными такие вещи, как модель смартфона или цвет кожи, при оформлении кредита? Но как бы мы ни определяли релевантность, способность учитывать больше данных, скорее всего, будет преимуществом. Ведь проблема многих человеческих предрассудков заключается в том, что они фокусируются только на одной или двух точках данных - цвете кожи, инвалидности или половой принадлежности - и игнорируют другую информацию. Банки и другие учреждения все чаще полагаются на алгоритмы при принятии решений именно потому, что алгоритмы могут учитывать гораздо больше данных, чем человек.

Но когда дело доходит до объяснений, это создает потенциально непреодолимое препятствие. Как человеческий разум может проанализировать и оценить решение, принятое на основе такого количества точек данных? Мы можем считать, что Верховный суд штата Висконсин должен был заставить компанию Northpointe раскрыть информацию о том, как алгоритм КОМПАС решил, что Эрик Лумис относится к группе повышенного риска. Но если бы все данные были раскрыты, смог бы Лумис или суд разобраться в них?

Дело не только в том, что нам нужно учитывать множество точек данных. Возможно, самое главное - мы не можем понять, как алгоритмы находят закономерности в данных и принимают решения о распределении баллов. Даже если мы знаем, что банковский алгоритм снимает определенное количество баллов с людей, которые допускают, чтобы заряд батареи их смартфонов опускался ниже 25 процентов, как мы можем оценить, справедливо ли это? Алгоритм не получал это правило от человека; он пришел к такому выводу, обнаружив закономерность в миллионах предыдущих кредитных заявок. Может ли отдельный клиент-человек просмотреть все эти данные и оценить, действительно ли эта закономерность надежна и беспристрастна?

Однако в этом облаке цифр есть и положительная сторона. В то время как неспециалисты могут быть не в состоянии проверить сложные алгоритмы, команда экспертов с помощью собственных инструментов искусственного интеллекта потенциально может оценить справедливость алгоритмических решений даже более надежно, чем кто-либо может оценить справедливость человеческих решений. В конце концов, хотя может показаться, что человеческие решения основываются только на тех нескольких точках данных, которые мы осознаем, на самом деле на наши решения подсознательно влияют тысячи дополнительных точек данных. Не зная об этих подсознательных процессах, когда мы обдумываем свои решения или объясняем их, мы часто используем одномоментные рационализации post hoc того, что происходит на самом деле, когда миллиарды нейронов взаимодействуют внутри нашего мозга. Соответственно, если человеческий судья приговаривает нас к шести годам