В целом, проблемы, связанные с предсказаниями вне популяции, сложнее решать для сложных алгоритмов, чем для эвристик. Алгоритмы часто слишком непрозрачны, чтобы можно было понять, почему и когда они совершают ошибки, что затрудняет их улучшение.

В прозрачности мы уверены

Для контроля распространения пандемии COVID-19 китайское правительство использовало приложения для отслеживания местоположения, основанные на искусственном интеллекте и изначально разработанные технологической компанией Alibaba. В каждой провинции или крупном городе было свое приложение для отслеживания, и эти приложения присваивали каждому человеку цветовой код: зеленый (свободное передвижение), желтый (ограниченное передвижение) или красный (запрет на передвижение за пределами места жительства или замкнутого пространства). Один из нас жил в Пекине и ездил в Шанхай летом 2021 года. В один прекрасный день его код в приложении для Пекина стал желтым, а в приложении для Шанхая остался зеленым. Он звонил во всевозможные государственные учреждения, спрашивал о причинах и умолял отменить желтый код, поскольку он не позволял ему купить билеты на поезд или самолет обратно в Пекин. Ответ всегда был один: "Мы приняли ваше дело к сведению и свяжемся с вами в ближайшее время". Прошла неделя, две недели, и на четвертой неделе он наконец стал зеленым. К тому времени он пропустил несколько важных личных встреч, вынужденно задержался в Шанхае и очень разозлился на приложения для отслеживания. Бесчисленное множество людей в Китае сталкивались с подобными проблемами, и некоторые из них ужасно страдали. 23

Эта личная история демонстрирует множество проблем, связанных с решениями, принимаемыми алгоритмами "черного ящика". Во-первых, они мощные, но упрямые; если решение принято, его очень трудно отменить. Во-вторых, люди-операторы, как правило, не знают, как алгоритмы принимают решения, и не имеют представления о том, как исправить ошибку, если она произошла. В-третьих, они медленно учатся на основе обратной связи, возможно, потому, что для обнаружения ошибки в программировании требуется много времени, или потому, что система настолько сложна, что изменение одного кода может случайно привести к другим ошибкам. В-четвертых, они снимают с человека ответственность за принятие решений, что делает их удобными для масштабирования, но затрудняет определение того, кто (или что) виноват, если решение окажется неверным. Наконец, они подвержены злоупотреблениям со стороны контролирующих лиц, и даже если ими не злоупотребляют, есть подозрения в злоупотреблениях, поскольку процесс принятия решений настолько непрозрачен для посторонних. Алгоритмы "черного ящика" используются не только в китайских приложениях для слежки, но и все чаще в организациях по всему миру, чтобы следить за тем, что делают их сотрудники минута за минутой, и принимать решения о том, кого нанимать, увольнять и продвигать по службе.

На протяжении многих поколений люди изобретали инструменты и машины, чтобы повысить производительность и облегчить жизнь. Прозрачность не была важным вопросом, поскольку мельницы, автомобили и телефоны - это сборки деталей, и функциональность каждой из них известна. Сложные алгоритмы ИИ - это инструмент другого рода. Части, из которых они состоят, невидимы для пользователей, а внутренние механизмы работы ускользают от большинства. Люди склонны доверять прозрачным вещам, потому что мы можем понять их, проверить и улучшить. Пока алгоритмы ИИ остаются непрозрачными, людям будет сложно по-настоящему доверять принимаемым ими решениям.

Движение вперед

В мире, где все больше технологий, большинство компаний боятся не успеть за последними тенденциями и остаться позади. ИИ, похоже, является одной из таких тенденций, которую нельзя пропустить. Прежде чем вливать миллионы в найм инженеров по ИИ, закупать оборудование и программное обеспечение, а также перестраивать свои бизнес-операции, компаниям следует осознать все плюсы и минусы. Как утверждает принцип стабильного мира, сложные алгоритмы ИИ могут обеспечить превосходное решение проблем, приближенных к маленьким мирам, где данных много, а неожиданностей мало, но они сталкиваются с проблемами в большом мире, где данные часто ненадежны, неожиданности могут произойти в любой момент, а многие факторы не поддаются контролю со стороны компании. Кроме того, алгоритмы ИИ "черного ящика", эффективные или нет, создают проблемы и вызывают опасения из-за своей непрозрачности.

Умные эвристики хорошо работают в большом мире неопределенности. В целом это тоже алгоритмы ИИ, но ИИ здесь психологический, что означает две вещи: они основаны на человеческом опыте и интеллекте, как изначально предполагал Саймон, и они удовлетворяют психологические потребности человека, такие , как прозрачность, доверие, справедливость и конфиденциальность. Именно такой ИИ может быть более полезен для компании, ее руководителей и сотрудников. Как сказал Тим Кук, генеральный директор компании Apple, "чтобы искусственный интеллект был по-настоящему умным, он должен уважать человеческие ценности.... Если мы ошибемся в этом, то опасности будут огромными". 24

В дальнейшем мы предлагаем разработчикам регулярно исследовать, можно ли заменить сложный, непрозрачный алгоритм, например нейтральную сеть, умной эвристикой, которая была бы столь же точной, но прозрачной. В этой связи эвристики, представленные в этой книге, могут послужить источником вдохновения. Более того, правительства должны сделать обязательным, чтобы алгоритмы "черного ящика" для чувствительных скорингов, таких как кредитные баллы, медицинские коды или прогнозы рецидивизма в судах, были прозрачными для общественности. По возможности, организации должны поступать так же, разъясняя руководителям и сотрудникам, какая информация поступает в алгоритм, как она обрабатывается и почему решения получаются именно такими, какими они являются.

Примечания

1 . Lohr (2021).

2 . Axryd (2019).

3 . White (2019).

4 . Гринштейн и Рао (n.d.).

5 . Гигеренцер (2022a).

6 . Wade (1988).

7 . Вюббен и фон Вангенхайм (2008).

8 . Artinger et al. (2018).

9 . Artinger, Kozodi, and Runge (2020).

10 . Гигеренцер (2022a).

11 . Champion (2023).

12 . Luan et al. (2019).

13 . Возможности обучения регулировались размером случайной выборки (n), на которой определялась точность предсказания эвристики или модели. Было три условия для n: 30, 100 и 1 000, что соответствовало скудным, умеренным и широким возможностям обучения, соответственно. В каждом условии 5 000 образцов были взяты случайным образом из большой базы данных с более чем 50 000 пар претендентов. Более подробную информацию см. в главе 4. На рисунке 12.3 показана средняя точность предсказания по этим выборкам для каждой модели.

14 . Рудин (2019).

15 . Информационное агентство Синьхуа (2022).

16 . Ли, Му и Луань (2022).

17 . Грин и Мехр (1997).

18 . Katsikopoulos et al. (2020). Также можно построить БПФ с помощью веб-инструмента, разработанного Натаниэлем Филипсом, Хансйоргом Нетом и коллегами по адресу https://econpsychbasel.shinyapps.io/shinyfftrees, или с помощью бесплатного пакета R, загружаемого по адресу https://cran.r-project.org/web/packages/FFTrees/index.html.

19. Roberts