радикализации. На еще более фундаментальном уровне вызывает сомнение объективность определения системами таких вещей, как терроризм. Существует долгая история режимов, использующих ярлык "террорист" для обозначения любой и всякой оппозиции. В Советском Союзе любой, кто выступал против режима, считался террористом. Следовательно, когда ИИ навешивает на кого-то ярлык "террорист", это может отражать идеологические предубеждения, а не объективные факты. Способность принимать решения и придумывать идеи неотделима от способности совершать ошибки. Даже если ошибок не будет, сверхчеловеческая способность алгоритмов распознавать закономерности в океане данных может усилить мощь многочисленных злонамеренных субъектов - от репрессивных диктатур, стремящихся выявить инакомыслящих, до мошенников, пытающихся определить уязвимые цели.

Разумеется, распознавание образов имеет и огромный положительный потенциал. Алгоритмы могут помочь выявить коррумпированных чиновников, преступников и корпорации, уклоняющиеся от уплаты налогов. Алгоритмы также могут помочь сотрудникам санитарных служб из плоти и крови выявлять угрозы для нашей питьевой воды, врачам - распознавать болезни и развивающиеся эпидемии, а полицейским и социальным работникам - выявлять супругов и детей, подвергшихся насилию. На следующих страницах я уделяю относительно мало внимания положительному потенциалу алгоритмических бюрократий, поскольку предприниматели, возглавляющие революцию ИИ, и так уже завалили общественность достаточно радужными прогнозами о них. Моя цель - уравновесить эти утопические видения, сосредоточившись на более зловещем потенциале алгоритмического распознавания образов. Надеюсь, мы сможем использовать положительный потенциал алгоритмов, одновременно регулируя их разрушительные возможности.

Но для этого мы должны сначала осознать фундаментальное различие между новыми цифровыми бюрократами и их предшественниками из плоти и крови. Неорганические бюрократы могут быть "включены" двадцать четыре часа в сутки, они могут следить за нами и взаимодействовать с нами в любом месте и в любое время. Это означает, что бюрократия и слежка больше не являются чем-то, с чем мы сталкиваемся только в определенное время и в определенном месте. Система здравоохранения, полиция и манипулирующие корпорации становятся вездесущими и постоянными элементами жизни. Вместо организаций, с которыми мы взаимодействуем только в определенных ситуациях - например, когда посещаем поликлинику, полицейский участок или торговый центр, - они все чаще сопровождают нас каждую минуту, наблюдая и анализируя каждый наш поступок. Как рыба живет в воде, так и человек живет в цифровой бюрократии, постоянно вдыхая и выдыхая данные. Каждое наше действие оставляет след в виде данных, которые собираются и анализируются для выявления закономерностей.

 

НАБЛЮДЕНИЕ ПОД КОЖЕЙ

К лучшему или худшему, но цифровая бюрократия может не только следить за тем, что мы делаем в мире, но даже наблюдать за тем, что происходит внутри нашего тела. Возьмем, к примеру, отслеживание движений глаз. К началу 2020-х годов камеры видеонаблюдения, а также камеры в ноутбуках и смартфонах начнут регулярно собирать и анализировать данные о движениях наших глаз, включая крошечные изменения зрачков и радужной оболочки, длящиеся всего несколько миллисекунд. Человеческие агенты едва ли способны заметить такие данные, но компьютеры могут использовать их для расчета направления нашего взгляда, основываясь на форме наших зрачков и радужных оболочек, а также на отражении ими света. Аналогичные методы позволяют определить, фиксируются ли наши глаза на стабильной цели, преследуют ли они движущуюся цель или блуждают по сторонам более бессистемно.

По определенным паттернам движения глаз компьютеры смогут отличать, например, моменты осознанности от моментов рассеянности, а людей, ориентированных на детали, от тех, кто уделяет больше внимания контексту. По нашим глазам компьютеры могли бы определять многие дополнительные черты личности, например, насколько мы открыты для нового опыта, и оценивать уровень нашей компетентности в различных областях - от чтения до хирургии. Эксперты, обладающие хорошо отточенными стратегиями, демонстрируют систематические модели взгляда, в то время как глаза новичков бесцельно блуждают. Паттерны взгляда также указывают на уровень нашего интереса к объектам и ситуациям, с которыми мы сталкиваемся, и различают позитивный, нейтральный и негативный интерес. Из этого можно сделать вывод о наших предпочтениях в самых разных областях - от политики до секса. Многое также можно узнать о состоянии здоровья и употреблении различных веществ. Употребление алкоголя и наркотиков - даже в неинтоксикационных дозах - оказывает заметное влияние на свойства глаз и взгляда, например, изменяет размер зрачка и ухудшает способность фиксироваться на движущихся объектах. Цифровая бюрократия может использовать всю эту информацию в благотворных целях - например, для раннего выявления людей, страдающих наркоманией и психическими заболеваниями. Но, очевидно, она также может стать основой для самых навязчивых тоталитарных режимов в истории.

Теоретически диктаторы будущего могут заставить свою компьютерную сеть не просто следить за нашими глазами, а гораздо глубже. Если сеть захочет узнать наши политические взгляды, черты характера и сексуальную ориентацию, она сможет следить за процессами в нашем сердце и мозге. Необходимые биометрические технологии уже разрабатываются некоторыми правительствами и компаниями, например Neuralink Элона Маска. Компания Маска провела эксперименты на живых крысах, овцах, свиньях и обезьянах, вживляя в их мозг электрические зонды. Каждый зонд содержит до 3 072 электродов, способных распознавать электрические сигналы и потенциально передавать их в мозг. В 2023 году компания Neuralink получила разрешение американских властей начать эксперименты на людях, а в январе 2024 года стало известно, что человеку был имплантирован первый мозговой чип.

Маск открыто говорит о своих далеко идущих планах в отношении этой технологии, утверждая, что она может не только облегчить различные медицинские состояния, такие как квадриплегия (паралич четырех конечностей), но и улучшить способности человека и тем самым помочь человечеству конкурировать с искусственным интеллектом. Однако следует понимать, что в настоящее время зонды Neuralink и все другие подобные биометрические устройства страдают от целого ряда технических проблем, которые значительно ограничивают их возможности. Трудно точно отслеживать деятельность организма - мозга, сердца или чего-либо еще - извне, а вживление электродов и других контролирующих устройств в тело - навязчивое, опасное, дорогостоящее и неэффективное занятие. Например, наша иммунная система атакует имплантированные электроды.

Что еще более важно, никто пока не обладает биологическими знаниями, необходимыми для того, чтобы на основе данных, полученных из-под кожи, например, о мозговой активности, определить точные политические взгляды. Ученые еще далеки от понимания тайн человеческого мозга или даже мозга мыши. Простое картирование каждого нейрона, дендрита и синапса в мозге мыши - не говоря уже о понимании динамики их взаимодействия - в настоящее время находится за пределами вычислительных возможностей человечества.18 Соответственно, хотя сбор данных изнутри мозга людей становится все более осуществимым, использовать эти данные для расшифровки наших секретов далеко не просто.

Одна из популярных теорий заговора начала 2020-х годов утверждает, что зловещие группы, возглавляемые миллиардерами вроде Элона Маска, уже вживляют компьютерные чипы