на самые разные возможности, такие как право путешествовать, получать денежные кредиты или право на поступления в учебные заведения (самого человека или его детей). Государственный совет определил общий план «поощрения честности и наказания нечестности», который он в 2014 г. «все провинциальные, автономно-региональные и муниципальные народные правительства, все министерства и комиссии Государственного совета, а также все напрямую подчиненные департаменты» попросил «серьезно выполнять»[428].

С тех пор возникло много локальных программ. В Янькао жители «могут заработать максимальный рейтинг з звезды в программе „Банк моральности“… на основе таких качеств, как почитание родителей или добрые поступки»[429]. Рейтинг может означать более выгодные условия по кредитам. В Жунчэне у граждан есть «базовый балл 1000 очков на гражданина или компанию, к которому добавляется буквенный рейтинг: начиная с ААА и до D», на который могут влиять различные сообщения о ненадежном, неискреннем или девиантном поведении, будь оно прямо незаконным или просто считающимся властями «нецивилизованным»[430]. В Нинбо «проезд зайцем в общественном транспорте или задержка в оплате счетов по электричеству» может «повлиять на шансы человека при получении ипотеки, при повышении по службе или получении прибавки к зарплате»[431]. В более крупных городах, таких как Пекин, вскоре будут введены собственные проекты подсчета рейтинга. В своих наиболее амбициозных формах подсчет социального кредита обещает автоматизацию добродетели или по крайней мере ее измерение. Граждане будут в реальном времени получать сведения о собственном относительном рейтинге и станут свободно конкурировать друг с другом на условиях, определенных для них бюрократами.

Системы социального кредита (ССК) в Китае могут основываться на тысячах данных. Пока, судя по всему, ни одна такая система не реализовала в полной мере предписания государственного «плана». Однако власти, очевидно, развивают системы оценки, обладающие тремя особенно пугающими качествами. Во-первых, ССК (в национальном или локальном варианте) вскоре будут включать полный или почти полный спектр данных, начиная с онлайн-постов и нарушений дорожного движения и заканчивая семейной жизнью, поведением на работе и многим другим. Во-вторых, черные списки (куда заносятся проштрафившиеся индивиды) и красные списки (с отличниками) означают, что возникает волновое воздействие, распространяющееся далеко за пределы исходного источника нарушения правил[432]. Так, неспособность оплатить долг может повлиять не только на кредитоспособность и финансовый статус данного индивида, но и докатиться до его права передвигаться по стране, получать государственные пособия или пользоваться другими гражданскими привилегиями. В-третьих, позор может повлечь и сетевые последствия, повлияв на баллы семьи или друзей «опозорившегося» человека[433].

Три эти составляющие ССК (полнота, волновой эффект и сетевые последствия) говорят о том, что такие системы способны стать совершенными инструментами социального контроля, особенно если они применяются к коммуникации, предметом которой являются права, политика и сами ССК[434]. Волновой эффект означает то, что отклонение от правил разветвляется, создавая многолетние отголоски. Из-за передовой биометрики (в частности, распознавания по сетчатке глаза, лицу и походке) изменить личность, когда идентичность уже запятнана стигмой, практически невозможно. Даже люди, достаточно смелые, чтобы не бояться следствий неповиновения, скорее всего, не захотят рисковать и возлагать подобный груз на тех, кто им дорог[435]. Волновой эффект занесения в черные списки или снижения рейтинга осложняет оценку полного влияния правонарушения, а может быть, и делает ее невозможной. Занесение в красные списки может служить еще более точечной репрессией, поскольку оно прививает гражданам «алгоритмическую самость», настроенную на максимизацию статуса[436].

Китайское правительство утверждало, что ССК попросту отражают ценности, бытующие ныне в китайских семьях, школах и судах. Но когда стандартный механизм апелляции отсутствует, автоматическое распределение стигматизирующих черных списков (как и похвальных красных) грозит стать заменой авторитету семей, школ и судов, а не их дополнением[437]. Определенные составляющие ССК в итоге могут привести к захвату власти путем квантификации, позволяющему бюрократам утвердить свое владычество над обширными областями социальной жизни, чего они никогда не смогли бы добиться благодаря публичному законотворчеству. Подобное количественное управление культурой представляет собой парадокс. Сама попытка выписать точную ценность манер, эмоций и сетевых сообщений подрывает их подлинность, поскольку спонтанные аффекты и взаимодействия инструментализируются для подсчета рейтинга. Это одна из многих опасностей формализации оценочных критериев в таких неописуемых сферах жизни, как семья, дружба, сообщества и нравы.

Исследователи права уже высказывали опасения в связи с точностью и честностью ССК. Также заметны важные попытки ввести надлежащую правовую процедуру для наград и наказаний, распределяемых этими системами. Но важно заметить, что, если реформаторы будут сосредоточены лишь на легалистских проблемах, в своем стремлении к алгоритмической подотчетности они могут заблудиться в трех соснах. Системы социального кредита – не только правовые проекты, но также культурные и политические. Алгоритмическое правление дает возможность государству и корпорациям (которые часто работают в тандеме) закреплять и подчинять себе репутационные сферы, которые должны быть более децентрализованными и приватными[438]. Оно ведет к тиранической точечности, требовательной и навязчивой[439].

К сожалению, тяга к мониторингу и измерениям не ограничивается ССК. Американские фирмы применяют непрозрачные и неподотчетные варианты ИИ для оценки поведения[440]. Глобальная технообразовательная индустрия требовала бихевиористского тестирования и рейтинга студентов, школ и учителей[441]. Те же технологии мониторинга могут утвердиться в больницах, домах престарелых и яслях. Везде, где превалирует тэйлористское стремление к измерению и управлению, подобные методы могут распространиться. Репутационные валюты перекрещивают подавление в рациональное стимулирование.

Обратить правила судящего ИИ против него самого

Существует огромное множество систем ИИ, которые призваны выставлять баллы, рейтинговать и оценивать людей. Те же, кого искусственный интеллект ставит низко, хотят теперь перевернуть правила игры и заставить его самого соответствовать этическим стандартам. В ССК, финансовых технологиях, анализе лиц и предсказательной полиции ИИ, судящий людей, требует слишком много данных. Он делает непрозрачные, неоправданные или нечестные выводы. Обещая безопасность и инклюзию, он слишком часто создает неустойчивость и стигму. И все это пока еще ущерб на индивидуальном уровне. Столь же важно в долгосрочной перспективе то, что чрезмерные поползновения ИИ грозят подорвать нормы и ценности, на которых держатся наши институты.

Вслед за философом Майклом Уолцером можно расценить семью и многие институты гражданского общества в качестве особых «сфер справедливости», то есть областей человеческого опыта, которые в идеале должны действовать в соответствии с собственной логикой распределения (или признания и ресурсов), а не по стандартам, навязанным извне (бюрократами или ИИ)[442]. Уолцер выдвинул этот идеал сфер справедливости в качестве способа спасти и оживить философские подходы, не ограничивающиеся утилитаристскими и деонтологическими теориями, господствующими в западной теоретической этике[443].