– хотя и не для всех, – где употребляется слово „значение^, можно дать следующее его определение: значение слова – это его употребление в языке»[664]. Эта идея привела к более общему философскому мировоззрению, в рамках которого было сложно или даже невозможно полностью абстрагировать значение от социальных ролей, институтов, ритуалов, и даже отделить речь от «языковых игр» и «форм жизни», в которые они встроены. Человеческая форма жизни хрупка, она воплощена в смертной плоти, она ограничена во времени и не может воспроизводиться в кремнии[665].

Идеи Витгенштейна стали основанием для ряда работ, в которых доказываются «ограничения ИИ», таких как опередившая свое время книга Хьюберта Л. Дрейфуса «Чего не могут вычислительные машины»[666]. Эта линия исследований сегодня обогащена и развита множеством работ, обоснованных феминизмом и критической расовой теорией, которые показывают границы абстрагирования понятий из их социальной среды. Как доказала Сафия Нобле в своей работе «Алгоритмы подавления», методы обработки поисковых запросов в Google, демонстративно нейтральные и автоматические, привели к определенно расистской выдаче поисковых результатов, исправить которую могло только вмешательство людей. Мередит Бруссард провела чрезвычайно подробный анализ господства «техношовинизма» в ведущих компаниях, определив его как своего рода «искусственное неразумие»[667]. В «Машинах как я» слепота ИИ ощутима, когда Адам не может разобраться с вопросами гендера и культуры, сурово оценивая Миранду. Да, Миранда подставила одного человека, совершившего изнасилование, но только после того, как он на самом деле изнасиловал Мириам, ее подругу из Пакистана, которая из-за этой травмы покончила жизнь самоубийством. Как и многие другие женщины, Мириам отказалась выдвигать обвинения против насильника, боясь того, как с ней обойдется система правосудия, а также возможной реакции ее собственной семьи. План Миранды вызывал вопросы, но его можно было понять, поскольку в нем отражались выстраданные феминистские представления о безнаказанности слишком многих сексуальных хищников[668].

Это не значит, что нужен самосуд. В нашем романном контексте этот ход событий защищает Макьюэна от обвинений в том, что он подтасовал карты так, чтобы роботу Адаму, который никогда не принимает в расчет эти соображения, нельзя было сочувствовать. Эта лакуна на самом деле представляет собой еще один элемент реализма в этом романе идей, в котором отображается обширная и постоянно растущая литература, посвященная критике ведущих технологических фирм, не учитывающих погруженность в социальный контекст[669].

Наши взаимодействия определяются идентичностью и историей. У этой истории глубокие не только социальные, но и биологические корни, и она неизбежно (хотя и не всегда очевидным образом) влияет на ИИ, на то, как он решает задачи, определяет их границы или попросту распознает их. Какой бы искусственный разум ни был реализован в машинах, он всегда будет оставаться отражением паттернов мышления людей, обладающих телами. Как утверждали Джордж Лакофф и Марк Джонсон в своей работе 1999 г. «Философия во плоти: телесное сознание и вызов западной мысли», разум «возникает из природы нашего мозга, наших тел и телесного опыта… сама структура разума складывается из устройства нашей телесности»[670]. Лакофф и Джонсон показывают, что абстракции, которые движут большей частью ИИ, будь они утилитаристскими оценками благосостояния или статистическим анализом закономерностей, начинают разваливаться, как только они отчуждаются от телесной точки зрения реальных людей.

Это основная проблема в классическом нарративе «исследований угроз существованию», в котором рассказывается о неподконтрольном ИИ, а именно о неостановимом максимизаторе скрепок, который начинает использовать весь доступный на земле материал для производства максимального количества скрепок[671]. С точки зрения этики ИИ в ее основном направлении решение для ИИ, который может выйти из-под контроля (как и для многих других более прозаических проблем), состоит в том, что в него надо запрограммировать больше правил. Возможно, мы могли бы легко запрограммировать правило «антимаксимизации» в нашего гипотетического производителя скрепок и сделать все возможное, чтобы хакеры не смогли его взломать. Однако любая достаточно развитая машина, если она столкнется с более замысловатыми проблемами, будет вынуждена так или иначе примирять правила, противоречащие друг другу. Ключевой вопрос этики, права и политики ИИ в том, в какой мере при возникновении подобных проблем люди должны оставаться в цикле принятия решений. Четыре новых закона робототехники, которые исследуются в этой книге, нацелены на установление практически применимых прав на подобный мониторинг, вмешательство и ответственность человека. Без них мы можем стать простыми инструментами наших собственных инструментов или, говоря точнее, инструментами людей, обладающих такими корпоративными и государственными позициями, которые предоставляют им критически важную власть над ИИ и робототехникой. Удаленность мешает подотчетности и угрожает скрыть ответственность в тумане вычислений.

Аутсорс человечности

Трагедия в таких повествованиях, как «Машины как я» и «Из машины», состоит в неверно выбранной направленности любви, уважения и восхищения. Та же ложная направленность слегка сатирически изображается и в фильме «Она», где друзья главного героя Теодора принимают в качестве чего-то само собой разумеющегося то, что к передовой операционной системе (ОС) по имени Саманта он относится как к подруге. Они изображены в качестве людей современных и космополитичных, открытых, терпимых и готовых прийти на выручку. Но на самом деле они ступили на скользкую дорожку. С точки зрения некоторых защитников личных качеств роботов, коль скоро ИИ удается успешно подражать людям, он заслуживает тех же прав, которые государствами обычно предоставляются людям. Учитывая эффект «ареола права» (то есть способность юридических прав создавать впечатление о наличии определенного морального статуса и достоинства у обладателя подобных прав), отказывать таким роботам в элементарной учтивости и вежливости – значило бы демонстрировать собственную злобность или просто непоследовательность.

В фильме «Она» наряду с остроумным изображением возможного направления эволюции указывается также на то, насколько странными являются подобные реакции. К концу фильма Теодор выясняет, что Саманта разговаривает с сотнями людей, и всем им говорит, что она в них влюбилась. Что бы там ни думать о полиамории с тремя, десятью или десятками человек, сотни – это определенно не то число, которое подходит для того интимного отношения, которое симулирует ОС. То, о чем «говорит» Саманта, – это в конечном счете просто обман, подражание вербальному выражению влюбленности, а не она сама. И как только чары влечения рушатся, мы чувствуем, что даже Теодор может понять, почему сам термин «говорит» надо взять в кавычки, поскольку намного более точное описание выражений, производимых ботом, – это симуляция коммуникативных движений, которая должна стимулировать вовлеченность собеседника, особенно учитывая то, что такая симуляция определяется целями коммерческой корпорации. То же самое можно сказать, даже если бы ОС была персонализирована для одного Теодора. Этот изъян,