Главный вопрос в том, как сбалансировать здоровый энтузиазм или даже любовь к роботам с трезвым пониманием их инаковости[214]. Робот способен наблюдать поведение в своей среде и формулировать реакции на это поведение, однако в своем опыте такое поведение он не может воспринимать в качестве источника смыслов или мотивов так, как на это способны люди. При этом в действиях такого робота всегда будет сохраняться след манипуляций, как бы сильно инженеры ни старались избежать этой проблемы, ведь робот программируется с какими-то определенными, заранее заданными целями. Человек общается с другими людьми как автономными субъектами (со всеми их привилегиями и способностью к добру или злу, к заботе и небрежению, которые вытекают из такого статуса). Тогда как машина, даже запрограммированная на определенные степени свободы, никогда не обладает автономией действующего субъекта, хотя бы потому, что наш опыт агентности укоренен в совершенно иной телесности организмов углеродных и биологических, а не кремниевых и механических[215].

Учеников следует с самого раннего возраста учить тому, что они важнее окружающих их роботов, что эти программируемые инструменты служат им и им полезны. Они должны уважать роботов как свою или чужую собственность, но не следует поощрять их, если они называют их своими друзьями. Роботов и ИИ надо рассматривать в качестве части цифровой среды, которую надо сохранять и «одомашнивать», но без того уважения и любви, с которыми мы относимся к фауне и флоре естественной среды. Эта естественная среда является основанием самого нашего бытия, тогда как роботы и ИИ – это просто инструменты.

От этой фундаментальной реальности нас не должны отвлекать голливудские изображения роботов (которых так часто играют люди), которые эмоционально требуют признания, любви и уважения. Конечно неуважение к гуманоидным роботам или злоупотребление ими вызывает тревогу, поскольку такое поведение может стать источником общей черствости[216]. Однако из такой озабоченности не следует необходимость антропоморфизировать роботизированные системы. Скорее, она требует чрезвычайной осмотрительности в случае внедрения гуманоидных роботов в новых средах, особенно в таких уязвимых группах населения, как дети и пожилые люди.

На кого работает ваш учитель-робот?

Что является мотивом компаний, стоящих за наиболее важными технологиями образования? И почему мы должны доверять им в том, что они сделают программы или роботов, которые будут отражать наши ценности? Тревожных сигналов уже довольно много. Гигант технообразования – компания Pearson провела эксперимент на тысячах ничего не подозревающих студентах колледжей, внушая им установку на «профессиональный рост» посредством своей коммерческой обучающей программы. Компания обнаружила небольшое повышение мотивации, и, возможно, этот результат может оказаться полезным для будущих проектировщиков программ. Однако колледжи заключали контракт на обучающую программу, а не на исследование с участием подопытных людей[217]. Какие еще сообщения могут просачиваться во время контакта студента с компьютером? Администраторам на всех уровнях образования нужно проявлять больше осмотрительности при заключении контрактов с технообразовательными фирмами. Им нужно требовать контроля данных и обязательного оповещения в случае изменения программ. Без таких предосторожностей этические стандарты работников образования будут сметены грубым принципом «сгодится все, что работает», отстаиваемым технологическими фирмами[218].

Эксперимент компании Pearson достаточно обычен для мира технических фирм, которые не отличаются особой щепетильностью и не обращают внимание на уже действующие законы о защите детей. Критикуя экосистему Google, активисты обвиняли YouTube и операционную систему Android в недобросовестном таргетировании детской рекламы и в слежке за детьми[219]. YouTube, фактически ставший почасовой няней для детей задерганных родителей, не справился со своей функцией, поскольку там размещались странные и смущающие детей видео, некоторые из которых представляли собой автоматические ремиксы мультипликационных персонажей, мучавших или издевавшихся друг над другом[220]. Впоследствии YouTube ответил на общественное возмущение, пообещав, что за приложениями, ориентированными на детскую аудиторию, будут следить люди, а не алгоритмы[221]. Это отступление от принципа полной автоматизации – урок и для работников сферы образования; когда речь идет о детях, в создании контента невозможно полагаться на этический принцип «сгодится все, что привлекает внимание», как бы просто ни измерялось такое вовлечение на основе просмотров.

Образовательным системам также нужно проявлять осторожность при применении технологии в качестве тотальной системы мониторинга. Благонамеренные администраторы снабжают школьников трекерами Fitbit, считающими шаги, и ноутбуками, которые отслеживают движения глаз и подсчитывают секунды, потраченные на каждую задачу и каждый экран. Ставки такого сбора данных весьма велики. Программирование эмоций стремится зафиксировать значение наморщенного лба, приподнятых бровей, улыбок и других ярких признаков внезапно пришедшей идеи или замешательства. Успешные коммерческие фирмы составили базу данных эмоций, связанных с миллионами выражений лиц. Но любой человек, знающий, что, чтобы чувствовать себя лучше, надо «больше улыбаться», в состоянии понять проблемы, порождаемые системой, которая постоянно опознает и записывает внешние признаки эмоциональных состояний.

Можно представить себе, что при наличии достаточных инвестиций и времени мы получим в будущем среду обучения, в которой будут как практически безграничные задания на заучивание, генерируемые ИИ, так и более креативные задачи. Также учителя-роботы всегда будут готовы провести коррекционный урок для исправления ошибок. Однако в этой же перспективе присутствуют скрытые возможности для манипуляций, возникающие благодаря сбору огромного количества данных о детях. Иногда определенные вмешательства нужны; например, Facebook может алгоритмически выявлять посты подростков с суицидальными намерениями и сообщать о них организациям, занимающимся специальной помощью[222]. Но похожие возможности он продавал и рекламодателям, помогая им выявлять детей, которые считают себя «неуверенными» или «никчемными»[223]. Должна быть определенная граница между попытками помочь и научить и тем подозрительным сбором данных и стигматизирующих характеристик, который разрушает доверие. У учеников и родителей всегда должно быть право отказаться от программирования эмоций.

В настоящее время у нас нет ни малейшего представления о том, как фирмы, разрабатывающие образовательные программы и роботов, собирают, анализируют и применяют данные. Способность современных программ машинного обучения записывать все, что говорит ребенок, и все больше персонализировать ответы, провоцируя его смех или озабоченность, вызывая в нем чувство любви или вины, является совершенно новым компонентом в мониторинге учащихся, который если и надо применять на практике, то крайне осторожно. Прежде чем такие образовательные роботы будут внедряться в массовом порядке, следует ответить на базовые вопросы об их возможностях и целях.

Минусы постоянного внимания

Обычно целью мониторинга являются непосредственные и конкретные выгоды, связанные с долгосрочными и менее определенными опасностями[224]. Роботы в школе, как и другие образовательные технологии, обещают уроки с высоким уровнем персонализации. Также аналитика больших данных