которая определит траекторию облета нашими зондами этой не Солнечной системы. Такая программа должна учитывать много разных факторов, в честности, данные о планетах и об их спутниках, уже полученные при приближении аппарата ко всей этой системе. Программа, которая изучала эти планеты, передает свои данные программе, которая определяет облет зондами системы, а та передает данные автономному аппарату. И человек никогда не увидит результата работы этих программ. А тестировать он мог их сто лет назад и только на своей Солнечной системе, а это не совсем то.

Другой вариант, вроде бы, более прост - человек, который смотрит на результаты работы программы, есть. Но он не вполне уверен в своем понимании качества решения. Такая ситуация бывает при общении людей - я вижу, как решает некую задачу мой коллега, но не уверен, что правильно оцениваю его решение. Например, мое решение мне нравится больше, но уверенно сказать, что он ошибается, я не могу. По мере приближения, в любом смысле, ИИ к ЕИ, эта ситуация непременно возникнет.

Другая сложность - отношение человека к надежности. Автомобиль наедет на пешехода, промышленный робот, неловко развернувшись, заденет мастера В. В. Пупкина по уху - и вангогом дело может не обойтись. Дело не только в неисправностях, возможны сложные ситуации, причем даже такие, когда придется решать, кого защищать - своих пассажиров или других, их или пешехода, да и кого из пешеходов... Необходимость как-то сформулировать этические предпочтения побудила людей их исследовать, нашлись интересные корреляции с полом и возрастом, выяснились, что эти предпочтения разные в разных регионах (спросите Сеть "моральные проблемы беспилотных автомобилей"). Но это наука, а борцы с нашествием роботов вполне могут пойти на провокации - надеясь, что пострадает железка, а они сдерут миллион за моральный ущерб (а может ли быть моральный ущерб у аморального человека?) Психология многих людей такова, что они предпочтут, чтобы давил автомобиль с пьяной дрянью за рулем, чем со в сто раз меньшей вероятностью - робот. Наверное, психологи могут объяснить, почему это так, но знают ли они, как это изменить? Ведь из-за этого иррационального мышления тормозится внедрение беспилотных автомобилей, а замена лишь одного процента всех автомобилей беспилотными будет спасать десять тысяч жизней ежегодно.

Во всех публикациях по теме ИИ явно или неявно проводится мысль, что он должен быть идеален. Но если он будет ошибаться, скажем, хотя бы вдвое реже, чем человек, то игра уже стоит не только свеч, но и инвестиций. Или вот - в некоторых странах каждый понимает, чем кончится попытка объяснить неправомерность претензий представителю силовых структур на улице. Робот, несущий полицейские функции, наверняка будет запрограммирован иначе - потому, что это может быть проверено независимо. Заметим, что проверяемая программная ограниченность роботов-полицейских как раз и может исключить их появление в некоторых странах. Хотя... ну да, проверки можно запретить или, еще лучше, фальсифицировать.

Создавая страшилки, авторы и нарушают логику, и демонстрируют мышление, оторванное от реальности. Например, пишут: "Если полицейские отряды, состоящие из людей, могут отказаться выполнять какие-то драконовские директивы (например, убивать всех представителей определенной демографической группы), то такая автоматизированная система не поддастся никаким угрызениям по поводу проведения в жизнь любых капризов вышестоящих человеческих существ. После того как подобное тоталитарное государство сформируется, для людей окажется практически невозможным положить ему конец". Имея в виду - попугать машинами, автор оговорился - "капризы человеческих существ". Кроме того, из истории известно - были, наверняка есть, - миллионы людей, которые "не поддаются угрызениям" того, чего у них и вовсе нет.

Ненадежны могут быть не только беспилотные автомобили и промышленные роботы. Любая программа может выдать неправильные цифры - из-за ошибок, сделанных ее автором или из-за сбоев "железа". Мы привыкли к этому, и как-то научились с этим умеренно справляться, хотя самолеты иногда перепутывают верх и низ. Но человек перепутывает чаще; есть версия, что сбить-то хотели своего, чтобы получить casus belli, а по криворукости грохнули чужого. Но программы, на коробке с которой написано ИИ, человек боится больше, и поэтому предъявляет к ней больше требований. И совершенно зря - потому, что он сам ошибается чаще этой программы.

Конкретные ситуации

Начнем с ситуаций, когда требуется действие, а потом перейдем к работе с информацией. Промышленные роботы успешно применяются, интеллектом они не блещут, да он им и не нужен. Крики о том, что будет безработица, полезны для издателей, но есть и публикации, в которых показано, что опасности нет. Возникнут новые рабочие места, и в сфере обслуживания, и в сфере производства, причем в среднем с более высокой квалификацией, что пойдет человечеству только на пользу. А для тех, кто окажется не у дел, бизнес уже создал достаточное количество способов безболезненно убить время - например, социальные сети. Да и под присмотром народишко будет... Человечество уже не раз перекладывало часть ручного труда на железные плечи машин, и как-то обходилось, назад в средневековье никто не хочет. Робота с ИИ человек побаивается - он больше похож на конкурента, чем ИИ, живущий где-то там, в глубине компьютера. А живущий в смартфоне - совсем не опасен, потому что лежит в кармане.

Медицинские роботы пока развиваются медленнее, потому, что некоторым из них приходится взаимодействовать с людьми плотнее. Вот тут дело пахнет как раз ИИ, потому что человек вообще не всегда предсказуем - стало быть, жесткую программу составить не удастся. Но зато в этой сфере робот вообще может обогнать человека - например, имея многопиксельное зрение и мощную систему распознавания микромимики, он будет "читать мысли". В медицине это было бы весьма полезно, как в виде помощника врача и медсестры, так и в виде железного медбрата (или сестрички?). Впрочем, силовые структуры захотят применить такого робота для допроса, а работодатель - при найме. В цивилизованном обществе, когда общество рулит государством, это будет ограничено законодательно, и ограничение будет в некоторой мере соблюдаться.

Интуитивно кажущаяся менее предсказуемой ситуация - действия в опасных ситуациях, например, спасение людей из завалов при взрывах и обрушении зданий, и военные применения. Работы в этих направлениях, естественно, ведутся, реальные результаты не публикуются, - жестяные коробки на парадах и примитивные мультики для разогрева аудитории не в счет. Будем надеяться, что практических результатов мы не увидим. Понятно, что в разных странах деньги, выделяемые на работы в этих двух направлениях, сильно разнятся, да и желание развивать то или иное направление, может быть разным у разных людей. Будем надеяться на положительную корреляцию морали и экономики на уровне общества,