Шрифт:
Закладка:
Суперинтеллект и «проблема контроля» как экзистенциальная угроза
Присущий ИИ риск, который затмевает все остальное, — возможность того, что машины, обладающие сверхчеловеческим интеллектом, однажды выйдут из-под нашего контроля и станут угрозой существованию человечества. Вопросы безопасности, использования в качестве оружия и предвзятости алгоритмов — это непосредственные или ближайшие риски. Очевидно, что их необходимо решать безотлагательно, пока не стало слишком поздно. Экзистенциальная угроза, связанная с суперинтеллектом, является намного более умозрительной и почти наверняка отнесенной в будущее на десятилетия, если не на столетие или больше. Тем не менее именно этот риск завладел воображением многих известных людей и удостоился пристального внимания СМИ.
Экзистенциальный риск, присущий ИИ, стал предметом серьезной публичной дискуссии в 2014 году. В мае того года группа ученых, в том числе космолог из Кембриджского университета Стивен Хокинг, эксперт в области ИИ Стюарт Рассел и физики Макс Тегмарк и Фрэнк Вильчек, написала открытое письмо, опубликованное в британской газете Independent, где утверждалось, что появление искусственного суперинтеллекта «станет величайшим событием в истории человека» и что компьютер, обладающий сверхчеловеческими интеллектуальными возможностями, может «переиграть финансовые рынки, превзойти исследователей, перехитрить наших руководителей и изобрести оружие, которое мы даже не понимаем». Письмо предупреждало, что если мы не примем эту угрозу всерьез, то совершим «худшую ошибку в истории» человечества[320].
В том же году философ из Оксфордского университета Ник Бостром опубликовал книгу «Искусственный интеллект: Этапы. Угрозы. Стратегии»[321], быстро ставшую, как это ни удивительно, бестселлером. Бостром открывает повествование мыслью о том, что люди главенствуют на нашей планете исключительно в силу интеллектуального превосходства. Многие животные быстрее и сильнее человека, и на вершину его привел именно мозг. Если появится другая сущность, радикально превосходящая нас по интеллектуальным способностям, ситуация может измениться. По словам Бострома, «как судьба горилл сейчас зависит в большей степени от людей, чем от самих горилл, так и судьба нашего вида будет зависеть от действий машинного суперинтеллекта»[322].
Книга Бострома произвела огромное впечатление, особенно на элиту Кремниевой долины. Не прошло и месяца после ее выхода в свет, как Илон Маск уже заявил, что, «работая над искусственным интеллектом, мы вызываем демона» и что ИИ «может быть опаснее ядерного оружия»[323]. Год спустя Маск стал сооснователем OpenAI, миссия которой заключается в создании «дружественного» искусственного интеллекта. Те, кто принял аргументы Бострома близко к сердцу, стали воспринимать идею об экзистенциальной угрозе ИИ практически как бесспорный факт и как более серьезную опасность, чем изменение климата или глобальная пандемия. Как сказал нейробиолог и философ Сэм Харрис во время выступления на конференции в TED, набравшего более 5 млн просмотров, «сейчас очень трудно понять, как сделать так, чтобы [польза, которую мы получим от искусственного интеллекта] не уничтожила нас или не подтолкнула к самоуничтожению». По его мнению, нам необходимо «нечто вроде Манхэттенского проекта», нацеленного на поиск путей устранения такой опасности[324].
Конечно, беспокоиться будет не о чем, если нам не удастся создать в полной мере мыслящую машину с когнитивными способностями, по крайней мере эквивалентными нашим. Как говорилось в главе 5, на пути к созданию универсального искусственного интеллекта нас ждет неизвестное количество серьезных препятствий и на их преодоление потребуются десятилетия. Как вы помните, ведущие исследователи ИИ, которых я опрашивал в ходе работы над книгой «Архитекторы интеллекта», оценили среднее время ожидания до появления универсального ИИ примерно в 80 лет, то есть отнесли этот момент на конец столетия. Однако, как только ИИ человеческого уровня станет реальностью, за ним почти наверняка быстро последует суперинтеллект. Более того, любой машинный интеллект, способный учиться и мыслить на уровне человека, уже будет превосходить нас просто потому, что ему доступны все уже существующие преимущества компьютеров перед нами, включая способность проводить вычисления и обрабатывать информацию с непостижимой скоростью и напрямую взаимодействовать с другими машинами через сети.
Как предполагают большинство экспертов в области ИИ, вскоре после достижения такого уровня машинный интеллект решит направить свою интеллектуальную энергию на совершенствование собственной конструкции. Это приведет к непрерывному, рекурсивному улучшению системы. Результатом неизбежно станет «интеллектуальный взрыв» — Рэй Курцвейл и другие технооптимисты считают это событие катализатором появления сингулярности и зарей новой эпохи. Предположение, что прогресс в области ИИ однажды вызовет взрывное развитие машинного интеллекта, было высказано задолго до того, как вступил в действие закон Мура и стало появляться компьютерное оборудование, способное сделать подобное событие реальностью. В 1964 году математик Ирвинг Гуд написал научную статью «Размышления о первой сверхразумной машине», где сформулировал эту идею следующим образом:
Давайте понимать под сверхразумной такую машину, которая намного превосходит самого умного человека во всех видах интеллектуальной деятельности. Поскольку конструирование машин — один из видов интеллектуальной деятельности, сверхразумная машина сможет создавать еще более продвинутые машины. В результате этого произойдет «интеллектуальный взрыв» и интеллект человека останется далеко позади. Таким образом, первая сверхразумная машина — это последнее изобретение, которое сделает человек при условии, что машина будет достаточно послушной и сообщит нам, как держать ее под контролем[325].
Перспектива того, что сверхразумная машина станет последним нашим изобретением, отражает оптимизм сторонников идеи сингулярности. Оговорка о том, что машина должна оставаться достаточно послушной, чтобы ее можно было контролировать, отражает тревогу и намекает на возможность появления экзистенциальной угрозы. В сообществе исследователей ИИ эта темная сторона суперинтеллекта называется проблемой контроля или проблемой выравнивания ценностей.
В основе проблемы контроля лежит не страх перед явно враждебными машинами вроде тех, что показаны в «Терминаторе». Каждая ИИ-система создается для какой-то функции, иными словами, для конкретной описанной математически цели, которой система пытается добиться. Опасения вызывает то, что сверхразумная система, получив цель, может упорно преследовать ее с помощью средств, имеющих нежелательные или непредвиденные последствия и способных стать пагубными или даже фатальными для нашей цивилизации. В качестве иллюстрации часто используют мысленный эксперимент с «максимизатором скрепок». Представьте суперинтеллект, созданный
