Шрифт:
Закладка:
Скорее всего, разногласия по вопросу об истинном источнике глубокого обучения сохранятся, но не приходится сомневаться, что после состязания ImageNet 2012 года этот метод быстро захватил сферу искусственного интеллекта — как и большую часть крупнейших компаний хай-тека. Американские технологические гиганты Google, Amazon, Facebook и Apple, а также китайские Baidu, Tencent и Alibaba сразу же оценили подрывной потенциал глубоких нейронных сетей и стали создавать команды исследователей и включать эту технологию в свои продукты и деятельность. Google пригласила на работу Джеффа Хинтона, Ян Лекун стал директором новой лаборатории Facebook по исследованию ИИ, и всю эту отрасль охватила полномасштабная война по перекупке специалистов, вследствие чего зарплаты и опционы на акции даже у новоиспеченных выпускников вузов со специализацией в области глубокого обучения стали заоблачными. В 2017 году генеральный директор Сундар Пичаи объявил, что для Google теперь «ИИ на первом месте» и работа над искусственным интеллектом станет одним из важнейших направлений конкуренции компании с другими технологическими гигантами[137]. Google и Facebook придают такое значение этой технологии, что исследователи глубокого обучения получают кабинеты в непосредственной близости от кабинета гендиректора[138]. К концу десятилетия нейронные сети стали настолько господствовать в сфере ИИ, что СМИ часто используют понятия «глубокое обучение» и «искусственный интеллект» как синонимы.
Глава 5
Глубокое обучение и будущее искусственного интеллекта
Внедрение глубокого обучения крупнейшими в мире технологическими компаниями наряду с появлением все более мощных компьютеров и приложений для бизнеса, использующих возможности нейронных сетей, почти не оставляет сомнений, что эта технология прочно вошла в нашу жизнь. Ясно, однако, что текущий темп развития поддерживать сложно и что будущие достижения требуют принципиальных инноваций. Как мы увидим, одним из самых важных в дальнейшем станет вопрос о том, не качнется ли маятник разработки ИИ назад, к символическому подходу и, если это случится, что нужно сделать для его успешного объединения с нейронными сетями. Прежде чем погрузиться в исследование будущего искусственного интеллекта, давайте чуть более предметно познакомимся с принципами глубокого обучения и с обучением этих сетей решению определенных задач.
Как работает глубокая нейронная сеть
В СМИ системы глубокого обучения часто называют «похожими на головной мозг», из-за чего можно легко прийти к ошибочному представлению о сходстве нейронных сетей, применяемых в искусственном интеллекте, с их биологическим образцом. Мозг человека, пожалуй, самая сложная система в известной Вселенной, имеющая около 100 млрд нейронов и сотни триллионов связей. Однако ошеломляющий уровень сложности связан не просто с огромным количеством связей. Он обусловлен работой самих нейронов и тем, как они передают сигналы и адаптируются к новой информации с течением времени.
У биологического нейрона различают три части: тело клетки, где находится ядро, многочисленные отростки — дендриты, принимающие входящие электрические сигналы, и один намного более длинный и тонкий отросток, так называемый аксон, по которому нейрон передает выходной сигнал другим нейронам. И дендриты, и аксон обычно сильно разветвлены, так что дендриты порой принимают возбуждающие сигналы от десятков тысяч других нейронов. Когда совокупность сигналов, поступающих через дендриты, возбуждает нейрон, он генерирует выходной электрический сигнал — так называемый потенциал действия. Однако связи в головном мозге — это не сеть электрических цепей. Аксон одного нейрона передает химический сигнал дендриту другого через особое соединение — синапс. Эти электрохимические взаимодействия играют принципиальную роль в работе мозга и его способности учиться и приспосабливаться, но во многих случаях не до конца понятны. Взять хотя бы механизм действия нейромедиатора дофамина, вещества, связанного с удовольствием или вознаграждением.
Искусственная нейронная сеть отбрасывает почти все эти детали и пытается создать грубое математическое подобие работы и связей нейронов. Если уподобить головной мозг Моне Лизе, то структуры, используемые в системах глубокого обучения, будут в лучшем случае чем-то вроде Люси из Peanuts[139]. Основной план построения искусственных нейронов появился еще в 1940-х годах, и в последующие десятилетия работа над этими системами по большей части была отделена от нейрологии. Алгоритмы для систем глубокого обучения разрабатывались независимо, часто экспериментальным путем и без стремления моделировать процессы, которые могут реально происходить в мозге человека.
Чтобы визуализировать искусственный нейрон, представьте себе контейнер, в который входят три или больше трубок, подводящих воду. Эти трубки можно уподобить дендритам биологического нейрона. Имеется также трубка аксона для выходящего потока воды. Если уровень воды, поступающей по входным трубкам, достигает определенной отметки, нейрон возбуждается и выбрасывает исходящий поток через трубку-аксон.
Ключевой элемент, превращающий такую конструкцию в полезное вычислительное устройство, — это клапан, встроенный в каждую из входящих трубок, который позволяет управлять поступлением воды. Манипулируя клапанами, можно напрямую регулировать влияние одного нейрона на другой. Процесс обучения нейронной сети решению полезных задач, в сущности, состоит в настройке этих клапанов, так называемых весов, таким образом, чтобы система могла правильно идентифицировать образы.
В глубокой нейронной сети программное моделирование искусственных нейронов, действующих более-менее похоже на такие контейнеры, организовано в нескольких слоях, так чтобы выходной сигнал одного слоя нейронов соединялся с входом следующего слоя. Часто связи между нейронами в соседних слоях устанавливаются случайным образом; напротив, в конкретной нейронной архитектуре, например в сверточной сети для распознавания образов, нейроны соединяются упорядоченно. Сложные нейронные сети могут содержать больше 100 слоев и миллионы искусственных нейронов.
Когда такая сеть построена, ее можно научить выполнять определенные задания, такие как распознавание образов или языковой перевод. Например, чтобы научить нейронную сеть распознавать рукописные цифры, пиксели фотографии написанной цифры должны стать входными сигналами для первого слоя нейронов. Ответ, или, иначе говоря, символ, соответствующий написанной от руки цифре, должен поступить в форме выходных сигналов последнего слоя искусственных нейронов. Обучение сети — это процесс ввода в нее обучающих образцов с последующей подстройкой всех весов в сети с тем, чтобы она постепенно пришла к правильному ответу. После того как веса оптимизированы, сеть можно использовать для обработки новых образцов, не входящих в обучающий комплекс изображений.
Именно при настройке весов таким образом, чтобы сеть в конечном счете могла почти всегда выдавать верный ответ, вступает в действие знаменитый алгоритм обратного распространения. В сложной системе глубокого обучения может
