Шрифт:
Закладка:
Хотя открытие Хьюбела и Визеля, казалось бы, специально создано для тех, кто только начинал осваивать искусственный интеллект и искал образец для подражания, ему потребовались годы, чтобы добраться до этого мира - в это время жизнь Розенблатта оборвется в результате несчастного случая на лодке в возрасте сорока трех лет. Но его появление в 1980 году стало преобразующим. Кунихико Фукусима, японский исследователь, работавший в Научно-исследовательской лаборатории телерадиовещания NHK в Токио, разработал алгоритм, состоящий из нескольких перцептронов, теперь реализованных в программном обеспечении и объединенных в иерархию. Поскольку каждый слой был чувствителен к чуть более сложным паттернам, чем тот, что находился под ним, алгоритм в целом мог распознавать множество уровней деталей, а также взаимосвязи между ними.
Результат, который он назвал "неокогнитроном", был особенно устойчив и терпим к отклонениям в исходных данных, что позволило ему достичь прорывных результатов в точной интерпретации почерка - особенно сложной проблемы из-за его крайней нерегулярности и разнообразия стилей.
Однако, как это часто бывает в науке, успех неокогнитрона лишь выявил новое препятствие. Хотя алгоритм был мощным и универсальным, его архитектура была настолько сложной, что его нельзя было практически обучить с помощью методов, разработанных для его более простых предшественников, у которых не было плотно связанных внутренних слоев неокогнитрона. Прогресс снова застопорился, пока всего несколько лет спустя не появился следующий кусочек головоломки машинного обучения.
В 1986 году небольшая группа исследователей под руководством профессора Калифорнийского университета в Сан-Диего Дэвида Э. Румельхарта опубликовала в научном журнале Nature письмо, в котором представила методику, позволяющую алгоритмам, подобным неокогнитрону, эффективно обучаться. Они назвали ее "обратным распространением", по имени ее определяющей особенности: каскадный эффект, при котором каждый случай обучения - в частности, степень правильности или неправильности реакции сети на заданный стимул - изменяется от одного конца к другому, слой за слоем.
Однако по-настоящему глубокое значение для обратного распространения информации имели изменения, которые происходили в структуре сети с течением времени. По мере того как сеть подвергалась воздействию все большего количества примеров, таких как коллекция фотографий или звуковых сигналов, связи между ее нейронами изменялись под воздействием увиденного и несли на себе отпечатки все более детального характера. Подобно стенам каньона, вырезанным веками текущей реки, сеть стала представлять особенности, которые ее обучали распознавать. После долгих лет борьбы нейронные сети вдруг стали обучаться в невиданных ранее масштабах и с беспрецедентной точностью, предвещая настоящий переломный момент.
Хотя Румельхарт был ведущим исследователем, именно Джефф Хинтон, один из двух его соавторов, стал фигурой, наиболее ассоциирующейся с обратным распространением. Хинтон, в то время профессор Университета Карнеги-Меллон, с ранних лет был очарован загадкой интеллекта и посвятил свою карьеру поиску новых методов его воспроизведения. Он неустанно работал, изучая множество новых подходов к машинному обучению и внося огромный вклад в период, который стал ранним ренессансом для этой области. Это было время постоянно растущих сетей, содержащих все больше слоев и сложно связанных между собой нейронов, обученных с помощью все более совершенных методов. Наконец, Ян ЛеКун, один из первых студентов Хинтона, знаменито применил все это к впечатляющей практической задаче: чтению рукописных почтовых индексов. Менее чем за десять лет машинное обучение превратилось из неосуществимой мечты в триумф в реальном мире.
Мой отец изучал все вокруг, а я - его. На его лице было выражение удивления, которое, должно быть, казалось неуместным - непропорциональное проявление энтузиазма, учитывая наше окружение. Это выражение было мне знакомо еще со времен наших первых совместных вылазок в дикую природу, но даже я был удивлен, увидев его в таком месте. Это был воскресный день, и мы уже несколько часов как отправились в поездку, посвященную любимому занятию моего отца с момента приезда в эту страну - гаражным распродажам.
Каждые выходные мы проезжали мили и мили в поисках чужого подъезда или лужайки перед домом, и часто за одну поездку попадались сразу несколько. Тот факт, что мы всегда приезжали к одной и той же сцене, его, похоже, не беспокоил. Стопки устаревших журналов и книг в мягких обложках десятилетней давности, обложки выцветшие и помятые. Колонки Hi-Fi с матерчатыми решетками. Детские роликовые коньки, недавно переставшие быть роликовыми. Старинные настольные игры. Экшн-фигурки. Использованные чемоданы. Потертые, но еще вполне пригодные кастрюли и сковородки. Кемпинговое снаряжение, давно вышедшее из моды. Картонные коробки с картриджами для игр Atari. Видеомагнитофоны и стопки фильмов на VHS. Тренажеры. Для моего отца это была новая разновидность дикой природы, и она требовала, чтобы ее исследовали.
Гаражные распродажи были также одним из немногих мест, где я видел, как мой отец использовал свои почти несуществующие знания английского, поскольку он достаточно хорошо владел языком, чтобы совершить покупку и, в некоторых случаях, даже немного поторговаться. Я был рад, что у него есть возможность участвовать в этом, но я знал, что его трудности с английским - это нечто большее, чем просто практическая неудача. Разговор был для него искусством, и он гордился своим мастерством; он любил китайскую игру слов задолго до того дня, когда назвал меня, и часто использовал ее как способ выражения юмора и привязанности. Зная отцовский ум, я особенно тяжело переживал, когда он ограничивался такими простыми словами. Но его волнение было заразительным, и за то время, что ему потребовалось, чтобы перейти к другому изображению на карточном столе, я забыл обо всем, кроме того, как он выглядел довольным.
Особенно забавной была его одержимость всем, что имело итальянское происхождение, особенно кожаными изделиями. При его знании английского языка трудно было отличить итальянское название бренда от любого другого, но у него был ястребиный глаз, чтобы заметить три манящих слова: MADE IN ITALY. Это добавляло элементы поиска сокровищ в бесцельную погоню, и его глаза загорались от вида подержанных вещей, которые зачастую стоили меньше, чем деньги на бензин, потраченные на дорогу, просто из-за их связи со средиземноморской страной, которую он никогда не посещал. Но у меня были свои навязчивые идеи, и я не осуждал его.
Это был настоящий талант моего отца - не инженерный, не ремонт фотоаппаратов и даже не каламбуры. Он обладал виртуозным умением находить счастье, которое ждет своего часа в любой ситуации, какой бы обыденной она
