над здравоохранением, образованием, правоохранительными органами и многими другими сферами, проблема выравнивания будет становиться все более актуальной. Если мы не найдем способов ее решения, последствия будут гораздо хуже, чем если бы алгоритмы набирали очки, катаясь на лодках по кругу.

 

КОРСИКАНСКАЯ СВЯЗЬ

Как решить проблему выравнивания? Теоретически, когда люди создают компьютерную сеть, они должны определить для нее конечную цель, которую компьютеры никогда не смогут изменить или проигнорировать. Тогда, даже если компьютеры станут настолько мощными, что мы потеряем над ними контроль, мы сможем быть уверены, что их огромная сила принесет нам пользу, а не вред. Если, конечно, не окажется, что мы определили вредную или расплывчатую цель. И вот тут-то и кроется загвоздка. В случае с человеческими сетями мы полагаемся на механизмы самокоррекции, которые периодически пересматривают и пересматривают наши цели, поэтому постановка неправильной цели - это не конец света. Но поскольку компьютерная сеть может выйти из-под нашего контроля, если мы поставим перед ней неверную цель, то обнаружим свою ошибку, когда уже не сможем ее исправить. Кто-то может надеяться, что в процессе тщательного обсуждения мы сможем заранее определить правильные цели для компьютерной сети. Однако это очень опасное заблуждение.

Чтобы понять, почему невозможно заранее договориться о конечных целях компьютерной сети, давайте обратимся к теории войны Клаузевица. В том, как он приравнивает рациональность к согласованности, есть один фатальный недостаток. Хотя клаузевицкая теория требует, чтобы все действия были согласованы с конечной целью, она не предлагает рационального способа определения такой цели. Рассмотрим жизнь и военную карьеру Наполеона. Какой должна была быть его конечная цель? Учитывая преобладающую культурную атмосферу Франции 1800 года, мы можем придумать несколько альтернатив "конечной цели", которые могли бы прийти в голову Наполеону:

ПОТЕНЦИАЛЬНАЯ ЦЕЛЬ № 1: Сделать Францию доминирующей державой в Европе, защищенной от любого будущего нападения со стороны Британии, империи Габсбургов, России, объединенной Германии или объединенной Италии.

ПОТЕНЦИАЛЬНАЯ ЦЕЛЬ № 2: Создание новой многонациональной империи, управляемой семьей Наполеона, которая включала бы в себя не только Францию, но и множество других территорий как в Европе, так и за океаном.

ПОТЕНЦИАЛЬНАЯ ЦЕЛЬ № 3: Добиться вечной славы для себя лично, чтобы даже спустя столетия после его смерти миллиарды людей знали имя Наполеона и восхищались его гением.

ПОТЕНЦИАЛЬНАЯ ЦЕЛЬ НОМЕР 4: Обеспечить искупление своей вечной души и попасть на небеса после смерти.

ПОТЕНЦИАЛЬНАЯ ЦЕЛЬ № 5: Распространение универсальных идеалов Французской революции и помощь в защите свободы, равенства и прав человека по всей Европе и миру.

Многие самозваные рационалисты склонны утверждать, что Наполеон должен был сделать миссией своей жизни достижение первой цели - обеспечение французского господства в Европе. Но почему? Помните, что для Клаузевица рациональность означает согласованность. Тактический маневр рационален тогда и только тогда, когда он согласован с какой-то более высокой стратегической целью, которая, в свою очередь, должна быть согласована с еще более высокой политической целью. Но где в конечном итоге начинается эта цепочка целей? Как определить конечную цель, которая оправдывает все стратегические подцели и вытекающие из них тактические шаги? Такая конечная цель по определению не может быть связана с чем-то более высоким, чем она сама, потому что выше ничего нет. Что же тогда заставляет рационально ставить Францию на вершину иерархии целей, а не семью Наполеона, славу Наполеона, душу Наполеона или всеобщие права человека? Клаузевиц не дает ответа.

Можно возразить, что цель № 4 - обеспечить искупление своей вечной души - не может быть серьезным кандидатом на высшую рациональную цель, потому что она основана на вере в мифологию. Но тот же аргумент можно привести и в отношении всех остальных целей. Вечные души - это интерсубъективное изобретение, существующее только в умах людей, и точно так же обстоит дело с нациями и правами человека. Почему Наполеон должен заботиться о мифической Франции больше, чем о своей мифической душе?

Действительно, большую часть своей юности Наполеон даже не считал себя французом. Он родился Наполеоном ди Буонапарте на Корсике, в семье итальянских эмигрантов. На протяжении пятисот лет Корсика находилась под властью итальянского города-государства Генуи, где жили многие предки Наполеона. Лишь в 1768 году - за год до рождения Наполеона - Генуя уступила остров Франции. Корсиканские националисты воспротивились передаче острова Франции и подняли восстание. Только после их поражения в 1770 году Корсика официально стала французской провинцией. Многие корсиканцы продолжали возмущаться захватом острова Францией, но семья ди Буонапарте присягнула на верность французскому королю и отправила Наполеона в военную школу на материковой части Франции.

В школе Наполеоне приходилось терпеть издевательства со стороны одноклассников за свой корсиканский национализм и плохое знание французского языка. Его родными языками были корсиканский и итальянский, и хотя он постепенно стал свободно говорить по-французски, у него на всю жизнь сохранился корсиканский акцент и неспособность правильно произносить французские слова. В конце концов Наполеоне поступил на службу во французскую армию, но когда в 1789 году разразилась революция, он вернулся на Корсику, надеясь, что революция даст возможность его любимому острову получить большую автономию. Только рассорившись с лидером корсиканского движения за независимость Паскуалем Паоли, Наполеон отказался от корсиканского дела в мае 1793 года. Он вернулся на материк, где решил строить свое будущее. Именно на этом этапе Наполеоне ди Буонапарте превратился в Наполеона Бонапарта (он продолжал использовать итальянский вариант своего имени до 1796 года).

Почему же тогда Наполеону было рационально посвятить свою военную карьеру превращению Франции в доминирующую державу в Европе? Может быть, рациональнее было остаться на Корсике, уладить личные разногласия с Паоли и посвятить себя освобождению родного острова от французских завоевателей? А может, Наполеону и в самом деле стоило сделать миссией своей жизни объединение Италии - земли его предков?

Клаузевиц не предлагает никакого метода рационального ответа на эти вопросы. Если наше единственное правило - "каждое действие должно быть согласовано с какой-то высшей целью", то по определению не существует рационального способа определить эту высшую цель. Как же тогда обеспечить компьютерной сети конечную цель, которую она не должна игнорировать или подрывать? Руководители и инженеры, которые спешат разработать ИИ, совершают огромную ошибку, если думают, что существует рациональный способ указать этому ИИ его конечную цель. Им следует извлечь уроки из горького опыта поколений философов, которые пытались определить конечные цели и потерпели неудачу.

 

КАНТИАНСКИЙ НАЦИСТ

На протяжении тысячелетий философы искали определение конечной цели, которая не зависела бы от соответствия некой высшей цели. Их внимание неоднократно привлекали два потенциальных решения, известные на философском