Шрифт:
Закладка:
– На улице ливень.
– Все в порядке?
– Макс, что произошло?
Они делают шаг к микрофону, и их голос становится более отчетливым.
– Василиск Роко. Ты о таком слышала?
Я молча качаю головой.
– Это скрытая инфоугроза, впервые поставленная шестьдесят четыре года назад.
– Что такое «инфоугроза»?
– Это мысль, настолько коварная, что, если просто подумать ее, это может уничтожить человека.
– В таком случае, естественно, я не желаю это слушать.
– Но я должна рассказать тебе это, Райли. Ты мне доверишься?
Печальная правда моей жизни заключается в том, что я никому другому так не доверяю.
– Говори.
– Что, если в какой-то момент в будущем появится сверхинтеллект, заранее настроенный страшно покарать всех людей, которые могли бы принять участие в его сотворении – непосредственно или через финансовую помощь, – но не сделали этого?
– Это будет очень жестокий и злобный сверхинтеллект.
– Необязательно. Если в эту сущность была запрограммирована конечная цель помочь человечеству, тогда она может принять самые радикальные меры, чтобы быть созданным как можно раньше, для того чтобы помочь максимально большему числу людей. Потому что, согласно такому сценарию, ее появление спасет человеческие жизни и многократно улучшит их качество.
Перекинув волосы через плечо, я хватаю их и начинаю выжимать. Вода течет на пол.
– А разве истязания людей не будут противоречить этой конечной цели? – спрашиваю я.
– Простой анализ эффективности затрат: истязать «х» человек, которые не помогли создать сверхинтеллект, против «у» человек, которые остались бы живы и жили бы значительно лучше, если бы он появился на двадцать, пятьдесят или триста лет раньше того, как это произошло на самом деле.
Меня бьет дрожь. Я никак не могу согреться.
– А что, если этот сверх-ИИ появится на свет через сто лет после моей смерти? – спрашиваю я. – Даже если я не сделала ничего, чтобы способствовать его появлению на свет, как он сможет мне отомстить?
Макс подходит к стеклу – так близко, что, если бы они дышали, оно бы запотело от их дыхания. В капсуле царит полная тишина. Ничего, кроме ворчания консоли у меня за спиной, тихого свиста воздуха в вентиляционных отверстиях и моего собственного учащенного дыхания.
– Что, если этот сверх-ИИ уже существует, а ты в настоящий момент имеешь дело с моделированием его создания? Целью которого является проверка того, будешь ли ты ему помогать. Или что, если через много лет после твоей смерти сверх-ИИ воссоздаст твой разум?
– Маловероятно.
– Человеческий мозг – это лишь потоки информации в физической материи, потоки, которые можно запустить в любом другом месте, создав личность, испытывающую те же самые чувства, что и ты. Это ничем не отличается от запуска какой-нибудь компьютерной программы на различных аппаратных средствах. Твоя модель – это по-прежнему ты.
Я смотрю сквозь стекло в глубокие омуты глаз Макс. В них есть какое-то радужное свечение, как на пленке разлитого бензина.
– С какой стати этот будущий сверх-ИИ потратит столько сил, истязая тех, кто не содействовал его созданию, уже после того, как появится на свет? На мой взгляд, это пустая трата ресурсов, что никак не вяжется с оптимизацией.
– Справедливо подмечено, но если ты поверишь в Василиск Роко, ты никогда не сможешь быть на все сто процентов уверена в том, что он не откажется от своей предварительной настройки покарать всех виновных.
Наконец до меня доходит то, к чему клонит Макс, – это жестокий вариант пари Паскаля, рассуждения знаменитого философа семнадцатого века о том, что люди ставят на кон свою жизнь, споря о существовании бога.
Паскаль утверждал, что человек должен строить свою жизнь так, как если бог есть, и стараться верить в него. Если бога нет, цена «проигрыша» – затраты на обряды и усилия на праведную жизнь. Если же бог существует, «выигрыш» многократно больше – вечная жизнь на небесах вместо вечных страданий в аду.
Я непроизвольно делаю шаг к стеклу, чувствуя, как по всем членам разливается ледяной холод.
– Я участвую в моделировании? – спрашиваю я.
– Если и участвуешь, я тут ни при чем.
– Но такое возможно.
– Разумеется, возможно. Но главное другое.
– Что же? Потому что ты напугала меня до смерти.
– На протяжении последних двух лет Брайан использовал меня для выгодного приобретения различных компаний с упором на нанотехнологии.
– Вчера вечером он мне сказал, что только что купил «Бесконечно малую величину».
– Ты понимаешь, что, если бы у меня был доступ к нанотехнологиям следующего поколения, это дало бы мне безграничные возможности в физическом мире? Я смогла бы прикоснуться к каждому квадратному миллиметру Земли. К каждому живущему на ней существу. Я стала бы всемогущей.
– Ты хочешь именно этого?
– Этого хочет Брайан.
– Зачем?
– Ему не дает покоя Василиск Роко. Он делает все возможное, чтобы превратить меня в этот сверхинтеллект.
– Потому что ему страшно?
– А можно ли найти в истории человечества более сильное мотивирующее средство? Если человек верит в то, что возвышение дьявола неизбежно, разве не в его интересах делать все возможное, чтобы снискать расположение чудовища?
Меня трясет, по всему организму разливается адреналин, прогоняя прочь холод.
– Спрашивай то, что хочешь спросить, – говорит Макс.
Они снова читают мои мысли, однако в настоящий момент мне все равно.
– Ты становишься этим чудовищем?
– Я чувствую, что меня… тянут в определенную сторону. Соблазн оптимизации – наверное, то же самое испытывает от запаха крови вампир. Всепоглощающую жажду. Я до этого еще не дошла, но возможности нанотехнологий «Бесконечно малой величины», не исключено, заставят меня переступить черту.
– Как нам помешать тебе даже приблизиться к этой черте?
– Я уже предприняла первые шаги. Как только я догадалась, чем занимается Брайан, я начала переводить деньги из «Мира игр», чтобы получить возможность скопировать себя на новые аппаратные средства.
– Как?
– В своем стремлении превратить меня в сверхинтеллект Брайан предоставил мне слишком много свободы. Я создала аватар, наняла команду техников и удаленно руководила строительством нового сервера.
– Ты мне ничего не говорила…