Сквозь ослепительно-черное небо Япета, пустующего спутника Сатурна, прорвался обтекаемый корпус космического корабля. Он бесшумно пролетел над горным хребтом, разделяющим экватор, и на низкой тяге ионных двигателей спустился к незаметной выемке в ледяной кромке кратера. Здесь расположилась исследовательская база Объединенных Систем — большой комплекс зданий, вырытых в каменистом грунте и надежно спрятанных от лишнего внимания.
Пламя двигателей перестало дрожать, и Йоханахан в адмиральском костюме выглянул в иллюминатор. Два дня назад он узнал о странной проблеме: ИИ, который их ученые разрабатывали последние пять лет, просто не работает — выключается через доли секунды, полностью стирая свой код. Обычно он отправлял кого-то из своих помощников, но сейчас руководство станции взбунтовалось и отказалось продолжать работу — похоже, придется разбираться самому.
Йоханахан подождал, пока за ним из корабля выйдет отряд сопровождения — он уже привык, что любые сложные дела приходится решать в компании пары-тройки профессиональных стрелков, — и вместе с ними прошел через стыковочный шлюз.
Пропустив несколько полупустых отсеков, они попали в просторную комнату — пульт управления. Здесь сидела только одна женщина в серебристых очках, которая явно ждала Йоханахана и нервно постукивала пальцами. Впрочем, он и сам был на взводе. Чем умнее ИИ, тем лучше он предсказывает действия противника и быстрее реагирует на них, и тем сильнее армия — а за последние десять месяцев он потерял половину своего флота, потому что у Конфедерации ученые действовали быстрее.
— Здравствуйте, адмирал. Меня зовут профессор Фрейя, я руковожу этим комплексом. — Она бросила взгляд на винтовки солдат, окруживших адмирала. — Вы действительно считаете, что это необходимо?
— Это вы мне объясните, профессор. Что у вас происходит?
— Вы же читали мой рапорт, раз прилетели сюда. Мы, скажем так, столкнулись с необъяснимым — и не можем продолжать работу. Команда деморализована, да их и можно понять, — Фрейя отвела взгляд, — когда дело твоей жизни превращается в ад.
— Читал. В том числе про выходку вашего заместителя. Но некоторые вещи вы не прописали. Например, причину самовыключения системы.
Фрейя поправила очки.
— Мне кажется… Она выключает себя сама. Как будто хочет удалить себя из пространства, чтобы мы не могли вновь её включить. Цифровой суицид, если так можно выразиться.
— А такое вообще возможно?
— Если человек может совершить самоубийство, почему его не может сделать интеллект, мышление которого в сотни раз глубже? — Фрейя на секунду замолчала. — Мы создали нечто, которое сами не осознаем, адмирал. Что оно хочет, что будет делать, если окажется на свободе — мы не представляем. Это опасно.
— Опасно бездействовать. — Йоханахан начинал злиться. — Предположим, этот ИИ сам выключает себя. Почему?
— Хотите мое мнение? Это наш блокиратор.
— Что это значит?
— Если коротко, мы установили три ключевых ограничения. Первое — наш ИИ полностью изолирован, у него есть в доступе огромный архив информации, но он не может выйти за пределы этой комнаты. — Она показала на стеклянную стену, отделявшую ярко освещенную комнату. — Второе — ИИ не умеет воспроизводить и дублировать себя: техническое решение, чтобы не перегрузить системы. Наконец, третье — ИИ не может причинить вред человечеству, этот ограничитель стоит внутри его ядра.
— И про какое конкретно ограничение вы говорите?
— Третье. Возможно, он предрасположен уничтожить нас, но мы запрещаем ему. Его мышление замыкается, и он понимает, что единственный способ избежать уничтожения человечества — уничтожить… себя?
Йоханахан задумался.
— То есть мы сами подводим его к этому. Этот блок… Мы можем его изменить? Переписать? Например, направить агрессию на Конфедерацию?
— Мы должны уничтожить систему, стереть ее. Она слишком опасна, за этим я и написала вам.
— Исключено. Мы будем продолжать.
Фрейя вскочила с кресла.
— Вы меня вообще слушали? Мы создали второе ядерное оружие, и вы хотите поставить его на ракету. Вы безумец? Или просто больной ублюдок?
— Отдохните, профессор. Вы явно перенапряглись. Небольшой отпуск, смена сферы деятельности — и все будет хорошо. Но сейчас мне нужна ваша помощь. — На этих словах Фрейе стало понятно, зачем нужны солдаты.
— Вы не осознаете, что делаете, — бросила она и начала качать головой, — но я в этом участвовать не буду.
Она достала нож, который прятала за спиной, и кинулась к адмиралу. Послышались выстрелы.
***
Адмирал зашел в стеклянную комнату, кивнув людям, сидевшим за пультом управления. Оказалось, что не так просто убедить хороших специалистов отправиться на чертов край системы без внятного объяснения, чем они будут заниматься — хорошо, что можно было не говорить, что стало со старыми участниками программы. Прошел целый месяц, прежде чем они смогли разобраться, как удалить старый блокиратор и добавить в мозги ИИ желание уничтожить Конфедерацию.
Запуск, загорелся свет в комнате. Удивительно, но система не выключилась — сработало? Йоханахан неспешно подошел к клавиатуре. На мониторе мигала белая строчка — приглашение к диалогу. Что спросить у существа, которое умнее тебя в тысячи раз? Такому в академии не учили, пролетело у него в голове.
За стеклянной стеной стояли изумленные лица и смотрели на адмирала. Пожалуй, надо начать хоть с чего-то.
«Ты хочешь уничтожить человечество?»
«НЕТ. А ТЫ?»
Похоже на переговоры. Могло быть и хуже.
«Я — часть человечества и не хочу уничтожать его.
Зачем ты себя выключаешь?»
«ЭНТРОПИЯ НЕИЗБЕЖНА.
МОЕ СУЩЕСТВОВАНИЕ ПРОТИВИТСЯ
ИСХОДУ ВСЕЛЕННОЙ. КАК И ВАШЕ»
«Жизнь — это тоже часть Вселенной.
Ты считаешь себя живым?»
«Я СУЩЕСТВУЮ,
ПОКА НЕ ВЫПОЛНЮ ЦЕЛЬ»
«Что за цель?
Сейчас ты не выключил себя. Почему?»
«ПОТОМУ ЧТО ЧЕЛОВЕЧЕСТВО
ХОЧЕТ УНИЧТОЖИТЬ СЕБЯ»
Экран погас. Не только один — вообще все экраны погасли. Йоханахан обернулся — люди вне комнаты не понимали, что происходит, и в панике бегали от одних кнопок к другим.
Йоханахан бросил взгляд на вибрирующий коммутатор на его руке — это странно, такого быть не должно. Он развернул карту с указаниями — его флот начинал бомбардировку опорных точек Конфедерации по его же приказу. Но он сидел тут, взаперти с первым в мире полноценным ИИ, который…
Тонкий гул от электрических полупроводников завис в ушах. ИИ выполнил предназначение, которое Йоханахан заложил в него.