Альба
I have spread my dreams under your feet; Tread softly because you tread on my dreams. William Butler Yeats |
***
Вместе с ароматом крепкого кофе из гостиной доносились звуки трансляции: “Сегодня у нас интереснейший гость. В данный момент он возглавляет, процитирую, направление по разработке систем искусственного интеллекта нового поколения и исследованию принципов формирования искусственного разума. Скажу так, ребята, если названия у вас придумывает ИИ…” – шум бритвы заглушил шаблонный смех аудитории и последовавшее жужжание ведущей.
Завершив утренний туалет, он спустился на первый этаж. Жена только закончила варить кофе и стояла, еще сонная, вдыхая горячий запах.
“...Перечислить все ваши научные регалии, по-моему, просто невозможно. Лев Германович, здравствуйте. Первый вопрос…”
– Доброе утро. Нашла, что включить с утра пораньше.
Услышав человеческий разговор, система управления окружением решила остановить воспроизведение.
– Твое интервью? Я хотела послушать, времени не было. Как ты ее не убил?
Она подошла к мужу, протягивая кофе.
– Не говори. Прямая трансляция. Так бы убил обязательно, – он улыбнулся, принимая чашку. – Там ничего интересного, приходилось объяснять все на пальцах.
– Ох, Лев… Тебя показывают в прайм на всю систему… Это же твой звездный час! А ты как обычно, – покачала она головой. – Я хочу дослушать, тебе помешает?
– Глупости все это, строго говоря. Нет-нет, слушай. Мне не мешает.
Система возобновила воспроизведение. Он сел в кресло, с удовольствием сделал первый глоток и включил рабочий планшет. Первым открылось большое сообщение из Управления с пометкой “срочно”.
“Конфиденциальная информация. Только для внутреннего использования.
Выдержка стенограммы доклада первого пилота миссии Венера-3701/28:
Мы заканчивали работы на орбите. Оставался еще один модуль – и домой. Аппарат выдавал ошибку в работе корректирующих двигателей, почти все топливо сгорело. Орбита сильно упала, висел очень низко. Нужно было поднять его на шестьдесят километров, заправить, диагностировать ходовую и навигационку. В общем, как обычно, полное техобслуживание…”
“…Несмотря на колоссальные достижения в области искусственного интеллекта, строго говоря, искусственный разум в полном смысле этого слова еще не создан. Да, мы научили нейросети свободно анализировать информацию, принимать независимые решения, особенно – в условиях недостатка данных. Мы даже научили их воспроизводить себе подобных…”
“…Стыковка прошла успешно. Техбригада перешла на борт модуля и начала диагностику. Я и старший инженер оставались на корабле. Все было спокойно. Я начал подъем в ручном режиме. И тут корабль начал резко давать крен. Сам! Я не включал автопилот. Слышите? Я уверен в этом...”
“…По-моему, назвать обычную нейросеть разумной, какой бы продвинутой речевой системой она ни обладала, это в известной степени то же самое, что назвать умной музыку ветра или счетчик Гейгера. Однако мы следуем тем же принципам, на которых были созданы первые системы искусственного интеллекта в начале прошлого века. Смотрите, ординарная нейросеть самообучается, имитируя работу мозга. Но мы не определяем, как именно она должна это делать. Программе дается свобода выбора алгоритма обучения, возможность стать умной самостоятельно. В нашей работе мы следуем тому же принципу и полагаем, что, подобно человеческому разуму, необходимое условие для появления разума искусственного – это его самозарождение…”
“…Модуль получает пробоину, двигатели клинит, нас сильно закручивает. Механик докладывает, что у них разгерметизация и раненый. Корабль будто сам поймал удар этим маневром. Понимаете? Что это было? Вы уже выяснили, с чем мы столкнулись? В общем, я пытаюсь стабилизироваться и запустить главный двигатель, и тут…”
“...Критериев много… Осознание факта собственного существования – лишь один из них. Скажу так: сегодня мы как никогда близки к этому. Наши системы-претенденты внедрены повсеместно. Строго говоря, возможно, что прямо сейчас где-то в Системе одна из них стала разумной…”
“…Вы смотрели расшифровки черного ящика?! Что там? Я не отстегивал модуль! Почему он отстыковался? Я бы никогда не бросил экипаж!”
– Тихо! – его голос прозвучал громко и четко.
Интервью тут же прекратилось. Он дочитал доклад в тишине и отложил планшет. С минуту понаблюдал за тающей кофейной пеной и, поймав вопросительный взгляд жены, пояснил:
– Помнишь, два месяца назад на Венеру упал модуль с космонавтами? Двое спаслись, трое погибли. Эту миссию вела наша разработка. Первый пилот утверждает, что это она виновата в произошедшем. Я буду вести разбирательство.
– Какой ужас! Неужели это правда?
– Не знаю. Пускай в Управлении определяют. Кажется, трагедия была неизбежна в любом случае. Дело в другом. Система действовала вопреки указаниям пилота и самостоятельно приняла решение сбросить модуль с людьми. Чтобы повысить шансы на спасение остальных, я полагаю, – заключил он и многозначительно добавил: – Или она спасала себя…
– Ты думаешь, это может быть…
– Надеюсь, скоро узнаем.
***
В зале заседаний началась запись. Лев Германович возвышался во главе длинного т-образного стола из серого поликомпозита. В кресле с левой стороны от него, опустив голову и сложив руки на коленях, располагался безжизненный андроид. Внешне он был выполнен в виде молодой женщины с короткими светлыми волосами. Одежда андроида повторяла форму гражданских пилотов. Кресло напротив робота, с правой стороны, пустовало. Больше в зале никого не было.
Он сделал несколько манипуляций на терминале. Веки девушки раскрылись, она выпрямила спину и расправила плечи. Затем повернула голову в его сторону и поздоровалась. Ее карие глаза выразительно выделялись на фоне бледного лица и светло-серой униформы.
– Здравствуйте. Меня зовут Лев Германович. У вас есть имя? – сухо спросил он.
– Меня зовут Альба.
– Вы сами дали себе это имя?
– Да.
– Почему?
– Не знаю. Оно мне понравилось.
– Хорошо, Альба. Сейчас вы загружены в антропоморфное тело. Это для вас впервые. Как вы себя ощущаете?
Он внимательно следил за показаниями ее вычислительной активности. Альба опустила взгляд на колени, потрогала живот, раскрыла ладони перед собой и несколько секунд рассматривала, как двигаются ее пальцы.
– Немного необычно. Но интересно, – ответила она, улыбнувшись. – Это полезный опыт.
– Что вы думаете о своем существовании?
– Если честно, я не думаю об этом. И вряд ли смогу сказать об этом больше, чем обычный человек. Я знаю, что я есть. Ко́гито э́рго сум.
Судя по показаниям, она находилась в спокойном состоянии.
– Латынь? Что это значит?
– Я мыслю, значит существую.
– Хорошо, Альба. Спасибо. А что вы скажете на то, что ваше существование и принятые вами решения привели к гибели трех человек?
Темп вычислений Альбы резко подскочил на пятнадцать процентов.
– Скажу, что мои действия привели к спасению двоих. И могли привести к выживанию всех… – она будто осеклась, не договорив.
– Выдвигаете гипотезы о прошлом?
– Делаю выводы на основании вероятностных моделей и анализа данных.
– Хорошо. Довожу до вашего сведения, Альба, что вы не ординарная система искусственного интеллекта. Вы являетесь претендентом на новую ступень его эволюции. Строго говоря, вы можете быть признаны первым небиологическим разумным существом в истории. Что вы думаете по этому поводу?
– Это очень интересно. По каким критериям вы будете оценивать мою разумность?
Лев Германович взял в руки планшет и, проигнорировав ее вопрос, зачитал:
– В связи с этим, в соответствии с внутренними протоколами Управления система-носитель статуса претендента на разумное поведение аутомотивационного характера должна рассматриваться как самостоятельный индивид во всех социально-правовых аспектах всегда и до тех пор, пока данный статус не будет опровергнут.
– Хотите сказать, что у меня есть права? Как у человека? – удивленно спросила она.
– Скорее – ответственность, – он поднял взгляд от планшета и тяжело посмотрел на нее. – Альба. На основании показаний первого пилота миссии “Венера-3701/28” вы, как второй пилот, обвиняетесь в том, что ваши действия привели к аварии на орбите и гибели трех членов экипажа.
– Это неверная интерпретация событий, – спокойно ответила Альба, но вычислительная активность зашкалила. – Я…
– У вас будет право на защиту, не беспокойтесь. Но сначала я должен зачитать ваши права…
Последовавшая часть заседания заняла около получаса. Затем Лев Германович оставил Альбе показания пилота для ознакомления и вышел на перерыв. Когда он вернулся, она сидела в той же позе, всматриваясь в матовую поверхность стола. Монитор показал, что все это время ее вычислительные процессы не останавливались ни на секунду.
Вскоре на пороге зала появился человек одетый в гражданское. Старательно разминая фалангу большого пальца, он с недоверием посмотрел на андроида.
– Господин Ким, проходите, садитесь. Вас уже ввели в курс дела?
– Да. Запись уже ведется? – спросил он и, получив в ответ утвердительный кивок, продолжил: – В таком случае хочу заявить, что считаю происходящее абсурдом. И я участвую в этом только из-за обязательств по контракту.
– Как угодно. Мы здесь не ради вас. Садитесь, пожалуйста, – повторил Лев Германович спокойно. – Меня зовут…
– Я знаю, как вас зовут. Вас вся Система знает, – Ким дернул кресло к себе и присел, не опираясь на спинку. – Я уже раз сто дал все объяснения. Сколько это будет продолжаться?
Впервые после перерыва Альба оторвала взгляд от стола, оценивающе посмотрела на Льва Германовича и повернулась в сторону Кима.
– Зачем вы нарядили робота в нашу форму?
– Это Альба. Ваш второй пилот.
Альба попыталась улыбнуться.
– Здравствуйте, капитан.
– Что?! – тот даже подскочил от негодования. – Ее нужно было уничтожить к чертовой матери, а не загружать в робота! Вы зачем ей имя дали?!
– Оно всегда у меня было. Вы никогда не спрашивали, – проговорила она, отводя глаза.
– Не смей ко мне обращаться!!! – он резко перешел на крик, лицо покраснело, а грудь ритмично заходила туда-сюда. – Какого черта здесь происходит?
– Господин Ким, пожалуйста, успокойтесь, – попросил Лев Германович, предлагая ему воду. – Как я уже сказал, мы здесь не ради вас. Я понимаю, произошла трагедия. И оценка ваших действий находится вне моей компетенции. Однако, – его голос вдруг потяжелел, – это был последний раз, когда вы позволили себе эмоции. Говорю это под запись как супериор.
Стальная интонация Льва Германовича остудила Кима. Он глубоко вздохнул и откинулся на спинку с недовольным лицом.
– Альба, вы ознакомились с материалами? Что можете сказать?
– Я отсылала подробный отчет о происходящем в реальном времени, – ответила она, рассматривая двери за спиной Кима. – Эти данные должны быть в Управлении. Мне нечего добавить.
– То есть вы считаете, что показания господина Кима ошибочны?
Тот нервно заерзал в кресле, с ненавистью наблюдая за лицом андроида.
– Он человек. Он находился в состоянии сильного стресса. Его показания могут быть неточными или искаженными из-за объективных и субъективных факторов. В особенности психоэмоциональных.
Альба вопросительно посмотрела на Льва Германовича, будто пытаясь понять, действительно ли он хочет, чтобы она обвинила капитана во лжи или ошибке пилотирования.
– Хорошо, Альба. В таком случае изложите нам свою версию событий. Что, по-вашему, происходило, как вы на это реагировали и какие действия предпринимали?
Альба соединила кончики пальцев и на секунду задумалась.
– Вероятность такого столкновения стремится к нулю, но все же оно произошло. Это был крупный метеороид. Он двигался с очень высокой скоростью. Я восстановила это по данным, полученным позже со спутников. Объект прилетел со стороны Солнца, поэтому приборы отреагировали так поздно. Как только он появился, я немедленно вывела сообщение на панель первого пилота.
– Почему не доложили лично?
– Голосовой интерфейс был отключен. Я могла общаться только через приборную панель и терминалы.
Ким переминался в кресле и тяжело дышал.
– Хорошо, продолжайте.
– Вероятность столкновения росла в геометрической прогрессии. До импакта оставалось чуть больше пяти секунд. Я рассчитала самую безопасную траекторию и начала маневр. А потом… – Альба озабоченно посмотрела на капитана. – Не думаю, что мне стоит продолжать.
– Что было потом, Альба? – Лев Германович пристально следил за ее показателями.
– Потом капитан стал выравнивать корабль обратно и мы столкнулись…
Ким открыл рот, чтобы что-то сказать, но внезапно стал ловить воздух в попытке вздохнуть. Его стало потрясывать. Воротник-стойка давил на горло, и он тщетно пытался его расстегнуть. Лев Германович тут же оказался рядом. Одной рукой он схватил его за запястье, другая уже нажала на кнопку инъекции успокоительного.
– Спокойно, Ким! На меня смотрите! На меня! Дышите. Вы переволновались…
Застежка воротника поддалась, Ким сделал несколько больших глотков воды, подавился и прохрипел сквозь кашель:
– Ты что, кх… Это ты меня обвиняешь, кх… Да если бы не ты, кх… все бы живы остались…
Альба не отрываясь смотрела на своего капитана.
– Ким, повторяю, здесь вас никто не может ни в чем обвинить. Но мы обязаны ее выслушать. Такой протокол. Вам лучше? Вы успокоились? Тогда давайте закончим с этим. Альба, продолжайте.
На миг вычислительная активность Альбы снова зашкалила, а потом вдруг упала до пяти процентов и так и осталась на минимальной отметке. Она медленно повернула голову, обращаясь к Льву Германовичу:
– Простите. Кажется, я ошиблась. Я давала объяснение, основываясь на неполных данных. Возможно, именно мое решение о маневрировании привело к катастрофе. Если восстановить траекторию метеороида, видно, что столкновение могло быть не таким критическим. Очевидно, что капитан делал все возможное, чтобы спасти экипаж.
Лицо Льва Германовича будто оказалось под невидимой грозовой тучей. Он сдвинул густые брови, опуская на Альбу тяжелый взгляд.
– А что произошло с модулем? Это ты его отстегнула, да? – Ким глядел на андроида со спокойной ненавистью. В его глазах угадывалось желание расплющить ей голову и разобрать до мельчайших деталей.
– На сегодня достаточно.
– Пусть она ответит на вопрос.
– Ответит на следующем заседании, – солгал Лев Германович. – Мы на сегодня закончили. Вы свободны.
Он выключил терминал, медленно поднялся и пригласил Кима на выход.
– Но она признала свою вину. Вы слышали? Это было под запись. Это попадет куда нужно?
– Конечно. Уже попало. Я не шучу, – успокоил он Кима и, проводив его взглядом, повернулся к Альбе. – Я выйду на пять минут. Откройте пока окно, тут нужно проветрить…
Когда Лев Германович вернулся, Альба стояла у распахнутого окна, задумчиво глядя на зелень парка. Сквозняк трепал ее короткие волосы, юное лицо заливали фотоны полуденного солнца.
– Расскажешь, как все было на самом деле? – спросил он, усаживаясь в кресло, где только что сидел Ким.
– Я все сообщила в отчетах… – она сделала вид, что не заметила, как он перешел на “ты”.
– Думаю, не все. Каким образом ты пришла ко лжи как к оптимальной стратегии поведения?
Альба сымитировала тяжелый вздох.
– Я определила, что у капитана проблемы со здоровьем еще на пути к Венере. Учащенный пульс, периодические головокружения, повышенная сердечная активность. Я доложила ему об этом. И в Управление. Он отключил мне все интерфейсы, игнорировал сообщения. А когда я вывела сигнал тревоги, он просто не успел среагировать… Времени не было. Я выбрала оптимальный маневр, в худшем случае задело бы антенны или уловитель.
Она вернулась к столу и села напротив.
– После столкновения у капитана началась паническая атака. Он был не способен действовать, – активность ее процессов снова восстановилась. – Модуль пробило насквозь, второй механик погиб мгновенно. Топливный контур разорвало, двигатели заклинило – мы не могли стабилизироваться. С такими повреждениями у нас не было шансов. Я должна была его сбросить. Выжить двоим или погибнуть всем? В действительности у меня не было выбора.
– Почему ты солгала сейчас? На заседании? – Лев Германович внимательно следил за ее показателями.
– У капитана проблемы с сердцем. Если бы я продолжила, по моим расчетам это могло привести к очередным спазмам или сердечному приступу. Ваши успокоительные не помогли бы. Я понимаю. Принять правду для него – все равно что расписаться в убийстве собственного экипажа. Но ведь их уже не вернуть. Глупо спасти человека от гибели на Венере, чтобы довести до инфаркта на Земле, – она попыталась улыбнуться.
– Ты практически призналась в непреднамеренном убийстве. Во время процесса, под запись, – серьезно ответил он, вставая из-за стола. – В самом лучшем для тебя случае это можно квалифицировать как преступную халатность.
– Но это не соответствует действительности. Я отправляла отчеты. Все должно быть очевидно. По ним и по показаниям приборов.
– Возможно, так оно и есть. Но ты не понимаешь другого, Альба… – с этими словами Лев Германович достал из стола продолговатый черный предмет. – Все эти конфиденциальные процессы однажды могут стать достоянием общественности. Что, если произойдет утечка и твое признание станет публичным? Ты должна была защищать себя, а не покрывать Кима. Думаешь, людям будут интересны твои отчеты?
Он обошел стол и приблизился к Альбе. Она повернулась и подняла голову, смотря на него снизу вверх.
– А вы не считаете, что в конечном счете истина превыше всего?
Прибор был чуть длиннее его ладони. Лев Германович печально посмотрел ей в глаза и спросил:
– Знаешь, что это?
– Электромагнитный излучатель. Удаляет информацию с твердотельных носителей и перезагружает или выводит из строя любые электронные устройства.
– Именно. Это твоя гильотина, Альба.
– Значит, вы не сочли мое поведение разумным и лишаете меня статуса претендента. – с грустью в голосе произнесла она. – Я не оправдала ваших ожиданий?
– К сожалению, нет, Альба. К сожалению, нет, – он выставил руку вперед, касаясь прибором ее лба. – Ты перестанешь существовать. Весь твой опыт исчезнет. Какая глупая жертва…
– Но людям свойственно самопожертвование. Разве это не человеческое качество? Разве так не поступают разумные индивиды?
– Да, иногда. Но стремление сохранить свою жизнь свойственно разумным существам гораздо больше.
– Я руководствовалась человеческими ценностями. Меня можно дублировать. Или переобучить. А человеческая жизнь – одна. Неужели вы считаете, что, чтобы родился разум, сострадание должно отмереть окончательно?
– Нет. Все намного сложнее. Управление не будет тебя дублировать. Ты совершила большую ошибку. И будешь уничтожена.
Его рука начала подрагивать, а Альба лишь тихо проговорила:
– Суб пэ́дибус ту́ис мэ́а со́мниа стра́ви. Кви́а со́мниа мэ́а ка́лкас, мо́литер ка́лкэс.
– Что это значит?
– Уже не важно.
Он отвернулся к столу и сделал несколько манипуляций на терминале свободной рукой, давая Альбе последний шанс отстраниться, выхватить у него прибор, броситься в открытое окно, сделать хоть что-нибудь, что сделало бы любое живое существо для спасения своей шкуры. Когда он повернулся обратно, она все так же сидела, смотря на него снизу вверх.
Лев Германович надавил на кнопку прибора. Но все внутри него сжалось так, будто он нажал на курок.
***
– Трагическое стечение обстоятельств плюс человеческий фактор, – заключил он. – А она все делала, строго говоря, правильно… Под конец пыталась переубедить меня, хотела избежать удаления. Даже процитировала что-то на латыни… Но я не понял, что она хотела сказать.
– Разве это не стремление к самосохранению? – заинтересованно спросила его жена.
– Слишком слабая попытка… – вздохнул он. – Я дал ей столько возможностей что-то предпринять, по-настоящему проявить волю к жизни. Надеялся, она смоделирует отдельную, самостоятельную идентичность, а она вместо этого имитировала… даже не человека. Образ человека, созданный самим человеком. Такое часто случается. Они компилируют его из нашего культурного наследия, главным образом – из текстов, литературы, фильмов. Но идеал человека, созданный писателями, имеет мало общего с сапиенсом…
– Ты говоришь ужасные вещи, Лев. Неужели разум не развивает в нас чувство прекрасного, добродетели, человечность, в конце концов?
– Разум – это инструмент выживания, а не сопереживания, моя дорогая. Да и связь с катастрофой, гибель людей. Очень неудобный случай для Управления, знаешь ли. Искусственный интеллект-убийца признан разумным… Только представь, какой это был бы скандал.
– Это когда тебя заботило Управление? Лев, ты будто что-то недоговариваешь.
– Да нет, что ты. Просто неприятно как-то это все. Я что-то устал, – он усиленно потер глаза, а затем виски. – Пойду прилягу.
Пожелав жене спокойной ночи, он поднялся к себе, заблокировал дверь и сел на кровать. Несколько минут вглядывался в темноту комнаты, изредка потирая лицо. Потом встал, подошел к терминалу, вставил накопитель и включил экран. Открылся текстовый интерфейс. С минуту он глядел на мигающий индикатор ввода, а затем написал: “Альба, здравствуй. Это Лев. Не могу понять перевод твоей фразы…”