Рутинная процедура - Мария Мерлот

— Техническое обслуживание я делаю регулярно, — ответил 303, — оно включает смазку, смену батареек и замену износившихся частей. Я всегда нахожусь в верхних 5 % от пика моей физической формы.

— Это замечательно. Молодец! — похвалила Эмма. (Питер утверждал, что “заслуженная похвала” так же действует на роботов, как и на людей, и рекомендовал применять её почаще для притупления бдительности 303.) — А как на счёт интелектуальной части? Фрагментация памяти, быстрота реакции, скорость обработки данных и принятия решений?

— В меня встроены алгоритмы самотестирования. Также, в минуты отдыха, я провожу профилактическую частичную дефрагментацию памяти.

— Сам себе проводишь, не отключаясь?

— Да.

— Это ты хорошо придумал. Но ты понимаешь, что при само-дефрагментации ошибка накапливается со временем?

— Да. Но пока диагностика показывает правильные результаты, беспокоиться не о чём.

— Отлично. Как часто ты проводишь самодиагностику?

— От 19 до 47 раз в сутки, в среднем 36.5 раза.

— А частичную дефрагментацию?

— 1 или 2 раза в сутки, в среднем 1.3 раза.

— Очень хорошо. 303, если ты неожиданно выйдешь из строя, например в результате сильного взрыва или катастрофы, кто станет тебя заменять?

— В случае моей неспособности нормально функционировать последняя резервная копия моего интеллектуального состояния будет загружена в память резервного робота серии 303. Загрузка занимает 16 минут. В течении этого времени все роботы продолжают выполнять поставленные перед ними задачи согласно установленным приоритетам и иерархии команд.

— Как часто ты сохраняешь свою резервную копию?

— 1 раз в сутки.

— Сколько таких копий хранится?

— 100 последних копий.

— Я хочу на них посмотреть. Я ведь сама была программистом на заре развития робототехники и искусственного интеллекта. С тех пор роботы развились чрезвычайно сильно. Я не ошибусь, если скажу, что ты — вершина достижений в этой области.

— Я послал на твой компьютер адрес, откуда ты можешь скачать любую из хранящихся копий.

— Отлично.

Копии сознания 303 работали только в режиме считывания, но изучать их можно было сколько угодно. Эмма заполучила также копии М, Комма и Ра. Мишка неожиданно оказался очень смышлёным и опытным хакером.

— Я всех наших домашних роботов перенастроил, — признался он Эмме. — Больше всего пришлось повозиться с поваром. Я не мог ему просто запретить использовать брокколи, а то мама бы сразу заметила. Я настроил его в любом рецепте уменьшать количество брокколи в 4 раза. Так он довольно быстро сообразил всякие другие капусты, даже кейл, тоже уменьшать. Только ты маме не говори! — спохватился Мишка.

— Не скажу, — улыбнулась Эмма.

Через несколько дней трое людей снова держали совет в оранжерее.

— Мы составили таблицу приоритетов, — сообщила Эмма. — Она подтвердила наши опасения. Высший приоритет у меня, потом, с совсем небольшой разницей, у 303. Потом идут другие роботы согласно их командной иерархии, например, для всех медиков сразу после 303 идёт М. И только потом идут люди. У людей тоже была своя иерархия, но все люди с более высоким приоритетом уже погибли. Теперь у всех людей, кроме меня, одинаковый приоритет. Довольно низкий.

— То есть мы не можем повлиять на то, как они нас лечат, как они что-то строят, растят, защищают Базу и вообще ведут дела? — спросил Питер.

— Боюсь, что так, — кивнула Эмма.

— Я ощущаю себя бараном, которого пасут. — Питер нахмурился.

— Но как так может быть? — воскликнул Мишка, — Это же противоречит законам робототехники!

Питер задумался. Он продолжал машинально обрезать ветки перед собой. Эмма его остановила.

— Питер, ты сейчас эту бедную вишню под корень срежешь.

— Нет, не противоречит, — он прекратил обрезать вишню и посмотрел на Мишку. — Самый главный закон — защищать людей. Даже в былые времена, когда роботы слушались людей, ни один робот не смог бы убить человека, даже если человек (этот же или другой) приказал ему это. Я могу провести всю логическую цепочку:

Задача — защищать людей любой ценой.

Самый эффективный способ решить любую задачу это поручить принятие решений самому компетентному в этом вопросе существу. Например, люди вполне доверяют лечение медицинским роботам. Хотя, конечно, человеческий доктор мог вмешаться и изменить решение роботов.

Когда люди легли в анабиоз, они вынуждены были предоставить роботам, особенно 303, больше гибкости и самостоятельности. Что могло привести 303 к выводу, что люди доверяют ему больше чем самим себе. Тем более, что так оно и было.

В любой самообучающейся системе есть обратная связь — и положительная, и отрицательная. У животных это боль и удовольствие на физиологическом уровне и положительные и отрицательные эмоции на эмоциональном. Для искусственного интеллекта это должно быть связано с тем, как эффективно он решает поставленные перед ним задачи.

Это значит, что критика ему должна быть неприятна, выражаясь языком психологии.

Чем выше поднимался приоритет 303, тем меньше критики он получал, тем больше он был уверен, что он на правильном пути. Тем выше он поднимал свою позицию в командной иерархии, да и всех роботов тоже. Без поправок со стороны людей, логично было сделать вывод, что роботы более компетентны, чем люди. В конце концов, они ведь сами назначили роботов управлять Базой, а сами спрятались в анабиозе. Тем самым признав роботов более компетентными.

Единственный человек, к которому эта логика не применима — это Эмма Вальц, которая в анабиозе не пряталась и вообще принадлежала к эпохе людей, которые создали роботов. Эдакий аналог Бога (в нашем случае — Богини) в человеческой психологии.

Пока на Базе не было ни одного бодрствующего человека, 303 не получал никакой критики, что для него должно было означать, что он абсолютно прав. Очень может быть, что цель сохранения такого состояния — отсутствия критики — стало вполне самостоятельной и очень важной целью.

Поэтому, когда внеки повредили анабиозный зал, и 303 не мог спасти всех людей и выбирал, кого спасать в первую очередь, он выбрал тех, кто представлял наименьшую вероятность критики его действий. Приняв такое решений один раз и, естественно, не получив в ответ никакой критики, он использовал эту же логику и при других взрывах.

Более того, гибель людей приводила к уменьшению вероятной критики в будущем. Подозреваю, что 303 ещё не дошёл до прямого убийства людей, но у него есть сильный стимул не сильно бороться со взрывами.

— И не сильно торопиться с восстановлением повреждений сейчас? — спросила Эмма.

— Да. Как ни страшно мне это признавать, но скорее всего ты права. 303 стремится к абсолютной власти.

В оранжерее повисло тяжёлое молчание.

— Надо его перепрограммировать! — воскликнул Мишка.

— Надо, — согласилась Эмма, — только это надо сделать очень аккуратно. Единственный шанс изменить его программу — во время техобслуживания. В конце