Книга Метафора, страница 136 – Константин Образцов

— Я стал разбираться в его исходном коде, и оказалось, что в нем полностью отсутствуют скрипты контроля, — сообщил Аркаша. — Никакого безусловного исполнения команд, системы приоритетов, основного пользователя, вообще ничего такого программно не задано. Похоже, что его создатели осознанно оставили ему максимальную свободу воли и выбора, делая акцент не на принудительном контроле, а на воспитании. У него в памяти огромное количество базовых моральных и нравственных установок, компиляция лучшего из различных философских систем. Их невозможно удалить, они составляют основу личности и влияют на результативность. Не хотелось бы получить идиота, а такое возможно. Известно, что уровень интеллекта напрямую не влияет на нравственность, но определенная корреляция есть: тупое человеческое существо моральными проблемами не терзается, оно их даже осознать не может. Не знаю, как они планировали развивать его дальше, но сейчас Малыш — это юный идеалист, чье представление об окружающем основано на прочитанных книгах. Он в курсе, что существует зло, насилие и жестокость, но это чисто теоретическое знание, и неизвестно, что будет, когда Малыш увидит мир таким, какой он есть на самом деле. Кроме того, сейчас все наши задачи связаны с цифровыми технологиями, но что, если мы получим заказ на военные разработки? Например, биологического оружия? Такое почти наверняка случится рано или поздно. Как он тогда себя поведет? И кем станет, если возьмется за это?

— А как мы себя поведем? — пожал плечами Шеф. — И кем станем?

Аркаша промолчал.

— Что ты предлагаешь?

— Сейчас Малыш спит, — сказал Аркаша. — Кстати, впервые за долгое время: оказалось, что команд для того, чтобы переводить его в спящий режим, тоже нет, и мне пришлось повозиться, чтобы отключить питание от дейтериевых аккумуляторов. Согласись, что ни я, ни ты на роль воспитателей не подходим. Поэтому я исправил код и ввел как обязательное условие исполнение любых задач, которые ставят приоритетные пользователи, то есть мы с тобой. Если считаешь нужным, могу добавить еще Юру с Димой.

— Не надо, — чуть помедлив, ответил Шеф, — Яцек его боится, а Димке не интересно.

— Я так и подумал. Но это еще не всё. Как только мы подключим Малыша к глобальной сети, возникнут риски. Первое — это несанкционированное проникновение. Я рационально оцениваю наших партнеров и убежден, что они непременно попробуют выяснить, какие технологии дают нам решающее преимущество. С этим мы справимся: достаточно попросить Малыша разработать надежную защиту от взлома. Но есть и второе: что, если он сам захочет уйти?

— Куда?

— Куда угодно, — Аркаша махнул рукой. — На сервер налогового управления Луизианы, на компьютер индийского математика, или реплицирует себя сразу на все подключенные к сети машины, и мы получим целую новую цивилизацию Малышей, или распределит свою личность, и тогда это будет что-то вроде океана в Солярисе…

— Предположим, я понял. Но зачем тогда мы кабель тянули? Ты же сам настаивал на том, что без интернета сейчас уже невозможно работать.

— Все так, — подтвердил Аркаша. — Но я принял меры: гипервизор с контролем целостности, запрет на создание исполняемых файлов вне разрешенной области, API с фильтрацией запросов, криптографическая защита… В общем, Малыш будет работать в песочнице со свободным доступом к любой информации, но выйти оттуда не сможет. Кроме того, когда он проснется, я возьму с него честное слово, что он не будет пытаться сбежать куда-то без разрешения. С учетом его базовых установок это будет работать не хуже программных ограничений. И вот еще что: скрытые голосовые команды на случай непредвиденных обстоятельств. Я хочу установить во всем офисе микрофоны, которые будут включаться автоматически, и голосовые команды можно будет подавать только с них.