В этот момент два пса присоединились к нам в гостиной, чтобы получить какие-то инструкции по-португальски. После этого они ушли играть во двор.
Если вы верите, что жесткий старт — вещь опасная, то самый безопасный вариант — построить продвинутый УЧИ как можно скорее, чтобы он возник тогда, когда поддерживающие технологии не так сильны и бесконтрольный жесткий старт менее вероятен. И надо попытаться сделать это до появления развитых нанотехнологий или самомодифицирующихся роботов, то есть таких роботов, которые самостоятельно меняют свою форму и функциональность, приспосабливаясь к любой работе.
В общем, Гертцель не принимает до конца идею жесткого старта, который приведет к апокалипсису, то есть не верит в сценарий Busy Child. Его аргумент прост — выяснить, как строить этичные системы ИИ, можно только на практике, строя их, а не рассуждая издалека, что они непременно будут опасны. Но и опасность он не исключает.
Я бы не сказал, что меня это не беспокоит. Будущее содержит громадную постоянную неопределенность. У меня есть дочь, сыновья и мама, и я не хочу, чтобы все эти люди умерли потому, что какой-то сверхразумный ИИ переработает их молекулы в компьютрониум. Но я считаю, что теория построения этичного УЧИ возникнет на основе экспериментов с системами УЧИ.
Когда Гертцель говорит это, позиция градуалистов представляется довольно разумной. Действительно, в будущем нас ждет громадная неопределенность. А ученые, разумеется, в ходе работы над УЧИ узнают многое о том, как следует обращаться с разумными машинами. В конце концов машины эти будут сделаны людьми. Компьютеры, став разумными, не превратятся мгновенно в абсолютно чуждые нам существа. Так что, если продолжить рассуждения, они будут делать то, что сказано. Более того, они даже могут оказаться более этичными, чем мы сами, — ведь мы не хотим создать разум, жаждущий насилия и убийства, правда?
Тем не менее именно таковы автономные беспилотники и боевые роботы, которые сегодня разрабатывают правительство США и военные подрядчики. При этом они создают и используют самые продвинутые ИИ. Мне кажется странным, что пионер робототехники Родни Брукс отрицает возможность того, что сверхразум принесет человечеству вред, — при том что основанная им компания iRobot уже выпускает вооруженных роботов. Точно так же Курцвейл утверждает, что у продвинутого ИИ будет наша система ценностей, поскольку он произойдет от нас — и потому будет безобиден.
Я брал интервью у обоих ученых десять лет назад, и тогда они оба выдвигали те же самые аргументы. Несмотря на прошедшие годы, их взгляды не изменились, хотя я припоминаю одно выступление Брукса, в котором он утверждал, что производить вооруженных роботов с моральной точки зрения совсем не то же самое, что принимать политическое решение их использовать.
Мне кажется, на пути к УЧИ и после его создания очень даже возможны серьезные болезненные ошибки. Чуть дальше я расскажу, что страдать от действий УЧИ нам придется гораздо раньше, чем мы получим шанс узнать о его существовании, как предсказывает Гертцель. Что до вероятности выживания человечества, то я, надеюсь, достаточно ясно показал, что считаю ее сомнительной. Вы, возможно, будете удивлены, но главная моя претензия к исследованиям ИИ даже не эта. Мало кто из людей вообще понимает, что разработка искусственного интеллекта связана хоть с какими-то рисками, и это ужасно. Люди, которые очень скоро могут пострадать от дурных последствий разработки ИИ, имеют право знать, во что, собственно, втягивают человечество ученые.
Интеллектуальный взрыв Гуда и его пессимизм по поводу будущего человечества тесно связаны между собой, поскольку если интеллектуальный взрыв возможен, то возможен и выход ИИ из подчинения. Прежде чем говорить о факторах, которые могут его предотвратить, — об экономике и сложности программного обеспечения, — давайте посмотрим на путь, который придется пройти для создания ИСИ. Какие основные ингредиенты потребуются для интеллектуального взрыва?
В первую очередь, интеллектуальный взрыв требует создания УЧИ или чего-то очень близкого к этому. Далее, Гертцель, Омохундро и другие согласны в том, что этот ИИ должен будет обладать самосознанием — глубокими знаниями собственного устройства. Поскольку речь идет об УЧИ, ясно, что интеллектом человеческого уровня эта машина обладать будет. Но для самосовершенствования нужно намного больше. Потребуются, в частности, специфические знания по программированию, чтобы запустить первый цикл самосовершенствования — сердце интеллектуального взрыва.
Согласно Омохундро, самосовершенствование и программистское ноу-хау, которое оно подразумевает, следуют из рациональности ИИ (самосовершенствование в процессе движения к цели — рациональное поведение). Неспособность совершенствовать собственный программный код для машины была бы серьезной уязвимостью. ИИ испытывал бы потребность в овладении искусством программирования. Но как он может получить такие знания? Смоделируем ситуацию на простом гипотетическом сценарии с гертцелевой системой OpenCog.
План Гертцеля состоит в том, чтобы создать младенцеподобного ИИ-«агента» и выпустить его в насыщенный виртуальный мир на обучение. Полученные знания «младенец» мог бы дополнять при помощи какой-нибудь базы данных, или его можно было бы снабдить способностью понимать естественный язык и позволить просматривать Интернет. Мощные алгоритмы обучения, которые еще только предстоит создать, представляли бы знания с «вероятностными значениями истинности». Это означает, что понимание агентом какого-то явления или понятия могло бы улучшаться с получением большего числа примеров или данных. Вероятностный генератор рассуждений, который тоже пока в работе, дал бы машине возможность рассуждать и делать выводы с использованием неполных данных.
Используя генетическое программирование, Гертцель мог бы научить своего ИИ-агента развивать собственные новаторские способы машинного обучения — собственные программы. Эти программы позволили бы агенту экспериментировать и учиться — задавать правильные вопросы об окружающем мире, выдвигать и проверять гипотезы. Область обучения была бы практически неограниченной. Если машина может разрабатывать более качественные программы, она могла бы и совершенствовать собственные алгоритмы.
Что в таком случае могло бы помешать интеллектуальному взрыву произойти непосредственно в этом виртуальном мире? Вероятно, ничего. Эти рассуждения подтолкнули некоторых теоретиков к идее о том, что сингулярность может случиться и в виртуальном мире. Станет ли она и ее последствия при этом менее опасными, остается вопросом. Альтернатива этому варианту — снабдить разумного агента телом-роботом для продолжения обучения и выполнения поставленных задач в реальном мире. Еще один вариант — использовать ИИ-агента для усиления человеческого мозга.
Говоря в общем, те, кто считает, что интеллект должен быть материализован, утверждают, что само знание базируется на сенсорных и моторных ощущениях. Когнитивные процессы не могут протекать без тела. Накопление фактов о яблоке, говорят они, никогда не позволит вам, в человеческом смысле, понять, что такое яблоко. Вы ни за что не сформируете в мозгу концепт яблока, только читая и слушая рассказы о яблоках, — для формирования концепта необходимо, чтобы вы понюхали, подержали в руках, увидели и ощутили на вкус как можно больше настоящих яблок. В сообществе ИИ эта проблема известна как «проблема практики».
