Система контроля
Учитывая чрезвычайную важность такого вопроса, как появление сверхразума, с точки зрения государственной безопасности, правительства, скорее всего, будут стараться национализировать любой реализующийся на их территории проект, который, по их мнению, окажется близок к стадии взлета. Мощные государства могут также пытаться присвоить проекты, начатые в других странах, — посредством шпионажа, кражи, похищения людей, взяток, военных операций или иных доступных им средств. Если не получится присвоить, будут стараться уничтожить их, особенно если страны, где они реализуются, неспособны эффективно защитить себя. Если к моменту, когда взлет окажется неизбежным, достаточно окрепнут общемировые структуры управления, может оказаться, что многообещающие проекты будут взяты под международный контроль.
Важно, однако, смогут ли национальные или международные органы заметить приближающееся взрывное развитие искусственного интеллекта. Пока непохоже, чтобы спецслужбы уделяли какое-то внимание потенциально успешным проектам в области разработок ИИ
[267]. Можно предположить, что не делают они этого в силу широко распространенного мнения, будто у взрывного развития нет никаких перспектив. Если когда-нибудь среди ведущих ученых возникнет полное согласие по проблеме сверхразума и однажды все дружно заявят, что он вот-вот появится, — тогда, вероятно, основные разведки мира возьмут под свое наблюдение научные коллективы и отдельных исследователей, участвующих в работах по этим направлениям. После чего любой проект, способный показать заметный прогресс, может быть очень быстро национализирован. Если политические элиты посчитают, что риск слишком велик, частные усилия в соответствующих областях могут подвергнуться регулированию или будут вовсе запрещены.
Насколько сложно организовать такую систему контроля? Задача облегчится, если присматривать только за лидерами. В этом случае может оказаться достаточным наблюдать лишь за несколькими проектами, лучше всего обеспеченными ресурсами. Если цель состоит в том, чтобы предотвратить проведение любых работ (как минимум за пределами специально одобренных организаций), тогда слежка должна быть более тотальной, ведь определенного прогресса способны добиться даже небольшие команды и отдельные исследователи.
Будет легче контролировать проекты, требующие значительного объема материальных ресурсов, как в случае полной эмуляции головного мозга. Напротив, труднее поддаются контролю исследования в области ИИ, поскольку для них нужен лишь компьютер, а также ручка и лист бумаги — с их помощью ведутся наблюдения и делаются теоретические выкладки. Но и в этом случае несложно выявить наиболее талантливых ученых с серьезными долгосрочными замыслами в области ИИ. Обычно такие люди оставляют видимые следы: публикации научных работ; участие в конференциях; комментарии в интернет-форумах; премии и дипломы ведущих организаций в области компьютерных наук. Исследователи, как правило, публично общаются друг с другом на профессиональном уровне, что позволяет идентифицировать их, составив социальный граф.
Сложнее будет обнаружить проекты, изначально предполагающие секретность. В качестве их ширмы может выступать идея разработки какого-нибудь обычного ПО
[268]. И только тщательный анализ кода позволит раскрыть истинную сущность проблем, над которыми трудятся программисты. Такой анализ потребует привлечения большого числа очень квалифицированных и очень опытных специалистов, поэтому вряд ли получится досконально исследовать все подряд. В такого рода наблюдениях задачу серьезно облегчит появление новейших технологий, вроде использования детекторов лжи
[269].
Есть еще одна причина, по которой государства могут не справиться с выявлением многообещающих проектов, поскольку некоторые научные и технические открытия, в принципе, трудно прогнозировать. Скорее всего, это относится к исследованиям в области ИИ, поскольку революционным изменениям в компьютерном моделировании мозга будет предшествовать целая серия успешных экспериментов.
Возможно, что присущие спецслужбам и прочим государственным институтам бюрократические неповоротливость и негибкость не позволят им распознать значимость некоторых достижений — очевидную для профессионалов.
Особенно высоким может оказаться барьер на пути официального признания возможности взрывного развития интеллекта. Вполне допустимо, что этот вопрос станет катализатором религиозных и политических разногласий и в итоге в некоторых странах превратится в табу для официальных лиц. Более того, тему взрывного развития начнут ассоциировать с дискредитировавшими себя персонажами, шарлатанами и пустозвонами, в результате чего ее начнут избегать уважаемые ученые и политики. (В первой главе вы уже читали о подобном эффекте, когда нечто подобное случалось уже минимум дважды — вспомните две «зимы искусственного интеллекта».) К этой кампании дискредитации обязательно присоединятся лоббисты, не желающие, чтобы на выгодное дело была брошена тень подозрений, и сообщества ученых, готовых вышвырнуть из своих рядов любого, кто осмелится озвучить собственные опасения по поводу «замораживания» столь важной проблемы и последствий этого для самой науки
[270].
