Хофштадтер называл этот ответ “одним из самых важных элементов «ГЭБ»” и готов был “поставить на него собственную жизнь”.
В середине 1990-х уверенность Хофштадтера в оценках ИИ снова пошатнулась – и довольно сильно, – когда он познакомился с программой, написанной музыкантом Дэвидом Коупом. Программа называлась Experiments in Musical Intelligence (“Эксперименты с музыкальным интеллектом”), или ЭМИ. Композитор и профессор музыки Коуп создал ЭМИ, чтобы она облегчила ему процесс сочинения музыки, автоматически генерируя пьесы в его характерном стиле. Но прославилась ЭМИ созданием пьес в стиле композиторов-классиков, например Баха и Шопена. ЭМИ сочиняет музыку, следуя большому набору правил, разработанных Коупом и определяющих общий синтаксис композиции. При создании новой пьесы “в стиле” конкретного композитора эти правила применяются к многочисленным примерам из его творчества.
На встрече в Google Хофштадтер восхищенно рассказывал о своем знакомстве с ЭМИ:
Я сел за фортепиано и сыграл одну из мазурок ЭМИ “в стиле Шопена”. Она звучала не совсем так, как музыка Шопена, но в достаточной степени напоминала его творчество и была достаточно складной, чтобы я ощутил глубокое беспокойство.
Музыка с детства завораживала меня и трогала до глубины души. Все мои любимые композиции кажутся мне посланием из сердца человека, который их создал. Такое впечатление, что они позволяют мне заглянуть композитору в душу. И кажется, что в мире нет ничего человечнее, чем выразительность музыки. Ничего. Мысль о том, что примитивная манипуляция с алгоритмами может выдавать вещи, звучащие так, словно они идут из человеческого сердца, очень и очень тревожна. Я был сражен.
Затем Хофштадтер вспомнил лекцию, которую читал в престижной Истменской школе музыки в Рочестере, в штате Нью-Йорк. Описав ЭМИ, он предложил слушателям, среди которых было несколько преподавателей композиции и теории музыки, угадать, какое из произведений, исполняемых пианистом, было (малоизвестной) мазуркой Шопена, а какое – сочинением ЭМИ. Впоследствии один из слушателей вспоминал: “Первая мазурка была изящна и очаровательна, но ей не хватало изобретательности и плавности «настоящего Шопена»… Вторая явно принадлежала Шопену – ее отличали лиричная мелодия, широкие и изящные хроматические модуляции, а также естественная и гармоничная форма”
[6]. Многие преподаватели согласились с такой оценкой и шокировали Хофштадтера, проголосовав за то, что ЭМИ написала первую пьесу, а Шопен – вторую. На самом деле все было наоборот.
В переговорной Google Хофштадтер сделал паузу и вгляделся в наши лица. Все молчали. Наконец он продолжил: “Я испугался ЭМИ. Действительно испугался. Я возненавидел ее и узрел в ней серьезную угрозу. Она грозила уничтожить все то, что я особенно ценил в человечестве. Думаю, ЭМИ стала ярчайшим воплощением моих опасений, связанных с искусственным интеллектом”.
Google и сингулярность
Затем Хофштадтер заговорил о своем неоднозначном отношении к исследованиям ИИ, проводимым в Google, где занимались беспилотными автомобилями, распознаванием речи, пониманием естественного языка, машинным переводом, компьютерно-генерируемым искусством, сочинением музыки и многим другим. Тревоги Хофштадтера подкреплялись верой Google в Рэя Курцвейла и его представление о сингулярности, в которой ИИ, имея способность самостоятельно учиться и совершенствоваться, быстро достигнет человеческого уровня разумности, а затем и превзойдет его. Казалось, Google делает все возможное, чтобы ускорить этот процесс. Хотя Хофштадтер сильно сомневался в идее сингулярности, он признавал, что предсказания Курцвейла его тревожат. “Меня пугали эти сценарии. Я был настроен весьма скептически, но все равно мне казалось, что они могут оказаться правдой, даже если называемые сроки неверны. Нас застанут врасплох. Нам будет казаться, что ничего не происходит, и мы не заметим, как компьютеры вдруг станут умнее нас”.
Если это действительно произойдет, “нас отодвинут в сторону. Мы превратимся в пережитки прошлого. Мы останемся ни с чем. Может, это и правда случится, но я не хочу, чтобы это случилось в ближайшее время. Я не хочу, чтобы мои дети остались ни с чем”.
Хофштадтер завершил свое выступление прозрачным намеком на тех самых инженеров Google, которые собрались в переговорной и внимательно слушали: “Меня очень пугает, очень тревожит, очень печалит, а также ужасает, шокирует, удивляет, озадачивает и обескураживает, что люди очертя голову слепо бегут вперед, создавая все эти вещи”.
Почему Хофштадтер испуган?
Я огляделась. Казалось, слушатели озадачены и даже растеряны. Исследователей ИИ из Google ничто из перечисленного ничуть не пугало. Более того, это были дела давно минувших дней. Когда Deep Blue обыграл Каспарова, когда ЭМИ начала сочинять мазурки в стиле Шопена и когда Курцвейл написал первую книгу о сингулярности, многие из этих инженеров учились в школе и, возможно, читали “ГЭБ” и восхищались ею, несмотря на то что многие из приводимых в ней прогнозов развития ИИ к тому времени несколько устарели. Они работали в Google как раз для того, чтобы сделать ИИ реальностью, причем не через сотню лет, а сейчас – и как можно скорее. Они не понимали, что именно так сильно беспокоит Хофштадтера.
Люди, работающие в сфере ИИ, привыкли сталкиваться с опасениями людей со стороны, которые, вероятно, сформировали свои представления под влиянием научно-фантастических фильмов, где сверхразумные машины переходят на сторону зла. Исследователям ИИ также знакомы тревоги, что всё более сложные системы ИИ будут заменять людей в некоторых сферах, что при использовании в анализе больших данных ИИ будет нарушать конфиденциальность и потворствовать скрытой дискриминации, а также что неудачные системы ИИ, самостоятельно принимающие решения, будут сеять хаос.
Но Хофштадтера ужасало иное. Он боялся не того, что ИИ станет слишком умным, слишком вездесущим, слишком вредоносным или слишком полезным. Он боялся, что разум, творчество, эмоции и, возможно, даже сознание станут слишком просто воспроизводимыми, а следовательно, все те вещи, которые он особенно ценит в человечестве, окажутся не более чем “набором хитростей” и примитивный набор алгоритмов “грубой силы” сможет объяснить человеческую душу.
Как видно из “ГЭБ”, Хофштадтер твердо верит, что разум и все его характеристики в полной мере проистекают из физической среды мозга и остального тела, а также из взаимодействия тела с физическим миром. Здесь нет ничего нематериального или бесплотного. Хофштадтер беспокоится о сложности. Он боится, что ИИ может показать нам, что человеческие качества, которые мы ценим больше всего, очень просто механизировать. После встречи Хофштадтер пояснил мне, рассуждая о Шопене, Бахе и других выдающихся представителях рода человеческого: “Если маленький чип сможет обесценить эти умы бесконечной остроты, сложности и эмоциональной глубины, это разрушит мое представление о сущности человечества”.
