Специалист по обработке данных мог бы заметить: «Нам известно, насколько хорошо алгоритм справляется с данными, которые у него есть. Но новая информация о потребителях нам точно не повредит. Какие еще сведения надо собрать?» Исходя из имеющихся у нас знаний о человеке, можно предложить множество вариантов, но с этим непостижимым алгоритмом мы не знаем, что именно окажется для него полезным. Вот в чем ирония: мы можем попробовать выбрать те переменные, которые сами сочтем важными, но машина-то думает не так, как мы, и потому уже нас обыгрывает. Как нам узнать, что она сочтет полезным?
Тут не обязательно ставить точку. У нас уже есть интерес к тому, чтобы разрабатывать алгоритмы, которые будут не только эффективными, но и постижимыми для своих создателей. Чтобы это сделать, нам, возможно, придется серьезно пересмотреть понятие постижимости. Мы, вероятно, так никогда и не сумеем постичь, что именно делают наши автоматизированные системы конкретно, шаг за шагом, но это нормально. Достаточно будет, если мы научимся взаимодействовать с ними, как одна разумная сущность взаимодействует с другой, развивая здоровое понимание того, когда стоит доверять рекомендациям, где можно наиболее эффективно их использовать и как помочь машине прийти к недоступному для нас самих уровню эффективности.
Однако пока мы этому не научимся, непостижимость искусственного интеллекта будет представлять определенную опасность. Как мы узнаем, что машина вышла из своей «зоны комфорта» и уже работает с той частью проблемы, с которой не очень хорошо справляется? Степень такого риска нелегко определить количественно, и с подобными проблемами мы будем сталкиваться по мере развития наших систем. Возможно, с какого-то момента нам придется беспокоиться по поводу всесильного искусственного интеллекта. Но сперва нам надо озаботиться тем, что машинам приходится отвечать за решения, для принятия которых у них недостаточно ума.
Нам надо делать домашние задания
Яан Таллинн
Соучредитель Центра исследований в области угроз существованию человечества, Институт будущего жизни; инженер-основатель Skype и Kazaa
За шесть месяцев до первого ядерного испытания ученые, работавшие над Манхэттенским проектом, подготовили отчет LA-602. В нем были приведены данные об исследованиях возможного выхода ядерного взрыва из под контроля, что грозило уничтожением Земли в результате сгорания атмосферы. Это было, вероятно, первым исследованием в области угроз существованию человечества.
Конечно, список опасных технологий, изобретенных людьми, не закончился на ядерной бомбе. С тех пор тема катастрофических побочных эффектов неоднократно всплывает в разных контекстах: рекомбинантной ДНК, синтетических вирусов, нанотехнологий и т. п. К счастью для людей, обычно в таких случаях верх берет трезвый расчет, что приводит к появлению различных соглашений и протоколов, регулирующих исследовательскую деятельность.
Я думаю о мыслящих машинах как о технологии, которую надо развивать с такой же (если не с большей!) осторожностью. К сожалению, идею безопасности искусственного интеллекта оказалось сложнее популяризировать, чем, скажем, идею биологической безопасности, потому что у людей довольно слабое представление о том, что такое нечеловеческий разум. Кроме того, если задуматься, то можно прийти к мысли, что ИИ в действительности является метатехнологией, то есть технологией, которая способна разрабатывать другие технологии либо совместно с людьми, либо даже автономно (что еще более усложняет анализ вероятных последствий).
Впрочем, в течение нескольких последних лет мы наблюдаем внушающие оптимизм подвижки, примерами которых являются инициативы новых организаций, таких как Институт будущего жизни, объединивший ведущих специалистов в области искусственного интеллекта для работы над постановкой задач, стандартами и этическими нормами исследований.
Поэтому путаные аргументы людей, которые пытаются показать, что разбираются в вопросах мышления, сознания или этики искусственного интеллекта, часто отвлекают от простой истины: единственный способ гарантировать, что мы случайно себя не взорвем с помощью собственной технологии (или метатехнологии), состоит в том, чтобы делать домашние задания и принимать соответствующие меры предосторожности, как поступили ученые из Манхэттенского проекта, когда подготовили LA-602. Нам надо перестать играть словами и взяться за исследования в области безопасности искусственного интеллекта.
Вот вам аналогия: со времени Манхэттенского проекта ученые-ядерщики переключились со стремления увеличить мощность реакции ядерного синтеза на решение вопроса, как наиболее эффективно ее можно сдерживать, — и мы даже не называем это ядерной этикой.
Мы называем это здравым смыслом.
Какое вам дело до того, что думают другие машины?
Джордж Чёрч
Преподаватель генетики, Гарвардская школа медицины; директор проекта Гарвардского университета «Личный геном»; автор, совместно с Эдом Реджисом, книги «Перерождение: Как синтетическая биология заново откроет природу и нас самих» (Regenesis: How Synthetic Biology Will Reinvent Nature and Ourselves)
Я — мыслящая машина, состоящая из атомов, прекрасная квантовая модель задачи многих тел — задача 1029 тел. Я — робот, имеющий опасную склонность самопрограммироваться и не допускать того, чтобы кто-то отключал мое энергоснабжение. Все мы, люди-машины, расширяем свои возможности через симбиоз с другими машинами, например улучшаем зрение, чтобы заглянуть за пределы длины волн в несколько жалких нанометров, доступных нашим предкам, и увидеть весь электромагнитный спектр от пикометра до мегаметра. Мы швыряем 370-килограммовые куски своего улья дальше Солнца на скорости в 252 792 км/ч. Мы расширяем свою память и математические способности в миллиарды раз с помощью кремниевых протезов. И все же наш биомозг в тысячу раз более энергоэффективен, чем наши неорганические мозги, в тех задачах, где у нас есть точки соприкосновения (таких как распознавание лиц и перевод с одного языка на другой) и бесконечно лучше подходит для задач пока еще неизвестной сложности, вроде эйнштейновских инновационных работ в Annus mirabilis
[18], затрагивающих будущие века. Поскольку область действия закона Мура простирается от транзисторов, изготавливавшихся на литографическом оборудовании с точностью в 20 нм, до тех, что будут делать с атомарной точностью в 0,1 нм, и от двухмерных схем к трехмерным, мы вправе пренебречь возможностью заново изобретать и моделировать наш биомолекулярный мозг и сразу перейти к их конструированию.
Мы можем с идеальной точностью скопировать петабайты кремневых мозгов за считаные секунды, а передача информации между углеродными мозгами занимает десятилетия, и подобие между копиями едва заметно. Некоторые считают, что мы можем осуществить перенос данных из углерода в кремний и даже сделать так, чтобы кремниевая версия вела себя как оригинал. Однако такая задача требует куда более глубокого понимания, чем простое создание копии. Мы обуздали иммунную систему посредством вакцин в X веке в Китае и в XVIII — в Европе, задолго до того, как узнали о цитокинах и Т-клеточных рецепторах. У нас пока нет медицинского наноробота, обладающего сопоставимой гибкостью или функциональностью. Может оказаться, что создать тождественную на молекулярном уровне копию мозга массой в 1,2 килограмма или 100-килограммового тела легче, чем понять, как это работает (или чем перенести содержимое моего мозга на аудиторию студентов, многозадачно оперирующих электронной почтой и видео с котиками). Это намного более радикальная задача, чем клонирование человека, но она все же не предполагает использования эмбрионов.
