Поэтому, чтобы добиться большей гибкости перевода, Google привлекает для совершенствования своего алгоритма помощников из числа людей, но это не всегда приводит к лучшим результатам. Кое-кто, получив возможность пошалить с алгоритмом, не может устоять перед таким искушением. Одной из иллюстраций этого был случай, когда Google Translate начал выдавать переводы заголовков корейской прессы, в которых северокорейского руководителя Ким Чен Ына называли мистером Сквидвардом, по имени персонажа из мультсериала «Губка Боб Квадратные Штаны». Хакерам удалось столько раз предложить слова «мистер Сквидвард» в качестве лучшего варианта перевода слов «Высший руководитель», как называют Ким Чен Ына северокорейские СМИ, что алгоритм переключился на этот перевод. Его вероятностный рейтинг изменили путем загрузки данных с поддельными примерами. Другой похожий случай произошел, когда официальное название Российской Федерации переводилось на украинский язык словом «Мордор» (так называется страна злого духа Саурона во «Властелине колец»).
Несмотря на такие сбои, Google Translate все лучше справляется с переводами с одного человеческого языка на другой. Существует даже предложение проанализировать записи звуков общения животных и посмотреть, не получатся ли у их многомерных кристаллов формы, совпадающие с формами кристаллов человеческих языков или похожие на них: это помогло бы нам понять, что говорят наши питомцы. Возможно, вскоре нам потребуются средства, помогающие понимать языки, созданные машинами. Во всяком случае, именно так я начал думать после того, как стал свидетелем поразительного акта лингвистического творчества в Sony Computing Laboratory в Париже, где Люк Стилс создал роботов, развивающих свой собственный язык.
Диалект роботов
Стилс пригласил меня в свою лабораторию, в которой 20 роботов ставили по очереди перед зеркалом и предлагали им рассматривать в этом зеркале фигуры, которые они могут создавать, двигая частями своего тела. Каждый раз, когда робот принимал новую позу, он создавал слово, описывающее ее.
Например, робот мог выбрать название для движения, которым он переводит свою левую руку в горизонтальное положение. Каждый представитель этой популяции роботов создал свой собственный язык, описывающий уникальный набор движений этого робота.
Самое интересное начинается, когда роботы взаимодействуют друг с другом. Один робот выбирает какое-нибудь слово из своего лексикона и предлагает другому роботу выполнить действие, соответствующее этому слову. Разумеется, второй робот понятия не имеет, о чем его просят. Поэтому он принимает какое-нибудь положение наугад. Если его догадка оказывается верной, первый робот сообщает ему об этом. В противном случае он показывает второму, какое именно положение он имел в виду.
Возможно, у второго робота уже есть собственное название для этого действия; в таком случае он не отказывается от своего названия, но добавляет в свой словарь новое слово. По мере продолжения таких взаимодействий робот взвешивает ценность слов в соответствии с тем, насколько успешным оказывается общение: если взаимодействие оказывается неудачным, ценность слова уменьшается. Самое поразительное, что через неделю такого общения у роботов начал появляться общий язык. Непрерывно обновляя свои словари и обучаясь, роботы разработали свой собственный язык. Он настолько развит, что даже содержит слова, обозначающие более абстрактные концепции – например, «слева» и «справа». Эти слова уже выходят за рамки прямого соответствия между словами и позами. Достаточно интересен уже тот факт, что вообще произошло слияние языков, но меня особенно поразило, что у роботов появился новый язык, который они понимают, в то время как экспериментаторы к концу недели уже не понимали его: им удавалось расшифровать значение новых слов, только если они достаточно долго общались с роботами.
Эксперимент Стилса дает превосходное доказательство неправоты Ады Лавлейс. Стилс написал программный код, позволивший роботам создать свой собственный язык, но из этого кода появилось нечто новое, о чем свидетельствует тот факт, что этого общего языка не понимает никто, кроме самих роботов. Изучить этот язык можно только одним способом – чтобы робот продемонстрировал, какая именно поза соответствует каждому звуку.
Сотрудники Google Brain развивают идею алгоритмов, создающих свой собственный язык, для разработки новых методов шифрования, чтобы два компьютера могли обмениваться информацией, не опасаясь, что их подслушает третий. В криптографической задаче Алиса должна передавать Бобу секретные сообщения, которые перехватывает и пытается расшифровать Ева. Алиса получает очки, если Ева не может расшифровать ее сообщения, а Ева – если ей это удается. Изначально Алисе и Бобу известно некое число, которого – и только его – не может знать Ева. Это число – ключ к коду, который создают Алиса и Боб. Их цель – создать на основе этого числа тайный язык, который можно расшифровать только при помощи ключа.
Сначала все попытки Алисы замаскировать сообщения с легкостью взламываются. Но после 15 000 обменов сообщениями Боб уже может расшифровывать сообщения, которые передает Алиса, а Ева добивается успеха с вероятностью, не превышающей вероятности случайного угадывания содержания сообщений. Нейронные сети, которые используют Алиса и Боб, быстро маскируют их решения благодаря постоянным изменениям параметров языка, так что, даже видя получающийся в результате код, человек не может понять, что именно они делали. Машины могут вести между собой конфиденциальные разговоры, которые мы, люди, не сможем подслушать.
Узники китайской комнаты
Эти алгоритмы, разбирающиеся с языками, переводящие с английского на испанский, отвечающие на вопросы Jeopardy!
и понимающие повествование, порождают интересный вопрос, имеющий важное значение для всей сферы создания искусственного интеллекта. В какой момент нам следует признать, что алгоритм понимает, что он делает? Этот вопрос нашел свое выражение в мысленном эксперименте «Китайская комната», который разработал Джон Сёрл.
Представьте себе, что вас посадили в комнату, в которой есть инструкция, дающая вам правильные ответы на любую записанную последовательность китайских иероглифов, которая попадает в комнату. Если эта инструкция достаточно полна, вы можете вести очень убедительную беседу с человеком, говорящим по-китайски, не понимая в ней ни единого слова.
Сёрл хотел продемонстрировать, что компьютер, запрограммированный отвечать так, чтобы мы не могли отличить его ответы от ответов человека, нельзя считать разумным или понимающим. С одной стороны, это направление мысли дает сильный аргумент против теста Тьюринга. Но с другой стороны, что именно делает мой разум прямо сейчас, когда я формулирую эти слова? Не следую ли я в каком-то смысле некоему набору инструкций? Не существует ли некоторого порога, после которого следовало бы считать, что компьютер действительно понимает китайский язык?
И все же, когда я упоминаю стул, я знаю, о чем я говорю. Когда компьютер ведет разговор о стуле, ему не нужно знать, что слово «стул» обозначает физический объект, на котором сидят люди. Ему нужно лишь следовать правилам, но следование правилам не означает понимания. Алгоритм никак не сможет достичь абсолютного владения словом «стул», если он никогда не имел дела с настоящим стулом. Именно поэтому для современных тенденций в развитии искусственного интеллекта особенно актуален вопрос воплощенного интеллекта.
