Что это значит?
Я хочу описать еще одну вопросно-ответную задачу, специально разработанную для проверки понимания “прочитанного” системой ОЕЯ. Прочитайте предложения и вопросы:
Предложение 1: “Городские власти отказали протестующим в разрешении на проведение митинга, потому что они опасались беспорядков”.
Вопрос: Кто опасался беспорядков?
A. Городские власти B. Протестующие
Предложение 2: “Городские власти отказали протестующим в разрешении на проведение митинга, потому что они призывали к беспорядкам”.
Вопрос: Кто призывал к беспорядкам?
A. Городские власти B. Протестующие
Предложения 1 и 2 по-английски различаются только одним словом (опасались / призывали), но именно это слово определяет ответ на вопрос. В предложении 1 местоимением “они” обозначены городские власти, в предложении 2 – протестующие. Как мы, люди, понимаем это? Мы полагаемся на свои фоновые знания о функционировании общества: мы знаем, что протестующие имеют повод для недовольства и порой призывают к беспорядкам на митингах или провоцируют их.
Вот еще несколько примеров
[305]:
Предложение 1: “Дядя Бена все еще обыгрывает племянника в теннис, хотя он на 30 лет старше”.
Вопрос: Кто старше?
A. Бен B. Дядя Бена
Предложение 2: “Дядя Бена все еще обыгрывает племянника в теннис, хотя он на 30 лет младше”.
Вопрос: Кто младше?
A. Бен B. Дядя Бена
Предложение 1: “Я лил воду из кувшина в стакан, пока он не наполнился”.
Вопрос: Что наполнилось?
A. Кувшин B. Стакан
Предложение 2: “Я лил воду из кувшина в стакан, пока он не опустел”.
Вопрос: Что опустело?
A. Кувшин B. Стакан
Предложение 1: “Стол не пройдет в дверной проем, потому что он слишком широкий”.
Вопрос: Что слишком широкое?
A. Стол B. Дверной проем
Предложение 2: “Стол не пройдет в дверной проем, потому что он слишком узкий”.
Вопрос: Что слишком узкое?
A. Стол B. Дверной проем
Уверена, вы уловили смысл: два предложения в паре различаются одним словом, но именно от этого слова зависит, к какой вещи или человеку относится местоимение “он”. Чтобы верно ответить на вопросы, машине необходимо не только обрабатывать предложения, но и понимать их, по крайней мере в некоторой степени. В целом для понимания этих предложений необходимы знания, основанные на здравом смысле. Так, дядя обычно старше племянника, при переливании воды из одной емкости в другую первая емкость пустеет, а вторая наполняется, а если что-то не проходит в проем, то эта вещь слишком широка, а не слишком узка.
Такие миниатюрные тесты на понимание языка называются схемами Винограда по имени пионера ОЕЯ Терри Винограда, который первым предложил их использовать
[306]. Схемы Винограда составляются таким образом, чтобы вопросы не вызывали затруднений у людей, но озадачивали компьютеры. В 2011 году три исследователя ИИ – Эктор Левек, Эрнест Дэвис и Леора Моргенштерн – предложили использовать большой набор схем Винограда в качестве альтернативы тесту Тьюринга. Ученые заявили, что в отличие от теста Тьюринга тест на схемах Винограда исключает для машины возможность дать верный ответ, ничего не понимая о предложении. Они выдвинули гипотезу (сформулированную весьма осторожно), что “с очень большой вероятностью машина, способная давать верные ответы, демонстрирует признаки того, что люди назвали бы мышлением”. Ученые продолжили: “Наше испытание [на схемах Винограда] не позволяет испытуемому скрываться за пеленой словесных уловок, шуток и заготовленных ответов… Предложенная нами проверка, несомненно, менее трудоемка, чем разумная беседа о сонетах (например), которую представлял Тьюринг, но при этом она позволяет провести тестирование, которое сложнее обмануть”
[307].
Несколько групп, изучающих обработку естественного языка, провели эксперименты с разными системами для ответа на вопросы схем Винограда. На момент написания этих строк лучшая программа дает около 61 % верных ответов при работе с набором из примерно 250 схем
[308]. Точность случайного угадывания составила бы 50 %, а следовательно, машина справляется с задачей несколько лучше, но значительно уступает людям, которые предположительно дают 100 % верных ответов, если читают вопросы внимательно. Получая схему Винограда, программа выбирает ответ, не понимая предложения, а анализируя статистику фрагментов фраз. Рассмотрим предложение “Я лил воду из кувшина в стакан, пока он не наполнился”. Чтобы составить примерное представление о том, что делает программа-победитель, впишите в строку поиска Google два следующих предложения поочередно:
“Я лил воду из кувшина в стакан, пока кувшин не наполнился”.
“Я лил воду из кувшина в стакан, пока стакан не наполнился”.
Google выдает количество “результатов” (то есть обнаруживаемых в интернете соответствий) для каждого из предложений. Когда я проводила поиск, первое предложение давало около 97 миллионов результатов, а второе – около 109 миллионов. Мудрый интернет верно говорит нам, что второе предложение с большей вероятностью составлено верно. Такая хитрая уловка позволяет добиться лучшего результата, чем при случайном угадывании, и меня не удивит, если точность машин при работе с этим набором схем Винограда будет неуклонно возрастать. И все же я сомневаюсь, что этот чисто статистический метод в ближайшее время достигнет человеческого уровня при работе с более крупными наборами схем. Возможно, это к лучшему. “Пока ИИ не может определить, что означает «он» в предложении, сложно поверить, что он захватит мир”, – сострил Орен Этциони, директор Института Аллена
[309].
