Что? Watson “обожает читать”, как способный пятиклассник, но читает не одну книгу о Гарри Поттере за выходные, а миллион книг в секунду, или 25 миллионов научных статей в неделю? Или же слово “читать” с человеческими коннотациями о понимании прочитанного не совсем подходит для описания того, чем занимается Watson, а именно обрабатывает текст и добавляет его в свои базы данных? Сообщение о том, что Watson “окончил медицинский институт”, привлекает внимание, но помогает ли оно понять, каковы на самом деле способности Watson? Чрезмерно активная маркетинговая кампания, недостаток прозрачности и нехватка рецензируемых исследований механизмов работы Watson не позволяют непосвященным ответить на эти вопросы. В популярном критическом обзоре системы Watson for Oncology, созданной в помощь врачам-онкологам, говорится: “Не существует ни одного независимого стороннего исследования, которое показывало бы, способна ли система Watson for Oncology добиться обещанных результатов, и это соответствует замыслу IBM. Компания не предоставляла продукт на внешнюю экспертизу и не проводила клинических испытаний для оценки его эффективности”
[296].
Высказывания некоторых сотрудников IBM о Watson поднимают и другой вопрос: в какой степени технология, которую в IBM разработали специально для игры в Jeopardy!, может использоваться для других вопросно-ответных задач? Да, Нед Шарплесс говорит, что смотрел выступление Watson в Jeopardy! и что теперь Watson читает медицинскую литературу, но идет ли при этом речь об одном и том же Watson?
Об истории Watson после Jeopardy! можно написать отдельную книгу, и заняться этим расследованием должен опытный журналист. Но вот что я поняла из множества статей, которые прочитала сама, и из бесед с людьми, знакомыми с технологией. Оказывается, для игры в Jeopardy! нужны не совсем такие навыки, как для ответа на вопросы в сфере, скажем, медицины или юриспруденции. В реальном мире вопросы не формулируются по короткому шаблону Jeopardy! и часто не имеют однозначных ответов. Кроме того, в реальном мире, например в сфере диагностики рака, нет большого набора идеальных, четко размеченных обучающих примеров, каждый из которых, как в случае с Jeopardy!, имеет единственный верный ответ.
Помимо одинакового названия, логотипа в виде планеты, окруженной огнями, и знакомого многим приятного механического голоса, тот Watson, который IBM рекламирует сегодня, имеет очень мало общего с тем Watson, что победил Кена Дженнингса и Брэда Раттера в Jeopardy! в 2011 году. Кроме того, сегодня под названием Watson скрывается не единая система ИИ, а набор сервисов, которые IBM предлагает клиентам – преимущественно корпоративным – под брендом Watson. Иными словами, IBM называет именем Watson все свои проекты в сфере ИИ, тем самым дополняя сервисы драгоценным ореолом славы победителя Jeopardy!.
IBM – крупная компания, где работают тысячи талантливых исследователей ИИ. Под брендом Watson она предлагает передовые инструменты ИИ, которые можно адаптировать – хотя и при большом участии людей – для широкого спектра задач, включая обработку естественного языка, компьютерное зрение и интеллектуальный анализ данных. Многие компании приобретают эти инструменты и считают их эффективными для своих нужд. Однако вопреки образу, создаваемому в прессе и рекламных кампаниях, не существует единого компьютера Watson, который “окончил медицинский институт” или “читает” медицинские статьи. Сотрудники IBM работают с компаниями, осуществляя тщательную подготовку данных для ввода в различные программы, многие из которых применяют методы глубокого обучения, описанные в предыдущих главах (и не применявшиеся первым компьютером Watson). Получается, что IBM предлагает под брендом Watson примерно то же самое, что Google, Microsoft, Amazon и другие крупные технологические компании называют “облачными” ИИ-сервисами. Честно говоря, я не знаю, какой вклад методы первой программы Watson внесли в современные вопросно-ответные системы и насколько методы игры в Jeopardy! оказались полезны для современных инструментов ИИ под брендом Watson.
По ряду причин IBM Watson Group приходится тяжелее, чем другим технологическим компаниям, несмотря на разработку продвинутых и полезных продуктов. Некоторые крупные контракты IBM (например, с Онкологическим центром им. М. Д. Андерсона в Хьюстоне) оказались расторгнуты. В прессе появилась серия негативных статей о Watson, в которых часто приводились слова недовольных бывших сотрудников, утверждавших, что топ-менеджеры и рекламщики IBM создали у клиентов серьезно завышенные ожидания от технологии. В сфере ИИ завышенные ожидания не оправдываются очень часто, и виновата в этом не только IBM. Время покажет, какой вклад IBM внесет в распространение ИИ в здравоохранении, юриспруденции и других областях, где автоматические вопросно-ответные системы могут произвести революцию. Пока же достижения Watson ограничиваются победой в Jeopardy! – но при этом система может стать достойным кандидатом на получение награды за “самый громкий пшик” в истории ИИ.
Понимание прочитанного
Выше я выразила сомнение в том, что Watson может “читать”, то есть действительно понимать текст, который обрабатывает. Как определить, понимает ли компьютер “прочитанное”? Можно ли провести тест на “понимание прочитанного” для компьютеров?
В 2016 году ученые из Стэнфордского университета, исследующие обработку естественного языка, предложили тест, который быстро превратился в метрику “понимания прочитанного” для машин. В тест SQuAD (Stanford Question Answering Dataset – Стэнфордский набор вопросов и ответов) включены фрагменты из статей “Википедии”, каждый из которых сопровождается вопросом. Более ста тысяч вопросов были составлены работниками Amazon Mechanical Turk
[297].
Тест SQuAD проще, чем типичные тесты на понимание прочитанного для людей: в инструкции по составлению вопросов стэнфордские ученые отметили, что ответ обязательно должен появляться в тексте в форме предложения или словосочетания. Вот пример из теста SQuAD:
Фрагмент: Пейтон Мэннинг стал первым в истории квотербеком, который привел две разные команды к нескольким Супербоулам. В возрасте 39 лет он также стал самым возрастным квотербеком, когда-либо принимавшим участие в Супербоуле. Ранее рекорд принадлежал Джону Элвею, который в 38 лет привел “Бронкос” к победе на XXXIII Супербоуле и сегодня занимает пост исполнительного вице-президента по футбольным операциям и генерального менеджера денверской команды.
