При обучении с подкреплением ИИ не ограничивается ролью пассивного наблюдателя, выявляющего взаимосвязи в массивах данных, – он активно функционирует в упрощенной контролируемой среде, наблюдая и фиксируя реакцию, вызванную его действиями. Как правило, используются симулированные среды, имитирующие некую упрощенную версию реальности. Например, легче смоделировать работу робота на сборочном конвейере, чем в хаосе переполненной городской улицы. Однако даже в такой упрощенной контролируемой среде, как шахматы, один ход может вызвать целый каскад возможностей и рисков. Поэтому для того, чтобы ИИ самостоятельно тренировался в искусственной среде, как правило, недостаточно обеспечить наилучшие показатели – необходим некий механизм обратной связи.
Такую обратную связь обеспечивает функция подкрепления, указывающая ИИ на то, насколько успешным был его подход. В цифровой среде человек не может эффективно давать обратную связь машине – ведь ИИ выполняет сотни, тысячи или миллиарды шагов в течение нескольких часов или дней. Поэтому функции вознаграждения автоматизируются – для этого разработчики определяют, каким образом имитируется реальность и как должно работать подкрепление. В идеале симулятор обеспечивает реалистичный опыт, а функция вознаграждения способствует принятию эффективных решений.
ИИ AlphaZero тренировался, играя против самого себя – точнее, против второго экземпляра ИИ, играющего за противника, – а для оценки своей работы использовал функцию подкрепления
[27], которая оценивала его ходы в соответствии с создаваемыми ими возможностями. Как показывает этот пример, человек занимается созданием среды обучения ИИ с подкреплением, но не может обеспечивать обратную связь в процессе обучения. Человек определяет способ симуляции и функцию вознаграждения, а ИИ обучается. Поэтому для того, чтобы добиться нужных результатов, очень важно тщательно определить метод симуляции и функцию вознаграждения.
Мощь машинного обучения
Описанные «строительные блоки» обеспечивают широкое применение ИИ. В сельском хозяйстве ИИ способствует правильному применению пестицидов, обнаружению болезней сельскохозяйственных культур и прогнозированию урожайности. В медицине он помогает открывать новые лекарства, разрабатывать новые способы применения существующих препаратов, диагностировать и прогнозировать заболевания (например, уже есть случаи диагностики рака груди, ретинопатии, гипогликемии и наследственных заболеваний, выполненной ИИ раньше, чем врачами-людьми). В финансовой сфере ИИ может одобрять выдачу кредитов, слияния и поглощения, банкротства и т. п. или отказывать в них.
Самая убедительная иллюстрация работы ИИ – расшифровка голоса и перевод с иностранных языков. На протяжении тысячелетий человечество сталкивалось с проблемой разрыва в коммуникациях между представителями разных культур и языков. Взаимонепонимание и недоступность иноязычной информации приводили не только к недоразумениям – из-за них страдала торговля, а иногда начинались войны. История о Вавилонской башне – символ человеческого несовершенства, рассказ о горьком наказании за человеческую гордыню. Но теперь все идет к тому, что мощные методы перевода с помощью ИИ сделают межъязыковые коммуникации доступными для широкой аудитории и значительно большему числу людей станет легче общаться друг с другом.
В 1990-х гг. исследователи с переменным успехом разрабатывали системы машинного перевода на основе правил. Эти попытки не привели к созданию универсальных переводчиков. Изменчивость и тонкость языка невозможно было свести к набору правил. Все изменилось, когда в 2015 г. машинный перевод совершил серьезный прорыв с началом использования глубоких нейронных сетей. Но инновации появились не только благодаря применению нейронных сетей или методов машинного обучения – скорее они возникли благодаря новым творческим способам применения этих подходов. Они подчеркивают ключевую способность машинного обучения – делать открытия и внедрять блестящие инновации в процессе создания новых ИИ.
Чтобы переводить с одного языка на другой, переводчик улавливает определенные закономерности, последовательные зависимости. Стандартные нейронные сети различают шаблоны ассоциаций между входом и выходом – например, какими наборами химических свойств обычно обладают антибиотики. Но они не могут так же просто улавливать последовательные зависимости – такие, например, как вероятность появления того или иного слова в предложении с учетом предыдущих слов. Если предложение начинается со слов «пойду выгуливать», следующим словом будет скорее «собаку», чем «кошку» или «самолет». Чтобы обучить ИИ таким последовательным зависимостям, исследователи разработали сети, использующие в качестве входных данных пары «текст – перевод». Это позволяет ИИ определять следующее слово на основе последовательных зависимостей на языках, между которыми осуществляется перевод. Наиболее мощные из этих сетей – так называемые трансформеры, которым не требуется обрабатывать последовательности по порядку. Например, Google BERT – двунаправленный трансформер, предназначенный для улучшения поиска.
Кроме того, разработчики систем перевода с иностранных языков использовали так называемые параллельные корпусы. Это было значительным достижением по сравнению с традиционным контролируемым обучением, требующим конкретных соответствий между входными и выходными данными. При традиционном подходе разработчики обучали ИИ, используя тексты с уже существующими переводами, поскольку в таких парах был необходимый уровень детального соответствия между языками. Но такой подход значительно ограничивал объем обучающих данных, а также типы доступных текстов – ведь если официальные тексты правительств или литературные труды переводятся на другие языки достаточно часто, то огромные массивы текстов из СМИ, соцсетей, с веб-сайтов и т. п., как правило, остаются непереведенными.
Вместо того чтобы ограничивать ИИ обучением на предварительно переведенных текстах, разработчики использовали статьи и другие тексты на разных языках по одной и той же теме, не являющиеся прямым переводом друг друга. Эти похожие, но непереведенные тексты и есть параллельные корпусы. Такой процесс обучения сродни переходу от изучения языков на специализированных курсах к обучению методом погружения. При этом происходит менее точное обучение, зато значительно увеличивается объем доступных данных. В параллельные корпусы включают новостные статьи, напечатанные в газетах на разных языках, рассказы о знаменитостях, рецензии на книги и фильмы, истории путешествий – одним словом, практически любые официальные или неофициальные публикации на темы, широко освещаемые во всем мире. Успех этого подхода привел к более широкому использованию частично контролируемого обучения, при котором используется весьма приблизительная или частичная информация.
Когда система Google Translate стала использовать глубокие нейронные сети, обученные на параллельных корпусах, ее производительность повысилась на 60 % – и продолжает расти.
Речь пока не идет о параллельном переводе устной речи – до робота C-3PO или вавилонской рыбки
[28] нам еще далеко. Но радикальное развитие письменного перевода обещает изменить бизнес, дипломатию, СМИ, науку и другие сферы, поскольку люди будут общаться на чужих языках легче, быстрее и с меньшими затратами, чем когда-либо прежде.
