Возможно, Хинтон принижает собственный вклад. Благодаря ему нейронные сети значительно продвинулись вперед, а одна из его разработок дала новое название всей этой сфере. Статья 2006 года «Алгоритм быстрого обучения для глубоких сетей доверия»
[198], написанная Хинтоном в соавторстве с Саймоном Осиндеро и И-Вай Те, продемонстрировала, что довольно мощные и надлежащим образом настроенные нейронные сети могут учиться сами, без вмешательства человека. Например, если такой сети показать множество написанных от руки цифр, она придет к правильному заключению, что в этих данных есть десять различных образцов, соответствующих цифрам от 0 до 9, и в дальнейшем будет точно распределять любые рукописные цифры по десяти категориям.
Такой тип неконтролируемого обучения остается относительно редким. Самые успешные системы основаны на контролируемом обучении, в ходе которого, как правило, сначала они получают набор вопросов и правильных ответов, а уже потом им предлагают самостоятельно ответить на какие-либо новые вопросы. Так, системе машинного обучения можно дать большой набор звуковых файлов с человеческой речью и файлов с соответствующими текстами в письменном виде. Система использует эти пары, чтобы создать ассоциации в рамках своей нейронной сети, которые позволят ей трансформировать в текст новые примеры речи. Поскольку оба подхода к машинному обучению – и контролируемый, и неконтролируемый – используют алгоритмы, описанные Хинтоном и его коллегами в статье 2006 года, сейчас основанные на них программы и устройства обычно называют системами глубокого обучения.
Демонстрация и применение искусственного интеллекта
Если не считать весьма небольшого числа более ранних случаев (вроде системы Лекуна для распознавания рукописных номеров на чеках), можно сказать, что коммерческому применению глубокого обучения всего несколько лет. Однако такие технологии распространяются с удивительной скоростью. Разработчик программного обеспечения Джефф Дин
[199], который возглавлял программы Google по использованию глубокого обучения, отмечает, что еще в 2012 году компания не применяла эту технологию для улучшения таких продуктов, как поиск Google, Gmail, YouTube или Google Maps
[200]. Однако к третьему кварталу 2015 года глубокое обучение стало использоваться примерно в 1200 проектах компании и показало большую производительность по сравнению с другими методами.
Компания DeepMind особенно продвинулась в сочетании глубокого обучения с другой технологией, известной как обучение с подкреплением
[201], сосредоточив внимание не только на информационных продуктах, предоставляемых клиентам, но и на важных процессах реального мира. Google ввела в строй несколько крупнейших в мире дата-центров, которые потребляют очень много энергии. В этих зданиях расположены 100 тысяч серверов, которые должны не только получать питание, но и охлаждаться. Проблема с охлаждением усугубляется тем фактом, что общая вычислительная нагрузка для центра, или общее количество запрашиваемых серверов, непредсказуемо изменяется во времени. Кроме того, на необходимость охлаждения влияет погода.
Как правило, всеми насосами, вентиляторами, охладительными башнями и прочим оборудованием, которое поддерживает нужную температуру в дата-центрах, управляют люди. Они следят за термометрами, датчиками давления и прочими сенсорами и принимают решения, как лучше охлаждать здание. Компания DeepMind захотела узнать, можно ли вместо этого использовать машинное обучение. Специалисты использовали данные прошлых лет о вычислительной нагрузке, показаниях датчиков, факторах окружающей среды (температуре и влажности), чтобы обучить систему нейронных сетей управлять всем имеющимся оборудованием для охлаждения. В каком-то смысле разработчики подошли к дата-центру как к гигантской видеоигре и дали указания своим алгоритмам постараться набрать максимальное количество очков; в рассматриваемом случае очки начислялись за оптимальную эффективность энергопотребления.
Когда реальный дата-центр перешел под управление этой системы, результаты появились немедленно и поражали воображение
[202]. Общее количество энергии, используемой для охлаждения, снизилось на целых 40 процентов, а ситуация с непроизводительными потерями – энергией, которая не использовалась непосредственно для IT-оборудования и включала дополнительные нагрузки и потери, – улучшилась примерно на 15 процентов. Один из основателей DeepMind Мустафа Сулейман сказал нам, что это одно из самых крупных улучшений, которые когда-либо видела команда дата-центров Google. Сулейман также подчеркнул, что подход DeepMind очень хорошо поддается обобщению. Нейронные сети необязательно полностью перестраивать для каждого нового дата-центра. Их просто нужно обучить с использованием максимально подробных данных за несколько лет. Такое обучение – тонкая и сложная работа
[203], но она определенно окупается.
