Д. К. Р. Ликлайдер, 1960 г.
Глава 8. Управление силой джиннов
В 2016 году редакция журнала Mit Sloan Management Review попросила меня написать короткое эссе о будущем управления. Сначала я ответил, что мне больше нечего сказать, по крайней мере, ничего кроме того, что уже было сказано. Но потом понял, что я отвечаю на вопрос, используя старую карту.
Если вы мыслите понятиями предприятия XX века, вы, возможно, полагаете, что десятки тысяч инженеров-программистов в таких компаниях, как Google, Amazon и Facebook, проводят свои дни, в поте лица создавая продукцию, как и их предшественники из промышленного века, только сегодня они производят программное обеспечение, а не материальные товары. Но если вы сделаете шаг назад и посмотрите на эти компании глазами человека из двадцать первого века, вы поймете, что значительная часть того, что они делают – выдача результатов поиска, предоставление новостей и информации, обновление статусов в социальной сети, предоставление соответствующих товаров и услуг водителей по требованию, – осуществляется при помощи программ и алгоритмов. Эти программы – работники, а программисты, которые их создают, – их начальники. Каждый день эти «начальники» получают отзывы о работе своих подчиненных в виде данных рынка в режиме реального времени и в случае необходимости выдают работникам свои замечания в виде небольших изменений и обновлений программы или алгоритма.
Задачи, выполняемые этими работниками – программным обеспечением, – отражают оперативный рабочий процесс цифровой организации. На коммерческом веб-сайте один электронный работник помогает пользователю найти товары, которые могут соответствовать его или ее критериям поиска. Другой показывает информацию о товарах. Третий предлагает альтернативный вариант. После того как клиент решил купить товар, цифровой работник предлагает заполнить веб-форму для оплаты и проверяет введенные данные (например, действительна ли кредитная карта с таким номером или соответствует ли пароль тому, который хранится в базе данных сайта). Другой работник формирует заказ и связывает его с регистрационными данными клиента. Еще один формирует список товаров, которые человек или робот должен забрать со склада. Еще один сохраняет данные об этой транзакции в системе бухгалтерского учета компании, а другой отправляет клиенту подтверждение по электронной почте.
В предыдущем поколении компьютерных технологий эти действия могли осуществляться одним монолитным приложением, отвечающим на запросы одного-единственного пользователя. Но современные веб-приложения вполне могут одновременно обслуживать миллионы пользователей, а их функции разбиты на так называемые микросервисы – наборы отдельных структурных элементов, каждый из которых делает что-то одно, и делает это очень хорошо. Если бы традиционное монолитное приложение, такое как Microsoft Word, было переделано в набор микросервисов, вы могли бы легко изменить опцию проверки орфографии на более качественную или добавить новую функцию, которая превращала бы веб-ссылки в сноски, или наоборот.
Микросервисы – это эволюция ориентированного на коммуникации конструктивного шаблона, который мы видим в структуре Unix и Интернета, а также в меморандуме Джеффа Безоса. Микросервисы определяются входящими и исходящими данными – тем, как они сообщаются с другими сервисами. Они могут быть написаны на разных языках и работать на множестве машин. Если они правильно спроектированы, любой из компонентов может быть заменен на улучшенный вариант, который выполняет ту же функцию, не требуя обновления остальной части приложения. Это то, что позволяет осуществлять непрерывное использование, при котором новые функции могут обновляться постоянно, а не одним мощным рывком, а также проводить А/Б-тестирование, во время которого альтернативные версии одной и той же функции можно протестировать на отдельных группах пользователей.
Необъяснимая эффективность данных
По мере увеличения количества и скорости разработки интернет-приложений характер работы в сфере программного обеспечения для множества людей также изменился. Это чем-то похоже на замену пропеллеров на реактивные двигатели в авиации. Для широкой категории приложений этот «реактивный двигатель» появился в виде первой прикладной статистики и теории вероятности, затем в виде машинного обучения и все более изощренных алгоритмов ИИ.
В 2006 году Роджер Магоулас, вице-президент O’Reilly Media по научным исследованиям, впервые ввел термин «большие данные» для описания новых инструментов управления данными в масштабе, который позволяет обслуживать такие компании, как Google. Бывший научный сотрудник корпорации Bell Labs Джон Маши использовал этот термин еще в 1998 году, но для описания растущего объема собираемых и хранимых данных, а не для каких-то управляемых этими данными услуг, основанных на статистике, и не для обозначения крупных достижений в области программного обеспечения и рабочих процессов, которые делают возможным предоставление этих услуг.
Большие данные означают не просто более масштабную версию реляционной базы данных, такой как Oracle. Это нечто совершенно иное. В своем докладе 2009 года «Необъяснимая эффективность данных» (своим названием он обязан классическому докладу Юджина Вигнера 1960 года «Необъяснимая эффективность математики в естественных науках») исследователи машинного обучения корпорации Google Алон Халеви, Питер Норвиг и Фернандо Перейра объяснили растущую эффективность статистических методов при решении сложных тогда проблем, таких как распознавание речи и машинный перевод.
Большая часть предшествующей работы была основана на грамматике. Смогли бы вы сконструировать, по сути, огромный поршневой двигатель, который использовал бы свои знания грамматических правил для распознавания человеческой речи? Успех был бы незначительным. Но по мере появления в Интернете все большего количества документов ситуация менялась. Несколько десятилетий назад исследователи полагались на тщательно отобранные фигуры человеческой речи и литературные произведения, которые в лучшем случае содержали несколько миллионов слов. Но в конечном итоге в Интернете стало настолько много контента, что правила игры сильно изменились. В 2006 году корпорация Google собрала базу из триллиона слов для исследователей языка и разработала «реактивный двигатель» для их обработки. С того момента прогресс пошел быстро и решительно.
Халеви, Норвиг и Перейра отмечали, что эта база, взятая из Интернета, во многом отличалась от курируемых версий, которыми пользовались предыдущие исследователи. В ней было полно незаконченных предложений, грамматических и орфографических ошибок, она не была привязана к грамматическим конструкциям и не содержала аннотацию. Но тот факт, что она была в миллион раз объемнее, перекрывал все эти недостатки. «База объемом в триллион слов – вместе с другими фигурами речи из Интернета, из миллионов, миллиардов или триллионов ссылок, видео, изображений, таблиц и взаимодействий пользователей – охватывает даже очень редкие аспекты человеческого поведения», – писали они. Вместо того чтобы создавать все более сложные языковые модели, исследователи начали «использовать лучшего имеющегося союзника: необъяснимую эффективность данных». Путем к пониманию языка были не сложные, основанные на правилах модели: нужно было просто воспользоваться статистическим анализом и позволить данным самим рассказать им, какой должна быть модель.
