Как они узнают, что изменение улучшает релевантность? Один из способов оценить изменение – это реакция пользователей в краткосрочном плане: на какую ссылку они нажимают? Другим является реакция пользователей в долгосрочном плане: обратились ли они к Google еще раз? Еще один способ – беседовать с фактическими пользователями напрямую и спрашивать их, что они думают.
В Google также есть группа специалистов по оценке, которые проверяют результаты стандартизованного перечня общих вопросов, который ведется автоматически на постоянной основе. На заре истории Google как составление списка вопросов, так и его анализ выполнялись самими инженерами. К 2003 или 2004 году корпорация Google создала отдельную команду, определяющую качество поиска, которая стала этим заниматься. В это подразделение входят не только инженеры, занимающиеся поисковыми запросами, но и статистически значимая группа внешних пользователей, которые работают по принципу шахматного автомата «Механический турок», оценивая, «нравятся» им или «не нравятся» самые различные результаты поиска. В 2015 году корпорация Google даже опубликовала руководство, которое использует в своей работе команда, определяющая качество поиска.
Однако важно помнить, что, когда оценщики находят проблему, Google не изменяет рейтинг сайта в большую или в меньшую сторону вручную. Когда они обнаруживают аномалию – результат, созданный алгоритмом, не соответствует ожиданиям участвующих в тестировании людей, – они спрашивают себя: «Какие дополнительные факторы или какую иную оценку качества мы можем добавить к алгоритму, чтобы он выдавал тот результат, который, как мы считаем, ищут пользователи?»
Не всегда сразу становится очевидным, как решить некоторые проблемы поиска одним лишь только ранжированием. В какой-то момент лучшим результатом для запроса «Глейшер-Бей», определенным при помощи алгоритма, оказался сайт компании Glacier Bay, производящей краны и раковины, а не одноименный национальный парк в США. Алгоритм сработал верно, потому как большинство людей переходили по ссылкам и искали сантехнические приборы Glacier Bay, но пользователи были бы очень удивлены, если бы парк вообще не отображался в топе поисковой выдачи.
Моя собственная компания O’Reilly Media столкнулась с аналогичной проблемой. Сайт компании O’Reilly Media (в то время еще звавшейся O’Reilly & Associates) был одним из самых первых в Интернете, и мы опубликовали много содержательного и высококачественного контента, который был особенно актуален для первых интернет-пользователей, поэтому у нас было много-много внешних ссылок. Это дало очень высокий показатель авторитетности страницы PageRank. В какой-то момент, на заре истории Google, кто-то опубликовал «алфавит Google» – лучший результат для поиска по одной букве. Моя компания оказалась под буквой О. Но как насчет компании O’Reilly Auto Parts, входящей в рейтинг 500 крупнейших мировых компаний Fortune 500? Ее не было даже на первой странице результатов поиска.
Какое-то время, пока они не придумали, как исправить алгоритм, корпорация Google разделяла такие страницы на две части. В случае с Glacier Bay национальный парк занял верхнюю половину страницы поисковой выдачи, а нижняя половина была отдана раковинам, туалетам и кранам. В случае с O’Reilly мы с Биллом O’Райли решили поделить между собой верхнюю часть страницы, в то время как компании O’Reilly Auto Parts досталась нижняя половина. В конце концов корпорация Google значительно улучшила алгоритмы ранжирования, чтобы результаты на странице чередовались.
Одним из факторов, требующих постоянной корректировки алгоритмов, является стремление создателей веб-страниц адаптироваться к системе. Ларри и Сергей предвидели эту проблему в своем оригинальном исследовательском докладе:
«Еще одно существенное различие между веб-сайтами и строго регламентированными традиционными системами сбора данных заключается в том, что нет практически никакого контроля за тем, что люди могут разместить в Интернете. Эта свобода публиковать все, что угодно, пока огромная сила поисковых систем распределяет трафик, при наличии компаний, которые намеренно манипулируют поисковыми системами для получения прибыли, порождает серьезную проблему».
Это было преуменьшением. Целые компании были созданы для того, чтобы обманывать систему. Многие из алгоритмов поиска Google были созданы в ответ на то, что получило название «интернет-спама». Даже когда интернет-издатели не использовали коварную тактику, они все чаще боролись за улучшение своего рейтинга. «Поисковая оптимизация», или SEO, стала новым направлением. Консультанты, знающие передовые практики, советовали клиентам, как структурировать их веб-страницы, как сделать так, чтобы веб-документ содержал ключевые слова, и как выделить их надлежащим образом, объясняли, почему важно, чтобы на него ссылались существующие высококачественные сайты, и многое другое.
Существовали также и «черные методы» поисковой оптимизации – создание сайтов, которые намеренно обманывают поисковых роботов и нарушают условия их работы. «Черные методы» оптимизации включали в себя наполнение веб-страницы невидимым текстом, который поисковик может прочитать, а человек нет, а также создание множества «контент-ферм», представляющих собой алгоритмически сгенерированный контент низкого качества, отвечающий всем правильным критериям поиска, но содержащий мало полезной информации, которая действительно заинтересовала бы пользователя, и страницы перекрестных ссылок для создания видимости активности и интереса людей. Корпорация Google внедрила множество обновлений для алгоритмов поиска, предназначенных специально для борьбы с подобным спамом. Борьба с плохими игроками неизбежна для любого широко используемого онлайн-сервиса.
Однако у корпорации Google было одно огромное преимущество в этой битве: особое внимание она уделяла интересам пользователей, что нашло отражение в качественной релевантности. В своей книге 2005 года «The Search» Джон Баттел назвал Google «базой намерений». Веб-страницы могут использовать скрытые методы, чтобы попытаться улучшить свое положение, – и многие так и делали, – но корпорация Google постоянно стремилась соответствовать простому золотому стандарту: то ли это, что хочет найти пользователь?
Когда в 2002 году корпорация Google представила модель рекламного аукциона с оплатой за клик, запущенную из идеалистического стремления улучшить результаты поиска, он стал основой невероятно успешного бизнеса. К счастью, в отличие от других рекламных бизнес-моделей, которые создают конфликт интересов рекламодателей и пользователей, оплата за клик учитывает интересы и тех и других.
В модели с оплатой за показ, которая ранее занимала доминирующее положение в сфере интернет-рекламы и продолжает преобладать в печати, радио и на телевидении, рекламодатели платят за то, сколько раз зрители/слушатели увидят или услышат объявление (или в случае со средствами массовой информации, в меньшей степени поддающимися измерению, как часто они могут его видеть или слышать, на основе оценок читателей или зрителей), что обычно выражается в CPM (стоимости за обработанное количество тысяч рекламопоказов). Но в модели с оплатой за клик, представленной небольшой компанией под названием GoTo (позднее переименованной в Overture) в 1998 году, в том же году, когда была основана компания Google, рекламодатели платят только тогда, когда зритель фактически нажимает на объявление и посещает рекламируемый веб-сайт.
