aip otchet search_2014

2

КАЧЕСТВО ПОИСКАИ ПОИСКОВЫЕ СИСТЕМЫ В РУНЕТЕА Н А Л И Т И Ч Е С К И Й О Б З О Р, 2 0 1 3 Г О Д

АВТОРЫ ОТЧЕТА:

КОНСТАНТИН РОЩУПКИН,

ЛЮДМИЛА КУДРЯВЦЕВА,

СЕРГЕЙ ВАЛЬКОВСКИЙ

СОДЕРЖАНИЕ О компании «Ашманов и партнеры» .............................................................................. 4

ЧАСТЬ 1.1. Качество поиска: критерии и динамика ........................................................................ 5

Независимая оценка качества поиска..................................................................................................................................................5Что нового на Analyzethis.ru в 2013 году ............................................................................................................................................6Как работают анализаторы качества поиска ....................................................................................................................................7

2. Качество поиска по навигационным запросам ............................................................. 8Анализатор качества навигационного поиска .................................................................................................................................9Анализатор качества поиска периферийных сайтов ....................................................................................................................9Анализатор качества внутрисайтовой навигации ........................................................................................................................10Анализатор качества поиска персон ...................................................................................................................................................10Анализатор качества поиска персональных блогов ...................................................................................................................12Анализатор качества навигационного поиска в социальных сетях ...................................................................................13

3. Качество поиска по информационным запросам .........................................................14Анализатор качества поиска крылатых слов ..................................................................................................................................16Анализатор качества поиска ответов .................................................................................................................................................17Анализатор качества поиска оригиналов новостей ....................................................................................................................18Анализатор качества поиска адресов ................................................................................................................................................19

4. Качество поиска по транзакционным запросам ...........................................................19Анализатор качества поиска официальных версий программного обеспечения .......................................................21Анализатор качества поиска официальных версий контента ................................................................................................22

5. Актуальность результатов поиска................................................................................. 23Анализатор актуальности поиска: должности ...............................................................................................................................24Анализатор актуальности поиска: телефоны ..................................................................................................................................25Анализатор скорости индексации.........................................................................................................................................................26

6. Полнота и разнообразие результатов поиска .............................................................. 27Анализатор полноты индекса ..................................................................................................................................................................28Анализатор качества тематического поиска ...................................................................................................................................29Анализатор качества поиска омонимов ............................................................................................................................................30Анализатор SEO-прессинга .......................................................................................................................................................................31

7. Поиск из регионов .......................................................................................................... 32Анализатор регионального поиска ......................................................................................................................................................33Анализатор качества регионального навигационного поиска .............................................................................................34

2

КАЧЕСТВО ПОИСКА И ПОИСКОВЫЕ СИСТЕМЫ В РУНЕТЕ

8. Понимание запроса ......................................................................................................... 35Анализатор качества подсказок ............................................................................................................................................................36Анализатор устойчивости к опечаткам в запросе .......................................................................................................................37Анализатор запросов-синонимов ..........................................................................................................................................................38Анализатор поиска по запросам с числами ....................................................................................................................................39Анализатор поиска моделей ....................................................................................................................................................................40

9. Анализаторы ошибок .......................................................................................................41Анализатор замены редких слов ...........................................................................................................................................................42Анализатор замены редких фраз ..........................................................................................................................................................43Анализатор неразрывных словосочетаний .......................................................................................................................................44Анализатор поиска имен ............................................................................................................................................................................45Анализатор грамматики .............................................................................................................................................................................46

10. Раздражающие факторы ................................................................................................ 47Анализатор спама в поисковой выдаче .............................................................................................................................................48Анализатор «сайтов для взрослых» в поисковой выдаче .......................................................................................................49Анализатор качества семейного фильтра .........................................................................................................................................50Анализатор рекламной нагрузки ...........................................................................................................................................................51Анализатор порнорекламы .......................................................................................................................................................................52Анализатор вирусных угроз ......................................................................................................................................................................53

11. Общие характеристики поиска ..................................................................................... 54Асессорский анализатор ............................................................................................................................................................................55Анализатор качества сниппетов ............................................................................................................................................................56Анализатор апдейтов ...................................................................................................................................................................................57Анализатор скорости регионального поиска ..................................................................................................................................58

3


ЧАСТЬ 2.

1. Основные события на рынке поиска в Рунете в 2013 году ...................................... 59Усиление государственного регулирования Рунета ...................................................................................................................59Возрастающая роль социальных сетей в экосистеме Интернета и в функционировании поисковиков .........60Персонализация поисковых результатов ..........................................................................................................................................61Отказ поисковиков от модели «зеркало Интернета, в котором отражаются документы с сайтов» ..................61Мобильный поиск: другие проблемы, другие подходы ............................................................................................................62Обострение конкуренции в области качества поиска ...............................................................................................................62

2. «Яндекс» в 2013 году ..................................................................................................... 63«Яндекс.Острова» ...........................................................................................................................................................................................63Улучшение поиска картинок ....................................................................................................................................................................64Продолжение работы по выходу на зарубежные рынки ..........................................................................................................64Покупка «Кинопоиска», усиление функционала, связанного с видео и кино ...............................................................64Дистрибуция на мобильных платформах ..........................................................................................................................................65Ранжирование без ссылок ........................................................................................................................................................................65Поисковое партнерство с Facebook ......................................................................................................................................................66

3. Google в России в 2013 году ......................................................................................... 67Новый гендиректор Google Россия .......................................................................................................................................................68Новый поисковый алгоритм Hummingbird ........................................................................................................................................68Борьба со ссылочными биржами, в том числе российскими .................................................................................................68Новое поколение устройств .....................................................................................................................................................................69

4. Поиск Mail.ru в 2013 году .............................................................................................. 70Переход на собственный поиск ..............................................................................................................................................................70Ответы и информация в выдаче.............................................................................................................................................................70Протоострова в выдаче go.mail.ru ........................................................................................................................................................70Привлечение к сотрудничеству вебмастеров ..................................................................................................................................71Выход на глобальный рынок ...................................................................................................................................................................71Временное затишье в области дистрибуции ..................................................................................................................................71

5. Резюме ............................................................................................................................. 72


4

О КОМПАНИИ «АШМАНОВ И ПАРТНЕРЫ»

Ежегодный аналитический отчет по качеству работы поисковых систем подготовлен компанией «Ашманов и партнеры». Материал основан на данных, получен-ных при помощи семейства анализаторов проекта AnalyzeThis.

Анализаторы, разработанные компанией, позволяют с высокой точностью оценивать, как с течением времени меняется качество работы основных поис-ковых систем русскоязычного сегмента Интернета.

Создание этого уникального проекта стало возможным благодаря привлечению к работе лучших специали-стов в области поисковых технологий и лингвисти-ки, которые также занимаются реализацией новой вьетнамской поисковой системы Wada.

Среди прочих разработок компании — сервисы, обе-спечивающие высококачественный семантический анализ контента. К их числу относятся система управления репутацией в Интернете «Крибрум», технология «Семантическое зеркало» и другие.

Компания «Ашманов и партнеры» является одним из лидеров российского рынка интернет-маркетинга. С 2001 года компания оказывает услуги по комплекс-ному продвижению брендов в Интернете, консалтингу и аналитике.


5

ЧЕМ ДАЛЬШЕ, ТЕМ ПРОЧНЕЕ ПОИСКОВЫЕ СИСТЕМЫ УТВЕРЖДАЮТСЯ В РОЛИ НЕЗА-МЕНИМЫХ ПОМОЩНИКОВ В ПОВСЕДНЕВ-НОЙ ЖИЗНИ. ОТВЕТ НА ВОПРОС, РЕШЕ-НИЕ ПРОБЛЕМЫ ИЛИ ПРОСТО ПОИСК ИНФОРМАЦИИ — ИМЕННО К ЛЮБИМОМУ ПОИСКОВИКУ ОБРАТИТСЯ ЧЕЛОВЕК В ПЕРВУЮ ОЧЕРЕДЬ. НО ЕСЛИ ПРЕД-ЛОЖЕННЫЕ РЕЗУЛЬТАТЫ ПОКАЖУТСЯ НЕУДОВЛЕТВОРИТЕЛЬНЫМИ, ЧЕЛОВЕК ЛЕГКО ЗАДАCТ ТОТ ЖЕ ЗАПРОС В ДРУ-ГОМ ПОИСКОВИКЕ, КОТОРЫЙ МОЖЕТ СО ВРЕМЕНЕМ СТАТЬ «ЛЮБИМЫМ».

НЕЗАВИСИМАЯ ОЦЕНКА КАЧЕСТВА ПОИСКА

В условиях конкуренции качество поиска становится особенно важным, а значит — и наличие объектив-ной его оценки. Конечно, сравнивать между собой поисковые системы можно по принципу «нравится / не нравится», но гораздо интереснее выглядит сравне-ние, проведенное с использованием анализа и оценки результатов поиска по различным наборам запросов.

Лингвисты и разработчики компании «Ашманов и партнеры» создали методику, позволяющую автома-тически оценивать поисковые системы по различным характеристикам, и запустили летом 2007 года первые анализаторы качества поиска на основе технологии сайтов-маркеров.

КАЧЕСТВО ПОИСКА: КРИТЕРИИ И ДИНАМИКА

1.ЧАСТЬ 1

6


С результатом работы анализаторов можно ознакомить-ся на сайте проекта AnalyzeThis (www.analyzethis.ru). Сейчас эти анализаторы — единственный независимый тест качества поиска в Рунете. В 2010 году была запу-щена английская версия анализаторов. Все известные аналоги исследуют меньшее количество поисковых систем по меньшему числу критериев.

В 2012 году сайт проекта был обновлен, анализато-ры были разбиты на группы, что сделало просмотр результатов более удобным.

Сегодня на AnalyzeThis ежедневно публикуются:

f результаты 40 анализаторов различных характе-ристик поиска;

f интегральный показатель качества поиска;

f асессорские оценки результатов поиска;

f количество переходов с результатов поиска на сайты по данным LiveInternet.

В этом отчете изложены основные события и новости в жизни поисковых машин и описаны изменения в различных аспектах качества поиска за 2013 год.

ЧТО НОВОГО НА ANALYZETHIS.RU В 2013 ГОДУ

В течение 2013 года на Analyzethis.ru появилось шесть новых анализаторов, в нескольких анализаторах появились новые «вкладки» (результаты измерений дополнительных параметров). Некоторые изменения внедрены в уже существовавшие анализаторы.

Так, анализатор поиска официальных версий был разделен на два анализатора: поиск программного

обеспечения и поиск контента, в анализаторе скоро-сти поиска добавлены вкладки с дополнительными характеристиками распределения скорости загрузки, а в навигационном анализаторе втрое увеличено количество запросов.

Основным нововведением стало изменение формулы расчета интегрального показателя качества поиска. Если раньше в формуле все показатели поискови-ков нормировались в промежутке между лучшим и худшим, то с февраля нормирование происходит от лучшего до нуля. В связи с этим на графике ана-лизатора общего качества поиска в феврале виден резкий скачок.

Сразу три анализатора, появившихся в 2013 году — запро-сы с числами, поиск адресов, грамматика, — связаны с умением поисковых машин определять тип запроса и учитывать его при построении результатов поиска.

Как всегда, в течение года происходило регулярное обновление части запросов или маркеров к ним в раз-ных анализаторах. Например, заметное синхронное падение в декабре 2013 всех поисковиков в обоих анализаторах актуальности было связано с полным обновлением запросов одного (должностей) и значи-тельным — другого (телефонов).

В 2013 году поисковик Mail.ru полностью перешел на свой поисковый движок (ранее до трети запросов к поисковику обрабатывалась с помощью Google), в связи с чем из списка анализируемых поисковиков был убран тестовый Mail-beta.

Также стоит отметить, что с графиков качества поиска за 2013 год в этом отчете мы, как и в прошлом году, убрали «Рамблер», так как с лета 2011 года на этом портале работает поисковый движок «Яндекса», и результаты измерения для «Рамблера» и «Яндекса» практически совпадают.

7


КАК РАБОТАЮТ АНАЛИЗАТОРЫ КАЧЕСТВА ПОИСКА

Каждый анализатор оценивает один из аспектов качества поиска; большинство из них работает в авто-матическом режиме, хотя отдельные анализаторы требуют дополнительной ручной обработки. Анализатор задает всем поисковикам специально подобранный специалистами компании набор запросов, к которым почти всегда привязан набор маркеров, по присутствию (или отсутствию) которых в результатах поиска робот и оценивает выдачу. Маркером может быть конкретный сайт, страница или даже словосочетание — это зависит от того, что именно оценивает анализатор. Поисковая выдача по нескольким тысячам запросов фиксируется и оценивается ежедневно.

Подробное описание работы анализаторов вы можете найти на сайте www.analyzethis.ru или в виде при-ложения к первому аналитическому отчету «Поиск и контекстная реклама в Рунете 2008», который можно скачать на сайте www.ashmanov.com*.

Все результаты работы анализаторов с момента их публикации всегда можно посмотреть на сайте www.analyzethis.ru, во многих случаях статистика доступна за 5 и более лет.

*На странице www.ashmanov.com/company/news/i64


8

ПОИСК ПО НАВИГАЦИОННЫМ ЗАПРО-САМ — ЭТО ПОИСК ОПРЕДЕЛЕННЫХ СТРАНИЦ И САЙТОВ В ИНТЕРНЕТЕ. НАПРИМЕР, ПО ЗАПРОСУ «СБЕРБАНК» ПОЛЬЗОВАТЕЛЬ, СКОРЕЕ ВСЕГО, ХОЧЕТ ПОЛУЧИТЬ ССЫЛКУ НА САЙТ СБЕРБАНКА. С ПОИСКОМ ПО ОБЫЧНЫМ НАВИГАЦИ-ОННЫМ ЗАПРОСАМ ВСЕ ПОИСКОВИКИ СПРАВЛЯЮТСЯ ОТЛИЧНО. ИНТЕРЕСНО ПОСМОТРЕТЬ ЧУТЬ ГЛУБЖЕ — НАПРИ-МЕР, НА ПОИСК ПО РЕГИОНАЛЬНЫМ НАВИГАЦИОННЫМ ЗАПРОСАМ ИЛИ НА ВНУТРИСАЙТОВУЮ НАВИГАЦИЮ.

2.КАЧЕСТВО ПОИСКА ПО НАВИГАЦИОН-НЫМ ЗАПРОСАМ

9


АНАЛИЗАТОР КАЧЕСТВА НАВИГАЦИОННОГО ПОИСКА

Навигационный поиск уже давно не является проблемой для поисковых машин. Накопленные данные о кликах пользователей позволяют выдавать ссылку на нужный сайт в ответ на почти любой навигационный запрос.

В начале сентября 2013 года был полностью заменен набор запросов анализатора, кроме того, количество запросов было увеличено в три раза. В наборе появи-лись запросы с опечатками, неофициальные названия и названия сайтов в русской транскрипции.

Тем не менее, качество навигационного поиска, измерен-ное анализаторами, у основных поисковиков Рунета — «Яндекса», Google и Mail.ru — почти не изменилось и по-прежнему редко опускается ниже 99% (рис. 1). Качество «навигации» в Yahoo, в среднем, равно при-мерно 97%, а в Bing этот показатель еще немного ниже.

АНАЛИЗАТОР КАЧЕСТВА ПОИСКА ПЕРИФЕРИЙНЫХ САЙТОВ

Периферийные сайты — это малоизвестные, небольшие сайты, чаще всего, региональные. Качество поиска таких сайтов по навигационным запросам, очевидно, будет ниже, но тем интереснее посмотреть на результаты соответствующего анализатора (рис. 2).

Рисунок 1. Качество навигационного поиска

■ Bing ■ Google ■ Mail ■ Yahoo ■ Yandex

Январь Февраль Март Апрель Май Июнь Июль Август Сентябрь Октябрь Ноябрь Декабрь

100

95

90

85

80

%

10


Рисунок 2. Качество поиска периферийных сайтов


100

80

60

40

20

%

Здесь у поисковиков осталось гораздо больше места для роста, и действительно, небольшими темпами, но на протяжении всего 2013 года растут результаты «Яндекса», Google и Mail.ru в анализаторе качества поиска периферийный сайтов. Косвенно это может быть связано с увеличением полноты индекса (мы посмотрим на это позже) и с постепенным накоплением данных о поведении пользователей в результатах поиска.

АНАЛИЗАТОР КАЧЕСТВА ВНУТРИСАЙТОВОЙ НАВИГАЦИИ

Анализатор качества внутрисайтовой навигации оцени-вает, насколько успешно поисковики понимают запросы, направленные на поиск определенной страницы (раздела) сайта. Если пользователь указал, что конкретно ему нужно на сайте, то главная страница будет почти столь

же нерелевантна, сколь любые другие. Зато нередко удачным решением является показ сайтлинков — ссылок на разделы сайта под ссылкой на основную страницу.

Лучше всех ссылки на разделы сайтов находит Google, хотя его отрыв от «Яндекса» в 2013 году заметно сокра-тился (рис. 3). В конце года значительно улучшил внутри-сайтовую навигацию Mail.ru. Yahoo показывает результаты, сравнимые с «Яндексом», а иногда и превосходящие его.

АНАЛИЗАТОР КАЧЕСТВА ПОИСКА ПЕРСОН

Три самых популярных поисковика в Рунете почти одинаково хорошо справляются с поиском персональ-ных сайтов (рис. 4), хотя первую половину 2013 года с небольшим отрывом все же лидировал «Яндекс».


11


Рисунок 3. Качество внутрисайтовой навигации

Рисунок 4. Качество поиска персон



100

80

60

40

100

80

60

40

20

%

%


12


АНАЛИЗАТОР КАЧЕСТВА ПОИСКА ПЕРСОНАЛЬНЫХ БЛОГОВ

По принципу работы этот анализатор похож на анали-затор качества поиска персональных сайтов: по запросу, состоящему из имени и фамилии, поисковики должны найти на первом месте блог человека, по крайней мере, если именно этот блог — основная форма присутствия человека в Интернете.

В феврале 2013 года запросы этого анализатора были заменены на более сложные: разыскиваются менее известные люди, а названия их блогов мало похожи на их фамилии.

В результате на графике видно синхронное падение ведущих поисковиков (рис. 5). Очевидно, что нахож-дение блогов оказалось более сложной задачей, чем поиск персональных сайтов: ни одному поисковику не удается найти более 80% блогов. «Яндексу» почти весь год удавалось удерживать слабое лидерство, хотя в конце года Mail.ru приблизился к нему почти вплотную.

Рисунок 5. Качество поиска персональных блогов



100

90

80

70

60

50

%

13


Рисунок 6. Качество навигационного поиска в социальных сетях


Август Сентябрь Октябрь Ноябрь Декабрь

100

80

60

40

20

0

%

АНАЛИЗАТОР КАЧЕСТВА НАВИГАЦИОННОГО ПОИСКА В СОЦИАЛЬНЫХ СЕТЯХ

Аудитория социальных сетей постоянно растет, и боль-шинство пользователей Интернета так или иначе ими пользуются. Вслед за пользователями туда переезжают и представители бизнеса, и чем дальше, тем больше примеров, когда бизнес не создает собственный сайт, а использует группы и сообщества в соцсетях как свое единственное представительство в Интернете.

В определенный момент таких примеров накопилось достаточно, и в августе 2013 года был создан анализатор качества навигационного поиска в социальных сетях. Он оценивает умение поисковиков находить ссылки на официальные страницы организаций в соцсетях по названию компаний.

Оказалось, что «Яндекс» и Google очень хорошо справляются с этой разновидностью навигационного поиска (рис. 6), хотя примечательно, что начиная с лета качество поиска постепенно снижалось и достигло уровня в 90%.

Куда более интересен скачок качества этого аспекта поиска у Mail.ru. Можно предположить, что разработ-чики в своем время не уделяли поиску в социальных сетях достаточно внимания, но за несколько месяцев работы анализатора смогли обучить поисковые алго-ритмы и достичь приемлемого качества.


14

3.КАЧЕСТВО ПОИСКА ПО ИНФОРМАЦИОН-НЫМ ЗАПРОСАМ

ИНФОРМАЦИОННЫМИ ЗАПРОСАМИ НАЗЫ-ВАЮТ ТЕ, С ПОМОЩЬЮ КОТОРЫХ ПОЛЬ-ЗОВАТЕЛЬ ПЫТАЕТСЯ НАЙТИ КАКУЮ-ТО ИНФОРМАЦИЮ: ОТВЕТ НА ВОПРОС, РЕШЕ-НИЕ ПРОБЛЕМЫ, КАКОЙ-НИБУДЬ ТЕКСТ И Т. П. УЖЕ ИЗ ЭТОГО ОПРЕДЕЛЕНИЯ ВИДНО, ЧТО ТАКИЕ ЗАПРОСЫ БЫВАЮТ ОЧЕНЬ РАЗНЫМИ, А ИХ ФОРМУЛИРОВКИ НЕРЕДКО ДОВОЛЬНО РАСПЛЫВЧАТЫ. СРЕДИ ПОИСКОВЫХ ЗАПРОСОВ ИНФОРМА-ЦИОННЫЕ ВСТРЕЧАЮТСЯ ЧАЩЕ ВСЕГО.

Поскольку информационный поиск очень разнообразен, оценить его качество достаточно сложно. В большой степени эту задачу решает асессорский анализатор: как и в поиске в целом, информационные запросы в нем преобладают. Но оценить отдельные аспекты инфор-мационного поиска можно, и это делают анализаторы соответствующей группы.

15


Январь Февраль Март Апрель Май Июнь Июль Август Сентябрь Октябрь Ноябрь Декабрь%

100

80

60

40

20

0

АНАЛИЗАТОР КАЧЕСТВА ПОИСКА ЦИТАТ

Цитатный поиск — один из самых простых для оцени-вания аспектов информационного поиска. Если запрос является точной цитатой из некоторого произведения, по нему обязательно должен находиться либо источник цитаты (полный текст произведения), либо хотя бы название и автор. На сайте analyzethis.ru на вкладках анализатора можно видеть, насколько часто поисковики находят и то и другое по отдельности, а суммарный результат анализатора — доля найденных страниц, где присутствует хотя бы что-нибудь одно.

Поисковики Рунета достаточно хорошо справляются с цитатным поиском, хотя еще есть что совершен-ствовать (рис. 7). В 2013 году наибольших успехов в этой области добился Mail.ru, занимающий с апреля первое место.


Рисунок 7. Анализатор качества поиска цитат

16


АНАЛИЗАТОР КАЧЕСТВА ПОИСКА КРЫЛАТЫХ СЛОВ

Очевидно, что вводя в поисковую строку какую-то крылатую фразу, пользователь хочет узнать толкование фразы или ее происхождение (автора и название про-изведения, если это цитата из литературного произве-дения), а не найти кучу текстов, где она используется. Анализатор качества поиска крылатых фраз оценивает поисковики по тому, какая доля найденных по таким запросам страниц содержит указание на происхожде-ние фразы (засчитываются как автор и название, так и исходный текст произведения).

Примерно на 95% страниц из результатов поиска «Яндекса», Google и Mail.ru находятся нужные тексты или ответы. Очень плохо с поиском крылатых слов у Bing, ситуация ухудшается на протяжении всего 2013 года.

Рисунок 8. Анализатор качества поиска крылатых слов



100

80

60

40

20

17


Рисунок 9. Анализатор качества поиска ответов



80

60

40

20

0

АНАЛИЗАТОР КАЧЕСТВА ПОИСКА ОТВЕТОВ

Одно из важнейших умений любого поисковика — находить ответы на заданные вопросы. Для этого ана-лизатора подобраны запросы, подразумевающие явный ответ сразу на странице результатов поиска. Поэтому результат анализатора зависит от того, насколько высоко расположен сниппет с правильным ответом («хелперы» засчитываются как первая позиция). Дополнительные вкладки проверяют, в том числе, и наличие ответов на страницах, найденных поисковиком.

По результатам видно, что поисковикам есть что улучшить в этом аспекте поиска: качество показа ответов на вопросы можно оценить не больше, чем на 80% (рис. 9). Заметим, что в поиске Mail.ru в течение года ситуация даже немного ухудшалась. В то же время, четвертая вкладка анализатора (на сайте analyzethis.ru) говорит, что в результатах поиска лидеров ответы примерно на 95% вопросов так или иначе найдутся.

18


Рисунок 10. Анализатор качества поиска оригиналов



100

80

60

40

20

0

АНАЛИЗАТОР КАЧЕСТВА ПОИСКА ОРИГИНАЛОВ НОВОСТЕЙ

Редкий владелец сайта будет обрадован, когда ори-гинальный текст, опубликованный им на своем сайте, оказывается без разрешения опубликован где-то еще. Еще хуже, если при этом поисковые системы показывают этот сворованный текст в результатах поиска выше оригинала. К сожалению, это очень рас-пространенное явление.

Запросы созданного нами анализатора — цитаты из текстов, сайт-первоисточник которых достоверно известен. Анализатор ежедневно проверяет позиции этих сайтов в выдаче и оценивает долю запросов, по которым оригиналы находятся выше копий.

Лучше, чем в других поисковиках, с нахождением оригиналов справляется Google (рис. 10). Удивительно, но Yahoo в сентябре удалось обогнать и «Яндекс», и Mail.ru, выйдя на второе место. К сожалению, каче-ство поиска оригиналов обоих российских поисковиков в течение года немного ухудшалось. Впрочем, с октября у «Яндекса» наблюдается постепенное улучшение. Это может быть связано с тем, что в конце октября было снято ограничение на ТИЦ для программы «Оригинальные тексты» (эта программа дает вебмастеру любого сайта возможность до публикации на своем сайте загрузить текст длиной не менее 500 знаков в базу «Яндекса», сообщив таким образом, какой именно сайт будет для него первоисточником).

19


АНАЛИЗАТОР КАЧЕСТВА ПОИСКА АДРЕСОВ

Весной 2013 года был запущен пятый анализатор информационного поиска, оценивающий качество нахождения адреса организации по ее названию и географическому ориентиру. Очевидно, что поиск адреса — достаточно частая ситуация, а значит, уме-ние его находить довольно важно для поисковиков. Анализатор оценивает, насколько высоко поисковики показывают нужный адрес на странице выдачи, т.е. в хелперах и сниппетах. Дополнительная вкладка оценивает наличие адресов на найденных страницах.

Дела у поисковиков здесь обстоят не лучшим образом. С момента публикации анализатора результаты лиде-ров не только не росли, но даже немного снижались (рис. 11). В итоге к концу года на первое место вышел Google, но и его результат — всего 78%.

Рисунок 11. Анализатор качества поиска адресов


Апрель Май Июнь Июль Август Сентябрь Октябрь Ноябрь Декабрь%

100

80

60

40

20

0


20

КАЧЕСТВО ПОИСКА ПО ТРАНЗАКЦИОН-НЫМ ЗАПРОСАМ

СУЩЕСТВУЕТ ОЧЕНЬ МНОГО ВАРИ-АНТОВ ТРАНЗАКЦИОННЫХ ЗАПРОСОВ. ЭТО МОЖЕТ БЫТЬ ПОИСК ПЕСНИ ИЛИ ФИЛЬМА, А МОЖЕТ — ДОСТАВКИ ЦВЕ-ТОВ. ВСЕ ЭТИ ЗАПРОСЫ ОБЪЕДИНЯЕТ ТО, ЧТО ОНИ ПОДРАЗУМЕВАЮТ КАКОЕ-ЛИБО ДЕЙСТВИЕ: «СКАЧАТЬ», «ПОСЛУШАТЬ», «КУПИТЬ» И ПР.

Первый анализатор качества транзакционного поис-ка появился в конце 2012 года. По своей сути это навигационный анализатор, хотя речь и идет о тран-закционных запросах. В начале 2013 этот анализатор был разделен на два разных.

4.

21


АНАЛИЗАТОР КАЧЕСТВА ПОИСКА ОФИЦИАЛЬНЫХ ВЕРСИЙ ПРОГРАММНОГО ОБЕСПЕЧЕНИЯ

Анализатор качества поиска официальных версий ПО оценивает способность поисковиков находить ссылки на официальные сайты разработчиков, где популяр-ные программы можно скачать безопасно и легально. Основная задача поисковиков — поставить эти сайты выше сайтов-паразитов, собирающих трафик по таким запросам. На подобных сайтах пользователю будут не только навязчиво показывать порой очень раздра-жающую рекламу, но и могут при скачивании заразить его компьютер различными вирусами.

С марта 2013 года, когда этот анализатор стал существо-вать отдельно, поисковые машины улучшали качество поиска официальных версий по запросам, подраз-умевающим скачиванием программ. У тройки лидеров качество приблизилось к 85% (рис. 12). Интересно, что Mail.ru, испытывавший проблемы с такими запросами в течение года, смог к ноябрю снова догнать «Яндекс» и Google.

Рисунок 12. Анализатор качества поиска официальных версий программного обеспечения



90

75

60

45

30

22


АНАЛИЗАТОР КАЧЕСТВА ПОИСКА ОФИЦИАЛЬНЫХ ВЕРСИЙ КОНТЕНТА

Аналогичные проблемы возникают и при поиске контента: способность находить среди горы мусора и сомнительных сайтов ссылки на официальные (или хотя бы легальные) источники аудио и видео контен-та и ставить их на первые места в выдаче является важным умением поисковика.

Анализатор официальных версий контента унаследовал всю историю единого анализатора официальных версий, существовавшего до марта 2013. Поэтому на его гра-фике (рис. 13) заметно синхронное падение результатов всех поисковиков в апреле: поиск легального контента оказался гораздо более сложной задачей, чем поиск сайтов разработчиков ПО.

Такие результаты показывают, что разделение анализатора было правильным решением, ведь новый анализатор отлично подчеркивает проблему. Поисковики пока плохо справляются с тысячами сайтов-пустышек, на которых размещен нелегальный контент, со всех сторон обвешанный рекламными блоками. Более половины сайтов производителей контента (киностудий, музыкальных групп и т. д.) им вовсе неизвестны.

Рисунок 13. Анализатор качества поиска официальных версий контента



60

40

20

0


23

5.ОТВЕТ ПОИСКОВОЙ МАШИНЫ НА ЗАПРОС ДОЛЖЕН БЫТЬ НЕ ПРОСТО РЕЛЕВАНТНЫМ, НО И АКТУАЛЬНЫМ. ПОИСКОВЫЕ РОБОТЫ ДОЛЖНЫ ПОСТОЯННО СЛЕДИТЬ ЗА ИЗМЕ-НЕНИЯМИ В ИНТЕРНЕТЕ И ОБНОВЛЯТЬ СВОЙ ИНДЕКС В СООТВЕТСТВИИ С НИМИ. СВЕЖИЕ РЕЗУЛЬТАТЫ ОСОБЕННО ВАЖНЫ, ЕСЛИ РЕЧЬ ИДЕТ ОБ ИЗМЕ-НЕНИЯХ, ПРОИЗОШЕДШИХ НЕ ТОЛЬКО НА ВЕБ-СТРАНИЦЕ, НО И В ЖИЗНИ.

АКТУАЛЬНОСТЬ РЕЗУЛЬТАТОВ ПОИСКА

24


АНАЛИЗАТОР АКТУАЛЬНОСТИ ПОИСКА: ДОЛЖНОСТИ

Каждую неделю десятки крупных российских компаний меняют отдельных топ-менеджеров — и информация об этом довольно быстро появляется в Интернете. Понятно, что чем дольше человек работает в новой должности, тем больше в Интернете источников, содержащих правильную информацию. Но первое время после назначения перед поисковиками стоит непростая задача: показать именно актуальную инфор-мацию по запросам вроде «генеральный директор Группы Rail Garant» или «начальник Биробиджанской таможни». Поэтому наши специалисты регулярно обнов-ляют запросы анализатора актуальности должностей. Естественно, после больших обновлений результаты всех поисковиков падают.

В декабре 2013 года в рамках очередного обновления были заменены все запросы анализатора. Реакция поисковиков была предсказуемой, однако падение результатов Mail.ru превзошло все ожидания (рис. 14). Обновление списка запросов показало, что за год выдача поисковиков не стала лучше в том, что касается актуальности: показатели качества поиска вернулись на уровни начала года.

Рисунок 14. Анализатор актуальности поиска: должности


80

70

60

50

40


25


АНАЛИЗАТОР АКТУАЛЬНОСТИ ПОИСКА: ТЕЛЕФОНЫ

Анализатор актуальности результатов поиска теле-фонов также оценивает свежесть поисковой выдачи, но использует другие запросы: название организа-ций + нередко, слово-уточнение «телефон». Смена телефонов — явление не самое редкое и точно очень болезненное, поэтому поисковикам важно быстро реагировать на изменения такого рода.

Запросы этого анализатора тоже регулярно обновля-ются, и снова в конце года на графике видны следы такого обновления (рис. 15). Поначалу удивляет первое место, Bing, ведь у этого поисковика самая низкая скорость индексации новых страниц (мы увидим это на следующем графике), но на самом деле, он про-сто не находит большей части телефонов и потому получает оценку лишь за малое количество запросов с разумными результатами. «Яндекс», Google и Mail.ru все еще не могут преодолеть планку в 70%.



90

80

70

60

50

Рисунок 15. Анализатор актуальности поиска: телефоны

26


АНАЛИЗАТОР СКОРОСТИ ИНДЕКСАЦИИ

Чтобы понять, насколько быстро могут обновляться результаты поиска, нужно оценить скорость индексации роботами новых страниц с сайтов. Для этого был соз-дан анализатор скорости индексации, который узнает о появлении свежих страниц из файлов sitemap.xml на крупных, часто обновляемых сайтах.

Анализатор в течение 30 дней проверяет, находится ли данная страница в поиске. Интересно, что за 30 дней в Google попадают всего в среднем 80% новых страниц, а в «Яндекс» — всего 65% (рис. 16). В Mail.ru в первом полугодии были проблемы с индексацией новых страниц, но к сентябрю показатели сравнялись с «Яндексом».

Этот анализатор дополнительно показывает, какая доля новых страниц попала в индекс в течение первых двух дней, в течение 3—6 дней, в первые две недели. В 2012 году за первые два дня в индекс попадало всего около 40% новых страниц. В 2013 году этот показатель у «Яндекса» и Mail.ru немного, но вырос — примерно до 45—50%. Результаты Google довольно сильно колеблются, но в среднем, они недалеко ушли от показателей прошлого года.



100

80

60

40

20

0

Рисунок 16. Анализатор скорости индексации


27

6.ПО ДАННЫМ РАЗРАБОТЧИКОВ ПОИС-КОВЫХ МАШИН, СРЕДНЯЯ ДЛИНА ПОИСКОВОГО ЗАПРОСА РАСТЕТ: В ПЕР-ВУЮ ОЧЕРЕДЬ ЭТО ОЗНАЧАЕТ, ЧТО ДОЛЯ ЗАПРОСОВ, СОСТОЯЩИХ ИЗ НЕСКОЛЬКИХ СЛОВ БОЛЬШЕ, ЧЕМ ОДНОСЛОВНЫХ.

При этом, например, в «Яндексе», где средняя длина запроса — 3,4 слова, более половины всех запросов за месяц уникальны.*

Это значит, что поисковик должен справляться с самыми разными запросами, а не только с наиболее частыми. Для этого нужно уметь широко трактовать запросы, когда их смысл неоднозначен, и иметь большой охват (полноту индекса), чтобы находить ответ даже на самые специфические запросы.

ПОЛНОТА И РАЗНООБРАЗИЕ РЕЗУЛЬТАТОВ ПОИСКА

*Источник: информационный бюллетень «Пользователи Яндекса: интересы и поисковое поведение»

http://company.yandex.ru/researches/reports/2013/ya_search_interests_2013.xml

28


АНАЛИЗАТОР ПОЛНОТЫ ИНДЕКСА

Размер индекса — показатель количества сайтов, известных поисковику. Чем он полнее, тем меньше запросов останется без ответа. Для оценки полноты индекса мы подбираем специальные слова, которые редко встречаются как в поисковых запросах, так и на сайтах в Сети. Стоит отметить, что анализатор оценивает индекс поисковиков относительно друг друга, поскольку у нас нет способа узнать обо всех страницах в Интернете. Его значения можно считать верхней оценкой доли страниц Рунета, известных поисковикам.

В 2013 году относительная полнота индекса Mail.ru достигла уровня «Яндекса» (рис. 17). Полнота остальных поисковиков относительно друг друга в течение года почти не менялась. К сожалению, судя по результатам, даже занимающему первое место Google известно не более 75% русскоязычных веб-страниц.

Рисунок 17. Анализатор полноты индекса



80

60

40

20

0

29


Рисунок 18. Анализатор качества тематического поиска


50

40

30

20

10

АНАЛИЗАТОР КАЧЕСТВА ТЕМАТИЧЕСКОГО ПОИСКА

Анализатор тематического поиска оценивает способность поисковых машин находить все сайты организаций, соответствующих конкретному запросу. Например, мы можем наверняка знать список «Глазных клиник в Уфе» или «Российских производителей слюды», особенно, имеющих свои сайты, и сравнить его с тем, что выдают поисковики в ответ на эти запросы.

Оказывается, что сайты организаций по собирательным запросам находятся плохо: даже у лучшего с точки зрения тематического поиска Google результат — всего 35%, и он только снижается. Это может показаться странным, но только на первый взгляд.

На самом деле, поисковики просто не показывают конкретные сайты организаций в выдаче, а находят сайты-агрегаторы, содержащие информацию обо всех подходящих компаниях, в том числе, не имеющих страниц в Интернете. Мы планируем изменить прин-ципы работы анализатора, чтобы его результаты стали более показательными.


30


АНАЛИЗАТОР КАЧЕСТВА ПОИСКА ОМОНИМОВ

Мы считаем, что в результатах поиска по запросу, состо-ящему из слова, имеющего несколько разных смыслов, должны быть представлены страницы, отвечающие всем значениям слова. Например, запрос «авангард» может соответствовать как банку, так и движению в искусстве, а в общем случае поисковик не может точно знать, какое из значений интересовало пользователя.

В 2013 году поисковики продемонстрировали довольно близкое относительно друг друга качество поиска по запросам-омонимам (рис. 19). Но в целом, ситуация не идеальна: результат меньше 80% означает, что получив запрос, имеющий пять возможных смыслов, поисковые машины не учтут хотя бы один из них.

Рисунок 19. Анализатор качества поиска омонимов


80

75

70

65

60


31


АНАЛИЗАТОР SEO-ПРЕССИНГА

Любой вебмастер или владелец сайта заинтересован в увеличении посещаемости своего ресурса: на этом и построена индустрия SEO. Для продвижения сайтов в поисковиках иногда используются общие информа-ционные запросы, вовсе не являющиеся ни коммерче-скими, ни напрямую относящимися к данному сайту. Примеров таких запросов много: «загар», «красота», «цветы» и т. д. В результате поисковики испытывают так называемый SEO-прессинг по информационным запросам.

Впрочем, сейчас стоит говорить о том, что этот вид SEO-прессинга остался в прошлом. Доля коммерческих сайтов по общим запросам в поисковиках колеблется от 15% до 30% (рис. 20), т.е. 1—3 сайта на страницу выдачи. Поскольку запросы довольно общие, такие результаты выглядят вполне адекватно. Более того, поисковики настолько хорошо справились с этим явлением, что мы приняли решение закрыть анали-затор SEO-прессинга — впервые в истории проекта.



30

25

20

15

10

Рисунок 20. Анализатор уровня SEO-прессинга


32

7.ПОИСК ИЗ РЕГИОНОВ

В 2010 ГОДУ «ЯНДЕКС» ПРЕДСТАВИЛ ИССЛЕДОВАНИЕ РЕГИОНАЛЬНЫХ ОСОБЕННОСТЕЙ ПОИСКА, В КОТОРОМ ОТМЕЧАЛОСЬ, ЧТО ПРИМЕРНО 16% ЗАПРОСОВ К ПОИСКОВИКУ ЯВЛЯЮТСЯ РЕГИОНАЛЬНЫМИ, Т.Е. ВЫДАЧУ ПО НИМ НУЖНО СТРОИТЬ ИСХОДЯ ИЗ ТОГО, В КАКОМ ГОРОДЕ БЫЛ СДЕЛАН ЗАПРОС. ЭТО ОЧЕНЬ ЗАМЕТНАЯ ДОЛЯ, КОТОРАЯ С ТЕХ ПОР ЛИШЬ ПРОДОЛЖАЕТ РАСТИ. ПОЭТОМУ КАЧЕСТВО ПОИСКА В РЕГИО-НАХ — ДОСТАТОЧНО ВАЖНЫЙ АСПЕКТ.

33



80

60

40

20

0

АНАЛИЗАТОР РЕГИОНАЛЬНОГО ПОИСКА

Анализатор регионального поиска подсчитывает долю региональных страниц в выдаче по таким информацион-ным запросам, для которых географическое положение пользователя очевидно значимо (например, «адреса зоомагазинов» или «роллы доставка»).

Этот анализатор собирает данные с 2010 года, и все это время было видно, что у Google в русском Интернете очень плохо с геозависимостью: выдача несущественно подстраивается под регион пользователя.

За 2013 год Google удалось значительно улучшить этот аспект поиска: в апреле он совершил скачок более чем в два раза, после чего продолжил рост. Тем не менее, здесь он по-прежнему заметно отстает от лидеров — «Яндекса» и Mail.ru.

Рисунок 21. Анализатор качества регионального поиска


34


АНАЛИЗАТОР КАЧЕСТВА РЕГИОНАЛЬНОГО НАВИГАЦИОННОГО ПОИСКА

Этот анализатор, как и общий анализатор навигационного поиска, проверяет нахождение сайта организации по ее названию. Отличие же состоит в том, что должна найтись страница регионального отделения или региональной организации — своя для каждого из регионов. Например, по запросу «избирательная комиссия» в Казани и Уфе нужно показывать разные сайты.

Разумеется, поисковики, в основном, справляются с этой задачей лучше, чем с простым геопоиском: нужные сайты известны и посещаемы, помогает и статистика поведения пользователей. Только у Mail.ru результа-ты в этом анализаторе ниже, но и они весь 2013 год улучшались и к концу года достигли показателей Google (рис. 22).


100

80

60

40

20

0

Рисунок 22. Качество регионального навигационного поиска



35

8.ПОНИМАНИЕ ЗАПРОСА

В ЭТОЙ ГРУППЕ ОБЪЕДИНЕНЫ АНАЛИ-ЗАТОРЫ, ОЦЕНИВАЮЩИЕ, НАСКОЛЬКО ПОИСКОВИКУ УДАЕТСЯ УГАДЫВАТЬ НАМЕРЕНИЯ ПОЛЬЗОВАТЕЛЯ, КАКОЙ БЫ СЛОЖНОЙ НИ БЫЛА ЭТА ЗАДАЧА. КОНЕЧНО, ОТ ПОИСКОВИКОВ ТРУДНО ТРЕБОВАТЬ ПОНИМАНИЯ СУТИ ФРАЗ И СМЫСЛА СЛОВ, НО ПОДСКАЗАТЬ, ИСПРАВИТЬ ОШИБКУ ТАМ, ГДЕ ЭТО НУЖНО, ИЛИ СВЯЗАТЬ МЕЖДУ СОБОЙ ПОХОЖИЕ ЗАПРОСЫ — ВСЕ ЭТО ПОИСКОВЫМ МАШИНАМ УЖЕ ПО СИЛАМ.

36


■ Bing ■ Google ■ Mail ■ Yandex


100

95

90

85

80

АНАЛИЗАТОР КАЧЕСТВА ПОДСКАЗОК

Когда пользователь вводит поисковый запрос с опе-чаткой, поисковик должен это понять, или хотя бы предположить и либо сформировать выдачу с добав-лением найденного по исправленному запросу, либо полностью заменить запрос на правильный.

Анализатор качества подсказок оценивает количество правильных подсказок (как в виде предположений, так и в виде замен запроса), которые предлагает поис-ковик, если задать запрос с ошибкой.

Три лидирующих поисковика очень хорошо коррек-тируют ошибки пользователей: в 96 случаях из 100 им удается заметить и исправить опечатку (рис. 23). Результаты отстающего Bing не намного хуже.

Рисунок 23. Качество подсказок в поиске

37



100

80

60

40


АНАЛИЗАТОР УСТОЙЧИВОСТИ К ОПЕЧАТКАМ В ЗАПРОСЕ

Если запрос с опечаткой становится полностью бес-смысленным, очевидно, что выдача по нему должна совпадать с выдачей по аналогичному вопросу, задан-ному без ошибок. Анализатор сравнивает выдачу по ошибочному и по правильному запросам, считая долю совпадающих страниц (чем больше, тем лучше).

В «Яндексе», Google и Mail.ru показатели практически одинаковые: выдачи по запросам с ошибкой и без нее совпадают на 95% (рис. 24).

Рисунок 24. Устойчивость к опечаткам

38



80

70

60

50

Рисунок 25. Уровень похожести выдачи по запросам-синонимам

АНАЛИЗАТОР ЗАПРОСОВ-СИНОНИМОВ

Под запросами-синонимами мы понимаем в первую очередь не однословные запросы, которые являются синонимичными, а запросы, которые очень похожи по сути, но различаются какой-нибудь мелочью: пере-становкой слов, использованием сокращений вместо слов, транслитерацией, добавлением бессмысленных слов. В таких случаях естественно ожидать, что раз-личия в выдаче тоже будут минимальными, например, по запросам «годовщины свадьбы» и «свадебные годовщины», «карта города санкт петербург» и «карта спб», «ремонт автомобилей мерседес» и «mercedes benz ремонт». Анализатор оценивает, насколько совпадают выдачи по таким парам запросов.

На графике (рис. 25) видно, что и у Google и у «Яндекса» доля различных страниц в выдаче постепенно стано-вится меньше, приближаясь к одной трети (четверти в случае Google).


39


Сентябрь Октябрь Ноябрь Декабрь%

80

60

40

20

0

Рисунок 26. Качество поиска по запросам с числами

АНАЛИЗАТОР ПОИСКА ПО ЗАПРОСАМ С ЧИСЛАМИ

Группа поисковых запросов, в которых встречаются числа, достаточно велика. Очевидно, что поисковые машины не могут уделять числам мало внимания; напротив, они должны обрабатывать такие запросы с повышенным вниманием. Ведь запросы «iphone 5» и «iphone 4» — это принципиально разные запро-сы, а в запросе «новопассит 200 мл цена» число 200 не должно путаться с ценой.

В сентябре 2013 года мы добавили сразу два ана-лизатора, отражающие умения поисковиков в этой области: анализатор поиска по запросам с числами и анализатор поиска моделей.

Анализатор поиска по запросам с числами проверяет каждую страницу из результатов поиска, чтобы понять контекст вхождения числа из запроса в текст стра-ницы. Чем больше доля страниц, где число найдено «по делу», тем лучше.

Оказалось, что даже у лидеров числа из запроса встречаются в неправильном контексте на 20—30% страниц, а иногда и просто случайно (рис. 26). С боль-шой долей вероятности такие ответы можно, конечно, считать нерелевантными.


40


АНАЛИЗАТОР ПОИСКА МОДЕЛЕЙ

Названия моделей — достаточно устойчивые сочета-ния, особенно в Интернете, в связи с чем этот, по сути, частный случай поиска по запросам с числами был выделен в отдельный анализатор. И действительно, с поиском конкретных моделей техники или това-ров поисковики ожидаемо справляются лучше, чем по запросам с числами в целом.

В 85% случаев «Яндекс», Mail.ru и Bing находят именно нужные модели, а в Google показатель даже выше 92% (рис. 27).

Рисунок 27. Качество поиска моделей

Сентябрь Октябрь Ноябрь Декабрь%

100

80

60

40



41

9.АНАЛИЗАТОРЫ ОШИБОК

ОШИБКИ ПОИСКОВЫХ СИСТЕМ — ЭТО В ПЕРВУЮ ОЧЕРЕДЬ ОБРАТНАЯ СТОРОНА РАБОТЫ ПО ИНТЕРПРЕТАЦИИ САМЫХ РАЗНООБРАЗНЫХ ЗАПРОСОВ ПОЛЬЗО-ВАТЕЛЕЙ. ТАКИЕ ОШИБКИ МОГУТ БЫТЬ ДОСТАТОЧНО СМЕШНЫМИ, НО НЕРЕДКО МОГУТ И РАЗДРАЖАТЬ ПОЛЬЗОВАТЕЛЯ, ОСОБЕННО ЕСЛИ ИЗ-ЗА НИХ ЕМУ НЕ УДА-ЕТСЯ НАЙТИ НУЖНУЮ ИНФОРМАЦИЮ. ЕСЛИ ГРУБЫХ ОШИБОК СТАНОВИТСЯ СЛИШКОМ МНОГО, ПОЛЬЗОВАТЕЛЬ МОЖЕТ ПЕРЕЙТИ НА ДРУГОЙ ПОИС-КОВИК, ПОЭТОМУ РАЗРАБОТЧИКАМ ВАЖНО СНИЗИТЬ КОЛИЧЕСТВО ОШИБОК ДО ПРЕДЕЛА.

42




100

80

60

40

20

Рисунок 28. Количество ошибочных замен редких слов

АНАЛИЗАТОР ЗАМЕНЫ РЕДКИХ СЛОВ

Создавая анализатор редких запросов, мы отобра-ли малоизвестные, но существующие в том числе и в Интернете слова, и оценили, насколько часто поисковики неоправданно заменяют их похожими, но более частотными. Анализатор проверяет наличие искомых слов в показанных поисковиками сниппетах и вычисляет долю тех, где нужное слово не встретилось. Дополнительно вычисляется количество случаев, где поисковик прямо заменил или предложил заменить корректный с точки зрения потенциального пользо-вателя запрос.

К сожалению, в «Яндексе» и Mail.ru доля сниппетов без искомого слова очень высока — около 70% (рис. 28). Google здесь смотрится лучше других, но и его показатели не слишком удовлетворительны: в 40% случаев сниппет не содержит искомого слова, что часто означает некорректное исправление поис-кового запроса.

43




100

80

60

40

20

Рисунок 29. Количество ошибочных замен редких фраз

АНАЛИЗАТОР ЗАМЕНЫ РЕДКИХ ФРАЗ

Если исправления запросов из одного малочастотного слова можно объяснить тем, что вероятность ошибки пользователя не намного меньше вероятности ввода столь редкого запроса, то к словосочетаниям подоб-ное объяснение не применимо. При этом поисковики даже в многословных запросах часто заменяют слова, которые кажутся им слишком редкими. Ошибочность такой замены обычно видна невооруженным взгля-дом (сравните результаты по фразам «сверчок ахе-та» и «сверчок ах эта», предлагаемые «Яндексом»). Разумеется, запрос в этом случае полностью теряет смысл, а это может довольно сильно раздражать пользователей.

В целом, ситуация здесь такая же, как и с ошибка-ми в редких словах: меньше всех ошибается Google, результаты «Яндекс» и Mail.ru примерно одинаковы (рис. 29). При этом результаты поисковиков пред-сказуемо лучше, чем в случае однословных запросов.

44


АНАЛИЗАТОР НЕРАЗРЫВНЫХ СЛОВОСОЧЕТАНИЙ

Словосочетания в поисковых запросах требуют особой аккуратности при обработке поисковиками. С одной стороны, иногда отдельные слова полезно игнори-ровать, с другой — необходимо уметь распознавать сочетания слов, которые нельзя разделять.

Запросами этого анализатора являются словосочетания, которые имеют конкретный смысл, теряющийся при исключении любого из слов. Он оценивает, насколько часто поисковикам удается сохранить словосочетание, а с ним — и смысл запроса.

Возможно, специфика сложного русского языка в данном случае сыграла Google на руку: он сохраняет смысл неразрывных словосочетаний в 60% случаев, в то время как «Яндекс» — только в 40% (рис. 30).



80

60

40

20

0

Рисунок 30. Качество поиска неразрывных словосочетаний

45


АНАЛИЗАТОР ПОИСКА ИМЕН

Сочетание имени и фамилии — частный случай при-мера, когда нельзя разбить запрос на части, не поте-ряв смысл. Однако мы выделили подобные запросы в отдельный анализатор. Специальные запросы, конечно, провоцируют поисковики на ошибки, но это лишь способ подчеркнуть существующую проблему. Нужный человек, обнаруженный в результатах поиска, — это плюс для поисковика, а найденные однофамильцы, тезки и прочие — очевидно, минус.

Лучше всех с поиском по именам справляется Google, но и у него всего 70% верных ответов (рис. 31). Чуть меньше их у «Яндекса» — 65%. Удивительно, что качество поиска имен в поисковиках-лидерах в течение года только падало. Стабильно улучшает свои показатели лишь поиск Mail.ru.



80

60

40

20

0

Рисунок 31. Качество поиска имен

46


АНАЛИЗАТОР ГРАММАТИКИ

Анализатор различения форм слов — один из самых сложных среди созданных нами. Он появился в конце февраля 2013 года, чтобы проиллюстрировать, что чем умнее поисковая машина, тем больше в ней будет и ошибок, вызванных ошибочной трактовкой запроса.

«Анализатор грамматики» — условное название. Проверяется, конечно, не полная грамматика, а лишь соответствие найденной конструкции — исходной. Например, по запросу «двигатели на паромах» поль-зователь точно не хочет увидеть сайт про мойку дви-гателя паром, а поисковики вопреки грамматическому здравому смыслу все равно добавляют эти сайты в результаты поиска.

Как видим, у Google опять результаты лучше, чем у остальных — более 60% правильно учтен-ных форм слов (рис. 32), тогда как у «Яндекса» и Mail.ru — всего 40%.


Март Апрель Май Июнь Июль Август Сентябрь Октябрь Ноябрь Декабрь%

80

60

40

20

0

Рисунок 32. Качество различения форм слов в поиске


47

В ТО ВРЕМЯ КАК СМЫСЛОВЫЕ ОШИБКИ ПОИСКОВИКА МОГУТ КАЗАТЬСЯ ПОЛЬ-ЗОВАТЕЛЯМ ЗАБАВНЫМИ, ЕСТЬ ВЕЩИ, КОТОРЫЕ НЕ ВЫЗЫВАЮТ НИЧЕГО, КРОМЕ РАЗДРАЖЕНИЯ. РЕЧЬ ИДЕТ В ПЕРВУЮ ОЧЕРЕДЬ О ПОКАЗЕ ЗАВЕДОМО БЕС-СМЫСЛЕННОГО, НЕПРИЯТНОГО ИЛИ ДАЖЕ ОПАСНОГО КОНТЕНТА В РЕЗУЛЬ-ТАТАХ ПОИСКА. ДЛЯ РАБОТЫ НЕСКОЛЬ-КИХ АНАЛИЗАТОРОВ ЭТОЙ ГРУППЫ ИСПОЛЬЗУЮТСЯ СПЕЦИАЛЬНЫЕ ТЕХНО-ЛОГИИ, РАЗРАБОТАННЫЕ КОМПАНИЕЙ «АШМАНОВ И ПАРТНЕРЫ», НАПРИМЕР, РАСПОЗНАВАНИЕ И КЛАССИФИКАЦИЯ ПОИСКОВОГО СПАМА.

РАЗДРАЖАЮЩИЕ ФАКТОРЫ

10.

48


АНАЛИЗАТОР СПАМА В ПОИСКОВОЙ ВЫДАЧЕ

Поисковый спам используют недобросовестные веб-мастера, чтобы получить дополнительные переходы на свой сайт из результатов поиска. Очень часто поль-зователь не может понять, что найденная страница совершенно бесполезна, пока не перейдет на нее из результатов поиска.

Типов поискового спама достаточно много (дорвей, спам-каталог, псевдосайт и т. п.). Они различаются используемыми методами, но их все объединяет то, что они созданы в расчете на роботов поисковых машин, а не на людей.

Вычищение спама из выдачи поисковиков проходит с переменным успехом. Например, Google удалось за 2013 год снизить количество спама с 3% до 1,6%. А вот в «Яндексе» количество явного спама наоборот выросло до 2% по сравнению с 1% в начале года (рис. 33).



8

6

4

2

0

Рисунок 33. Уровень поискового спама

49


АНАЛИЗАТОР «САЙТОВ ДЛЯ ВЗРОСЛЫХ» В ПОИСКОВОЙ ВЫДАЧЕ

Появление порносайтов или просто страниц, содер-жащих «контент для взрослых» в результатах поиска по запросам, явно не указывающим на поиск порно-графии, может вызвать у пользователей недоумение и раздражение даже большее, чем просто бессмыс-ленные сайты. Например, «знаменитости», «наручники», «прикольные картинки» и т. п. не могут считаться порнозапросами, и никакого «взрослого» контента по ним находиться не должно.

При этом в выдаче «Яндекса», Google и Mail.ru доля таких сайтов в среднем более 5% (рис. 34)! Это очень много для ведущих поисковиков. В русскоязычном поиске Yahoo и Bing доля сайтов для взрослых упала с 25—40% до 19—24%, но пользоваться этими поиско-виками нужно по-прежнему с осторожностью, особенно при поиске по неоднозначным запросам.



45

35

25

15

5

Рисунок 34. Количество «сайтов для взрослых» по неоднозначным запросам

50


АНАЛИЗАТОР КАЧЕСТВА СЕМЕЙНОГО ФИЛЬТРА

Во всех поисковых машинах есть возможность включить фильтрацию выдачи от «плохих сайтов», т.е. в первую очередь сайтов, не предназначенных для показа детям — это так называемые семейные фильтры.

В идеале, результатом работы такого фильтра должно быть полное отсутствие порносайтов в результатах поиска, каким бы ни был заданный пользователем запрос. Здесь это особенно важно, ведь семейный фильтр могут использовать родители, чтобы оградить детей от нежелательного содержимого страниц.

К сожалению, ситуация и здесь далека от идеала. В выдаче трех ведущих поисковиков более одного сайта из ста — такие, которые семейный фильтр должен был бы заблокировать (рис. 35). Еще более печально, что ситуация с начала года только ухудшилась: в январе-феврале 2013 года в выдаче «Яндекса» и Google таких сайтов было всего полпроцента.



45

35

25

15

5

0

Рисунок 35. Количество сайтов для взрослых в результатах поиска при включенном семейном фильтре

51


АНАЛИЗАТОР РЕКЛАМНОЙ НАГРУЗКИ

Разработанная нами технология распознавания рекламы на сайтах позволяет автоматически оценить загружен-ность рекламой всех найденных страниц и выставить каждой из них некоторый балл. Учитывается как навяз-чивость рекламы, так и ее расположение на странице. Самые безобидные виды рекламы — контекстная и стандартные «немигающие» баннеры. Больше всего баллов получают большие баннеры, по которым поль-зователь вынужден кликнуть, чтобы закрыть и увидеть контент страницы.

Понятно, что если два сайта содержат примерно оди-наковую информацию, то для пользователя полезнее тот, на котором меньше раздражающей рекламы. Поисковики не могут этого не учитывать.

Почти всем поисковикам удалось во второй половине 2013 года уменьшить загруженность результатов поис-ка рекламой (рис. 36). И только результаты «Яндекса» в 2013 году почти не менялись.



12

10

8

6

Рисунок 36. Уровень рекламной нагрузки на результатах поиска

52


АНАЛИЗАТОР ПОРНОРЕКЛАМЫ

По тем же запросам, которые используются для анали-затора рекламной нагрузки, дополнительно оценивается количество, возможно, наиболее раздражающей поль-зователей рекламы — порнографической. Очевидно, что чем меньше сайтов с подобной рекламой будет в выдаче поисковика, тем лучше.

Любопытны различия между результатами анализаторов общей рекламной нагрузки и порнорекламы. На сай-тах, найденных «Яндексом», довольно много рекламы в целом, но порнорекламы в «Яндексе» и Mail.ru заметно меньше, чем в Google — всего лишь десятая доля процента против полупроцента (рис. 37).



3

2

1

0

Рисунок 37. Количество порнорекламы на страницах из результатов поиска

53


АНАЛИЗАТОР ВИРУСНЫХ УГРОЗ

Если из результатов поиска пользователь может попасть на сайт, зараженный вирусом, это уже не просто неприятно, но и опасно. Созданный нами анализатор вирусных угроз оценивает количество зараженных сайтов, которые показываются в результатах поиска.

Конечно, все поисковики стараются не показывать на первой странице выдачи сайты, которые могут нанести вред компьютеру пользователя; доля таких сайтов у всех поисковиков меньше 0,9%, а лидирует, хоть и с небольшим отрывом, Google (рис. 38).

На графиках можно заметить, насколько нестабиль-но количество зараженных сайтов в поисковиках: это говорит об очень высокой активности вирусной индустрии, стремящейся постоянно находить новые сайты-жертвы для заражения, и о борьбе, которую непрерывно ведут с ней поисковики.



1

0,8

0,6

0,4

0,2

0

Рисунок 38. Доля сайтов с вирусными угрозами в результатах поиска


54

В ЭТОМ РАЗДЕЛЕ МЫ РАССМОТРИМ САМЫЕ РАЗНЫЕ И ПРИ ЭТОМ, ВЕРОЯТНО, ОСОБЕННО ВАЖНЫЕ ПОКАЗАТЕЛИ КАЧЕ-СТВА ПОИСКА, КОТОРЫЕ ОЦЕНИВАЮТ НАШИ АНАЛИЗАТОРЫ. РЕЧЬ ПОЙДЕТ КАК О ТЕХНИЧЕСКИХ ХАРАКТЕРИСТИКАХ, ТАК И ОБ ОЦЕНОЧНЫХ.

11.ОБЩИЕ ХАРАКТЕРИСТИКИ ПОИСКА

55


АСЕССОРСКИЙ АНАЛИЗАТОР

Асессоры — люди, которые оценивают результаты поиска по специальной шкале, руководствуясь строгой инструкцией. Такие специалисты работают в штате каждой поисковой машины. В проекте Analyzethis.ru также работают асессоры, которые ежедневно выстав-ляют оценки результатам поиска по набору запросов асессорского анализатора.

Асессорский анализатор показывает совокупную оценку качества поиска, полученную усреднением оценок за релевантность найденных по каждому запро-су страниц с учетом качества сайта. К этому могут добавляться штрафы за отсутствие нужных сайтов в выдаче по навигационным запросам.

Люди оценивают качество работы трех основных поис-ковиков примерно одинаково (рис. 39), хотя «Яндекс» стабильно удерживает лидерство с небольшим пере-весом. Основным результатом 2013 года стало посте-пенное достижение Yahoo качества поиска, сравнимого с лидерами. В то же время интересно отметить, что у остальных поисковиков результаты в течение года постоянно снижались.



80

70

60

50

Рисунок 39. Асессорские оценки качества поиска

56


АНАЛИЗАТОР КАЧЕСТВА СНИППЕТОВ

Сниппеты — это то, что пользователь видит в резуль-татах поиска и на основании чего он решает, на какую страницу ему перейти.

Качество сниппетов асессоры оценивают одновременно с оценкой релевантности поиска. На оценку сниппета влияют как его соответствие содержимому страницы, так и его качество и состав.

Как и качество поиска в целом, качество сниппетов всех поисковиков в 2013 году постепенно снижалось (рис. 40). Лидером же продолжает оставаться «Яндекс».



88

84

80

76

72

Рисунок 40. Качество сниппетов

57


АНАЛИЗАТОР АПДЕЙТОВ

Апдейт — это обновление индекса поисковика, за кото-рым следует и изменение результатов поиска по отдель-ным запросам. Апдейты разного масштаба происходят практически каждый день, но это не значит, что любые обновления страниц в Интернете моментально находят свое отражение в поисковиках.

Любопытно, что у каждой поисковой машины есть свой характер проведения обновлений, что видно на среднем ежемесячном графике апдейтов (рис. 41).

Например, в Google апдейты постоянны, но невелики, в то время как в Mail.ru крупные апдейты проис-ходят несколько раз в год. Дополнительно инте-ресно рассмотреть и ежедневный график апдейтов для выявления других различий и сходств между поисковиками. Как всегда, это можно сделать на сайте www.analyzethis.ru.



30

20

10

0

Рисунок 41. Средний уровень апдейтов за месяц

58


АНАЛИЗАТОР СКОРОСТИ РЕГИОНАЛЬНОГО ПОИСКА

Для анализатора регионального поиска мы задаем поисковые запросы из разных российских городов: Владивостока, Екатеринбурга, Самары и других. При этом мы замеряем время, за которое наши местные серверы получают результаты поиска, чтобы оценить, как долго пользователям придется ждать ответа от поисковиков в различных регионах.

Результат анализатора скорости регионального поис-ка — усредненная по всем городам и запросам скорость загрузки страницы поисковой выдачи, хотя на странице анализатора на сайте www.analyzethis.ru доступны всевозможные детали, касающиеся распределения скорости загрузки страниц по городам и запросам. Все поисковики успевают выдать результаты меньше, чем за 0,8 секунды (рис. 42). Самым быстрым оказался поиск Mail.ru, что, возможно, объясняется меньшим количеством серверов, чем у Google и «Яндекса».


Январь Февраль Март Апрель Май Июнь Июль Август Сентябрь Октябрь Ноябрь ДекабрьСек.

0,9

0,75

0,6

0,45

0,3

Рисунок 42. Скорость регионального поиска


59

1.ЧАСТЬ 2

РАЗВИТИЕ КОМПАНИЙ, ВЛАДЕЮЩИХ САМЫМИ ПОПУЛЯРНЫМИ В РУНЕТЕ ПОИС-КОВЫМИ СЕРВИСАМИ, ОПРЕДЕЛЯЛОСЬ В 2013 ГОДУ РЯДОМ ОБЩИХ ТЕНДЕНЦИЙ. БОЛЬШИНСТВО ИЗ НИХ НЕ СТАЛИ НОВЫМИ ОТНОСИТЕЛЬНО КЛЮЧЕВЫХ ПРОЦЕССОВ ПРЕДЫДУЩЕГО ГОДА, ПРЕДСТАВЛЯЯ СКОРЕЕ ИХ ПРОДОЛЖЕНИЕ И РАЗВИТИЕ.

УСИЛЕНИЕ ГОСУДАРСТВЕННОГО РЕГУЛИРОВАНИЯ РУНЕТА

Для «Яндекса», Mail.ru Group и Google важным оказался Федеральный закон от 2 июля 2013 года №187-ФЗ «О вне-сении изменений в законодательные акты Российской Федерации по вопросам защиты интеллектуальных прав в информационно-телекоммуникационных сетях».

Пока он был еще на стадии законопроекта, компании в корпоративных блогах заявили о его недоработан-ности и предложили свои изменения и дополнения. Кроме того, Комиссия по правовым вопросам РАЭК, в которую входят все три поисковых лидера, составила список поправок в законопроект.

Однако, цитируя пост в блоге «Яндекса», «все поправ-ки интернет-отрасли, которые могли бы добавить в механизм регулирования немного здравого смысла, были полностью проигнорированы». Следствием этого стала петиция за отмену закона на сайте «Российская общественная инициатива».

Закон не устраивает компании нечеткостью определений, потенциалом для злоупотребления, высоким риском ошибочных блокировок и неспособностью добиться тех целей, преследование которых закон декларирует.

ОСНОВНЫЕ СОБЫТИЯ НА РЫНКЕ ПОИСКА В РУНЕТЕ В 2013 ГОДУ

60


№187-ФЗ и другие законы, принятые в 2013 году, наверняка осложнят в 2014 году существование интернет-ресурсам, работающим с пользовательским контентом — интернет-СМИ, социальным сетям, поис-ковикам, которые этот контент индексируют.

Настороженность вызывает и общий настрой пред-ставителей власти искать в Рунете запрещенный контент и удалять его. Так, уже в январе 2014 года депутат Госдумы Игорь Лебедев поставил вопрос о возможном нарушении порталом «Кинопоиск» закона о запрете пропаганды гомосексуализма. «Кинопоиск», приобретенный «Яндексом» в 2013 году, содержит информацию о сериале про геев, а также, по мнению Лебедева, предлагает его скачать, хотя на самом деле, на сайте содержится только трейлер.

ВОЗРАСТАЮЩАЯ РОЛЬ СОЦИАЛЬНЫХ СЕТЕЙ В ЭКОСИСТЕМЕ ИНТЕРНЕТА И В ФУНКЦИОНИРОВАНИИ ПОИСКОВИКОВ

В 2013 году стабильно увеличивалось количество пользователей социальных сетей. Поисковые системы учились интегрировать в выдачу их контент, применять в ранжировании доступную в соцсетях информацию о контенте, о сайтах и о пользователях.

Можно выделить три основных способа обогащения выдачи информацией из социальных сервисов:

f Получение из соцсетей свежей, актуальной инфор-мации о недавних событиях. Для этого особенно ценен Twitter. По увеличению количества твитов со ссылкой на определенную веб-страницу поис-ковики способны понять, что на этой странице есть контент, связанный с недавними и интересными для публики событиями. В самих твитах тоже содержится информация об этих событиях.

f Отображение в поиске контента из социальных сетей. Яндекс пока концентрируется на профилях поль-зователей по запросу вида «имя+фамилия». Часто появляются в выдаче по некоторым типам запросов официальные группы компаний в соцсетях. Google, как владелец собственной соцсети, часто показывает в выдаче посты из нее. Кроме того, он способен при поиске учитывать настройки приватности пользова-теля в соцсети и показывать ему посты, опублико-ванные с ограниченными возможностями просмотра, но доступными для просмотра этому пользователю.

f Учет в ранжировании социальных сигналов. Пользователи в соцсетях оценивают контент — «лайками», кликом по +1 и другими способами. Эти оценки — «социальные сигналы» — позволяют судить о качестве контента, релевантности его запросу и интересам пользователя.

У трех лидирующих поисковиков Рунета наблюдается разный подход к использованию соцсетей. Google раз-вивает собственную сеть, Google+. Поэтому другими крупными соцсетями он воспринимается как конкурент. Facebook не предоставляет ему доступа к своим дан-ным, а два года назад это прекратил делать и Twitter. Google разработал собственные механизмы индексации их контента, однако, по словам представителя ком-пании, не учитывает поступающие оттуда социальные сигналы в ранжировании страниц. Впрочем, западные веб-мастера не раз уличали Google в заявлениях и рекомендациях, опровергаемых экспериментами.

Зато Google+ функционирует как «социальный слой», связывающий все сервисы компании, что позволяет добав-лять интересный функционал к поиску и не менее тесно интегрировать сам поиск в другие продукты. Например, контент из блогов пользователей Google+ поисковик ранжирует с учетом авторитетности и популярности его создателя, а текст на сайтах может быть привязан к про-филю блогера и оцениваться с учетом его авторитетности.

61


Другой пример — интеграция с поиском «Почты» и «Календаря» Google, запущенная в 2013 году. Благодаря ей в выдаче можно увидеть собственную персональную информацию. Так, по запросу «как добраться до моего отеля» Google покажет информацию из Gmail, найдя там подтверждение бронирования отеля и указав его на карте.

Компания «Яндекс» отказалась от развития собственной социальной сети и строит партнерские отношения с лиде-рами этого рынка. В 2012 году было заключено соглаше-ние о доступе к данным Twitter, в 2013 — соглашение с Facebook. «Одноклассники» и «ВКонтакте» успешно индексируются «Яндексом». В 2014 году можно ожидать повышенного интереса «Яндекса» к социальным сигналам в ранжировании — поисковик объявил курс на отказ от учета ссылок, соответственно, ему понадобятся другие источники информации о сайтах, пользователях, контенте.

А вот у Mail.ru иной подход к социальным сигналам. Еще в 2012 году руководитель подразделения «Поиск и e-commerce» Владимир Габриелян рассказал, что компания пробовала учитывать «лайки», но отказалась от этого, и в данный момент лично он не считает такую информацию полезной для ранжирования.

ПЕРСОНАЛИЗАЦИЯ ПОИСКОВЫХ РЕЗУЛЬТАТОВ

Как было отмечено выше, Google в персонализации делает большую ставку на социальную сеть Google+ и объединение с ее помощью своих сервисов. «Яндекс» использует для персонализации информацию из соцсе-тей гораздо более сдержанно, но не менее интенсивно движется в направлении подстройки результатов поис-ка под интересы и поведение пользователя. В самом конце 2012 года была запущена новая поисковая платформа «Калининград», которая персонализировала и результаты поиска, и подсказки, используя историю поиска и посещений сайтов конкретного пользователя.

В середине 2013 года на смену «Калининграду» пришла поисковая платформа «Дублин». После этого «Яндекс» стал учитывать в формировании персональной выдачи «сиюми-нутные интересы пользователя» — поведение в рамках одной поисковой сессии. По данным «Яндекса», с такими интересами связаны больше половины всех запросов.

ОТКАЗ ПОИСКОВИКОВ ОТ МОДЕЛИ «ЗЕРКАЛО ИНТЕРНЕТА, В КОТОРОМ ОТРАЖАЮТСЯ ДОКУМЕНТЫ С САЙТОВ»

Это, пожалуй, наиболее важная тенденция, которая еще долго будет определять развитие поисковых сервисов.

Поисковики отходят от традиционной модели показа в выдаче страниц сайтов. Между веб-документами и поис-ковиками вырастает система извлечения и обработки данных, которые потом используются в поиске для ответов на запросы. От традиционных ссылок в выдаче поисковики пока не отказались, но блок со ссылками отодвигается все ниже, в зоны, которым достается гораздо меньше внимания и кликов пользователей.

Поисковики больше не хотят отображать под своим логотипом страницы, созданные посторонними им людьми, страницы, содержание и взаимосвязи которых они не контролируют. В чем это выражается?

f Показ в выдаче готовых ответов на конкретные вопросы. Арифметические операции, пересчет из одной валюты или системы мер в другую, погода.

f Обогащение выдачи контентом из специально отобранных баз знаний. Яркий пример — Google Knowledge Graph. От предыдущего варианта он отличается тем, что в запросе пользователя может не содержаться прямого требования информации. Например, по запросу «Пушкин» Knowledge Graph выдает факты из биографии поэта.

62


f Взаимодействие с функционалом сайта из интер-фейса выдачи поисковика. Самый яркий пример — «Яндекс.Острова», о которых речь пойдет ниже.

f Создание собственных сервисов, которые решают те же проблемы пользователей, что и сторонние сайты. Информация из этих сервисов подмешивается в выдачу: это и товарные предложения из «Яндекс.Маркета», и личная информация из Gmail в Google, и многое другое. У Mail.ru есть много собственных контентных проектов, а у «Яндекса» есть сервис по поиску вакансий и сотрудников, сервис для под-бора кредитов и вкладов и т. д. Эти сервисы агре-гируют, очищают и обрабатывают информацию со сторонних сайтов или имеют собственный контент.

МОБИЛЬНЫЙ ПОИСК: ДРУГИЕ ПРОБЛЕМЫ, ДРУГИЕ ПОДХОДЫ

Рост аудитории мобильных сервисов, рост продаж смартфонов, возрастание компетентности и требова-тельности мобильного пользователя — это тенденции, отмечавшиеся и ранее.

В 2013 году поисковые системы адаптировались к новым потребностям и запросам мобильных пользователей. Достижения «Яндекса» на этом фронте заметнее, так как до 2013 года он несколько отставал от рынка мобиль-ных продуктов. В этом году вышли новые версии почти всех мобильных приложений, и они стали не только адаптацией приложений под iOS, но и содержали новый функционал, улучшения и дополнения. В 2013 году «Яндекс.Браузер» был выпущен для Android и iOS.

Важным шагом стала разработка «Яндексом» соб-ственной технологии распознавания речи. Google же начал активно продвигать очки Google Glass, которые пока что распространяются среди разработчиков, журналистов и «гиков».

В Google отметили интересную тенденцию: привыкнув «разговаривать» с мобильными устройствами, пользова-тели находят удобным управлять с помощью голосовых команд и стационарными. В связи с этим Google выпу-стил расширение для Chrome, которое автоматически задействует голосовой поиск по команде «OK, Google».

Можно предположить, что в 2014 году поисковые компании будут адаптировать свои продукты к новым способам работы с информацией и устройствам, которые будут набирать популярность. В первую очередь это носимые гаджеты.

Для «Яндекса» направление мобильных продуктов является особенно сложным и важным еще и потому, что самая массовая мобильная платформа, Android, принадлежит главному конкуренту.

ОБОСТРЕНИЕ КОНКУРЕНЦИИ В ОБЛАСТИ КАЧЕСТВА ПОИСКА

Благодаря анализаторам качества поиска сервиса Analyzethis.ru особенно ярко видно, что по основным параметрам качества поиска самые крупные игроки практически сравнялись. Большинство типичных задач массового пользователя все конкуренты решают с одинаковым успехом.

Сейчас сервисы соревнуются в решении более спец-ифических задач, в предсказывании пользовательских потребностей, в повышении качества и удобства пользования Интернетом вообще, а не только поиском.

Пример последнего — борьба «Яндекса» с сайтами, на которых рекламные баннеры ухудшают дизайн и удобство использования. По данным анализаторов, «Яндекс» успешнее остальных поисковиков Рунета избегает сайтов с излишне навязчивой рекламой в выдаче.


63

«ЯНДЕКС» В 2013 ГОДУ

2.В 2013 ГОДУ «ЯНДЕКС» ЗАНИМАЛСЯ ЗАКЛАДКОЙ ФУНДАМЕНТА ДЛЯ БУДУ-ЩИХ ГЛОБАЛЬНЫХ ПЕРЕМЕН, А ТАКЖЕ ОКАЗАЛСЯ ЖЕРТВОЙ СОБЫТИЙ, КОТОРЫЕ, ВОЗМОЖНО, К ТАКИМ ПЕРЕМЕНАМ ПРИ-ВЕДУТ. ПОМИМО УПОМЯНУТОГО ВЫШЕ ЗАКОНА, ГРОЗЯЩЕГО ПРОБЛЕМАМИ ИЗ-ЗА ПОЛЬЗОВАТЕЛЬСКОГО КОНТЕНТА, К ТАКОВЫМ МОЖНО ОТНЕСТИ КАДРОВУЮ ПОТЕРЮ В ЛИЦЕ ТЕХНИЧЕСКОГО ДИРЕК-ТОРА И СООСНОВАТЕЛЯ КОМПАНИИ ИЛЬИ СЕГАЛОВИЧА.

Среди сознательных технических решений, которые определят развитие «Яндекса» на ближайшие несколько лет, стоит назвать платформу «Острова», декларацию об отказе от ссылок в ранжировании и развитие мобильных продуктов.

«ЯНДЕКС.ОСТРОВА»

Пока в бета-версии и на отдельном домене заработа-ла «платформа с интерактивными ответами и новым интерфейсом, который упрощает людям решение задач», как описывает «Острова» блог «Яндекса». В конце мая представители компании предполагали, что эта платформа заработает на yandex.ru до конца года, но к марту 2014 запуск еще не состоялся.

«Острова» — это интерактивные блоки, которые позво-ляют прямо из выдачи получать ответы на вопросы и взаимодействовать с сайтами: находить товары, делать заказы, записываться к врачу, узнавать рас-писания). Вебмастер должен самостоятельно разметить сайт и пройти с ним модерацию в «Яндексе», чтобы у сайта появился в выдаче свой «остров».

64


К декабрю 2013 года «Яндекс» одобрил 200 «островов», и еще 500 находились в процессе модерации. Из них требованиям «Яндекса» соответствует примерно 30%, сообщает корпоративный блог.

УЛУЧШЕНИЕ ПОИСКА КАРТИНОК

В этом году у «Яндекс.Картинок» появилась возмож-ность использовать изображение как поисковый запрос. Аналогичная возможность была уже некоторое время доступна пользователям Google. Другие новинки — «Серия картинок» («отдельный блок изображений, связанных между собой единым стилем или тематикой») и фильтр «рисунки и чертежи».

ПРОДОЛЖЕНИЕ РАБОТЫ ПО ВЫХОДУ НА ЗАРУБЕЖНЫЕ РЫНКИ

В 2013 году «Яндекс» занял четвертое место среди игроков мирового рынка поиска. Он обошел Bing (поис-ковик компании Microsoft) по количеству обработанных поисковых запросов. Первые три места занимают Google, Baidu и Yahoo.

В 2011 году появилась информация, что «Яндекс» выходит на рынок Польши: были куплены несколько коротких доменов в зоне .pl и нанят региональный директор по развитию.

В 2012 году «Яндекс» открыл турецкий портал и купил IBS Software, приобретя таким образом офисы в Таиланде и на Тайване, что заставило прессу говорить о воз-можной работе на рынках этих стран.

В 2013 году «Яндекс» достиг 2% доли турецкого рын-ка поиска, но в других странах дальнего зарубежья активности не проявлял. Кроме того, в 2013 году пере-шел в Google руководитель команды разработчиков

англоязычного поиска в Yandex Labs, калифорнийском офисе «Яндекса».

Турецкий портал «Яндекс» в 2013 году использовал как экспериментальную площадку — в частности, там уже некоторое время работают «Острова», которые российские пользователи могут лишь «пощупать» на beta.yandex.ru. Владислав Исаев из «Яндекса» рас-сказал CNN в ноябре 2013 года, что благодаря рекламе и маркетингу «Яндекс» известен 40% жителей Турции.

Шагом к западному пользователю можно назвать обновление «Яндекс.Карт» — в ноябре на них появи-лись страны и города всего мира с автомобильными маршрутами. Наиболее детальными являются карты Европы и Северной Америки.

На Yandex.com в разделе Yandex Worldwide в марте 2014 года можно увидеть ссылки на российский, украинский, белорусский, казахстанский и турецкий порталы «Яндекса».

ПОКУПКА «КИНОПОИСКА», УСИЛЕНИЕ ФУНКЦИОНАЛА, СВЯЗАННОГО С ВИДЕО И КИНО

В октябре компанией был приобретен крупнейший русскоязычный ресурс о кино — «Кинопоиск». Уже в январе 2014 года на крупном кадровом портале Headhunter.ru появились вакансии менеджеров про-ектов «Яндекс.Видео», в которых упоминается система рекомендаций. На самом «Кинопоиске» фильмов нет, есть только трейлеры, но он располагает огромной базой контента о кино: описания, рецензии, оценки, справочная информация, рейтинги фильмов, актеров и режиссеров и так далее.

65


ДИСТРИБУЦИЯ НА МОБИЛЬНЫХ ПЛАТФОРМАХ

В феврале 2013 года, выступая на конференции DLD, Илья Сегалович говорил о проблемах «Яндекса» с популяризацией своих мобильных продуктов. Яндекс зависим от платформ, на которых работают эти про-дукты, и при этом одна из них принадлежит его прямому конкуренту.

В 2013 году всем партнерам стал доступен магазин приложений «Яндекса» — Yandex.Store. Собиравшийся открывать собственный магазин приложений «Мегафон» договорился с «Яндексом» о совместной разработке и в феврале открыл GetUpp! — магазин, где часть приложений — из Yandex.Store.

Весь 2013 год «Яндекс» работал над партнерскими соглашениями с производителями и продавцами устройств. Пример — партнерство с финской компани-ей-производителем смартфонов Jolla, на устройствах которой Google Play заменен на Yandex.Store.

В октябре 2013 года появилась «Яндекс.Метрика» для мобильных приложений.

РАНЖИРОВАНИЕ БЕЗ ССЫЛОК

На декабрьской конференции IBC Russia руководитель отдела веб-поиска «Яндекса» Александр Садовский заявил, что в 2014 году поисковик перестанет учиты-вать ссылки в ранжировании сайтов — пока только для коммерческих запросов в московской региональной выдаче. Ссылки «во многом утратили свое значение как сигнал для определения релевантности и пре-вратились в шум», уточняется в корпоративном блоге.

Большинство вебмастеров восприняли это заявление как сигнал к усилению работы с социальными и пове-

денческими факторами ранжирования сайтов. Впрочем, от покупки ссылок специалисты отказываться не спешат.

Социальные факторы — это ссылки в соцсетях, «лайки», «репосты», комментарии, официальные группы и стра-ницы компаний, их содержимое и поведение на них пользователей и т. п. В свою очередь, поведенческие факторы — это сигналы о качестве сайта, которые подает своим поведением пользователь: возвращается ли он с найденной страницы обратно в выдачу, какие разделы сайта он посещает, какие действия выполняет на сайте, кликает ли ссылки и проч.

Мнения о том, как нововведение скажется на качестве поиска, сильно варьируются. Несколько лет назад «Яндекс» уже экспериментировал с отключением ссы-лочного ранжирования, но быстро включил его обратно.

В 2014 году поисковику придется бороться с попытками накрутки поведенческих и социальных факторов ран-жирования. Сервисы накрутки поведенческих факторов еще осенью начали активно рекламироваться на всех тематических ресурсах. В результате в декабре «Яндекс» сам у себя выкупил спецразмещение в «Директе» по всем запросам, связанным с такой накруткой. Рекламировалась ссылка на пост в корпоративном блоге, где «Яндекс» предупреждал о негативных последствиях для сайтов, накручивающих поведенческие факторы. Многие вебмастера восприняли эту акцию как свидетельство того, что поведенческие факторы действительно важны в ранжировании и на самом деле поддаются накрутке.

Очевидно, что «Яндекс» в 2014 году ждет нелегкая борьба за качество поиска как с собственными инно-вациями, так и с посторонними манипуляциями.

66


ПОИСКОВОЕ ПАРТНЕРСТВО С FACEBOOK

Широкая публика узнала о сделке только в январе 2014 года, но нет сомнений, что «созрела» она в еще 2013 году. Facebook продал «Яндексу» доступ к своему firehose — контенту соцсети, не закрытому настрой-ками приватности.

Теперь записи пользователей Facebook из России, Украины, Турции, Казахстана и Белоруссии могут появляться в поисковой выдаче «Яндекса» (пока только посты и только в поиске по блогам; позже — в «основном» поиске, и еще чуть позже к постам добавятся комментарии).

Следствием этой договоренности может стать не толь-ко улучшение качества поиска «Яндекса», но и уве-личение популярности Facebook среди российской интернет-аудитории.

Еще в январе 2013 года мог появиться совместный продукт Facebook и «Яндекса» — приложение Wonder, созданное последним. Это приложение поддерживало поиск услуг и заведений, о которых друзья отзывались в социальных сетях, в том числе в Facebook, и под-держивало голосовые запросы. Но Facebook отказал приложению в доступе к API, сочтя его функционал конкурирующим.


67

GOOGLE В РОССИИ В 2013 ГОДУ

3.СУДЯ ПО ПОСТАМ В КОРПОРАТИВ-НОМ БЛОГЕ «GOOGLE РОССИЯ» (ЕСЛИ НЕ СЧИТАТЬ ПЕРЕВОДЫ ПОСТОВ ИЗ МЕЖДУНАРОДНОГО БЛОГА), ОСНОВНАЯ ЗАДАЧА РОССИЙСКОГО ПРЕДСТАВИТЕЛЬСТВА GOOGLE — ПРО-ВЕДЕНИЕ МЕРОПРИЯТИЙ ДЛЯ РАЗНЫХ СЛОЕВ НАСЕЛЕНИЯ, В РЕЗУЛЬТАТЕ КОТОРЫХ ПОТЕНЦИАЛЬНЫЕ ПОЛЬЗО-ВАТЕЛИ ЗНАКОМЯТСЯ С ПРОДУКТАМИ И СЕРВИСАМИ КОМПАНИИ.

В 2013 году в регионах стартовала программа «Вперед вместе с Google». Согласно блогу, в программу включена «серия лекций, мастер-классов, хакатонов и интерактивных семинаров для преподавателей, предпринимателей, учащихся школ и вузов, а также программистов и госслужащих».

Другие программы:

f «Разбираем Интернет». «Участники узнают о том, как получить доступ к полезной информации и знаниям в Интернете, быстро находить ответы на самые необычные вопросы, критически оценивать онлайн-контент, создавать собственные интернет-проекты, общаться».

f «Понятный Интернет». «Направлена на обсуж-дение лучших практик обучения пользовате-лей старшего поколения навыкам компьютерной и интернет-грамотности».

Google также провел конкурс детского рисунка на луч-ший дудл. Судя по авторству постов в блоге, за эти активности отвечают генеральный директор «Google Россия» Юлия Соловьева и заместитель директора

68


по взаимодействию с органами государственной власти «Google Россия» Ксения Карякина.

НОВЫЙ ГЕНДИРЕКТОР GOOGLE РОССИЯ

В январе 2013 года российский Google, который к тому моменту полтора года жил без генерального директора, возглавила Юлия Соловьева. Ранее она была управляющим директором московского офиса «Alvarez & Marsal», исполнительным вице-президентом и президентом медиахолдинга «ПрофМедиа», также работала в МТС, Booz Allen Hamilton, НТВ+, Mary Kay и «Голден Телеком».

В интервью РИА Новости Соловьева озвучила следу-ющие тезисы:

f «у нас нет задачи быть первыми априори конкретно по поиску»;

f «мы хотим разбить стереотип, что Google — это только поиск»;

f о сервисах Яндекса: «часто это хорошая локали-зация наших продуктов»;

f «нам нужно активнее запускать глобальные серви-сы Google в России, пока «Яндекс» не сделал это лучше или быстрее»;

f «в этом году мы собираемся продвигать Google Play, YouTube и Google+ вместе с контент-партнерами. Будет много историй, которые основаны и на спорте, и на новостях, и на развлечениях»;

f «еще одна проблема в том, что в России люди не до конца понимают, как можно монетизировать YouTube, и над этим мы тоже будем работать».

НОВЫЙ ПОИСКОВЫЙ АЛГОРИТМ HUMMINGBIRD

Новый алгоритм, обеспечивающий повышенную быстроту и точность, начал обрабатывать 90% запросов к Google летом 2013 года. Предыдущая версия алгоритма, Google Caffeine, появилась в 2010 году. Технологии «Панда» и «Пингвин», направленные на борьбу со ссылочным спамом и некачественными сайтами в выдаче, были не новыми версиями поискового алгоритма, а обнов-лениями для Caffeine.

БОРЬБА СО ССЫЛОЧНЫМИ БИРЖАМИ, В ТОМ ЧИСЛЕ РОССИЙСКИМИ

Google не менее негативно, чем «Яндекс», относится к попыткам оптимизаторов влиять на ссылочное ран-жирование. Борьба с этим явлением ведется давно; в 2013 году Google несколько раз применил массовые санкции к вебмастерам, которые сотрудничали с Sape.ru и другими биржами.

Наиболее интересным на фоне новостей от «Яндекса» выглядит заявление представителя Google о том, что компания не собирается прекращать учет ссылок в ранжировании, находя их одним из лучших спосо-бов определить релевантность и важность контента.

И Google, и «Яндекс» расширяли инструментарий для вебмастеров, добавляя в него, однако, те инстру-менты и возможности, которые позволяют поисковикам контролировать и направлять в нужную сторону их деятельность. Инструменты, которые этому способствуют недостаточно сильно, урезаются.

Для защиты пользователей Google в 2013 году стал обрабатывать почти все их запросы в зашифрованном режиме (SSL, HTTPS). В статистике сайта не отражаются запросы, по которым пользователь на него пришел,

69


если они были сделаны в режиме зашифрованного соединения. В результате вебмастера лишились важ-ного метода анализа поискового трафика.

«Яндекс» в декабре объявил, что в порядке экспери-мента зашифрует запросы 2% пользователей. Однако с помощью «Яндекс.Метрики» или «Яндекс.Вебмастера» владелец сайта сможет видеть эти запросы.

Еще одним методом борьбы с покупкой ссылок Google в 2013 году сделал «публичные порки»:

f Популярный у западной аудитории сайт Rap Genius (содержит тексты песен рэп-исполнителей) исчез из выдачи по целевым запросам (названия песен и даже название самого сайта), и его поисковый трафик упал за неделю примерно в 10 раз.

f После того, как сайт крупнейшего сервиса по бро-нированию туристических услуг Expedia.com потерял 25% видимости в поиске Google, акции компании упали на 4%.

Интересно, что отношения Google с Expedia накалились еще в 2012 году, когда тревел-стартап присоединился к иску европейских компаний против Google. Компании обвиняли Google в нечестной конкуренции, в пониже-нии в выдаче их сервисов и повышении собственных, аналогичных. Например, сервис Google Flight Search — поиск авиабилетов — может составить конкуренцию специализированным ресурсам, что отражает тенденцию, отмеченную нами в первой главе.

Эту же тенденцию вспоминает SEO-эксперт Дэнни Салливан, когда «утешает» Rap Genius тем, что скоро Google наверняка начнет показывать тексты песен прямо в выдаче, и сайт станет вообще никому не нужен.

Кстати, не только тексты песен, но и аккорды умеет показывать в выдаче «Яндекс». Он же раньше Google

запустил конвертер биткойнов в доллары, рубли и евро с учетом курса криптовалюты.

НОВОЕ ПОКОЛЕНИЕ УСТРОЙСТВ

Рост популярности, массовости и разнообразия носимых гаджетов стал одной из главных тенденций развития всего IT в 2013 году и останется таковой в 2014. В 2013 Google начал ограниченные продажи Google Glass — очков-компьютера, подключающегося к Интернету и позволяющего пользоваться различными приложе-ниями, в том числе поиском Google, Gmail и так далее.

В 2014 Google скорее всего выпустит smart watch — носимое устройство в форме часов, обогащенных функционалом «виртуального ассистента» Google Now.

В России эти устройства мало распространены, но для Google сейчас важна не столько массовость, сколько наблюдение за новыми привычками и пат-тернами поведения, возникающими у пользователей подобных устройств, за потребностями и проблемами, которые были не знакомы пользователям сервисов Google на стационарных компьютерах и смартфонах.

Кроме того, в 2013 году Россия стала шестнадцатой страной, где продается Chromebook — ноутбук на опе-рационной системе от Google, в которой делается акцент на сервисах компании.


70

4.ПОИСК MAIL.RU В 2013 ГОДУ

ПЕРЕХОД НА СОБСТВЕННЫЙ ПОИСК

В июле компания заявила, что полностью переходит на собственные поисковые технологии. Закончилось партнерство с Google, который до этого уже несколько месяцев обрабатывал только часть поисковых запро-сов. На рыночной доле поиска Mail.ru эта мера пока заметно не отразилась.

ОТВЕТЫ И ИНФОРМАЦИЯ В ВЫДАЧЕ

Общий тренд на извлечение с сайтов контента и информации и показ ее в выдаче был поддержан и Mail.ru. Особенность подхода этого поисковика заключается в том, что у вла-деющей им компании есть много контентных ресурсов с профессиональным редакционным контентом («Авто@Mail.ru», «Леди@Mail.ru», «Работа@Mail.ru» и так далее).

Однако Mail.ru обогащает поиск не только материалом с собственных сервисов. Из сторонних ресурсов о кино берется описание фильмов, от видеохостингов поиск получает данные по длительности видеороликов, в выдаче можно прослушивать музыку, оплачивать телефон и т. д.

ПРОТООСТРОВА В ВЫДАЧЕ GO.MAIL.RU

В мае команда поиска анонсировала нечто похожее на яндексовские «острова» — возможность взаимодей-ствовать с сайтом прямо из выдачи поиска. Например, в выдаче по запросу ozon.ru есть форма для поиска по сайту этого магазина.

71


ПРИВЛЕЧЕНИЕ К СОТРУДНИЧЕСТВУ ВЕБМАСТЕРОВ

Еще в прошлом году представители поиска Mail.ru декла-рировали более дружелюбное, нежели чем у «Яндекса» и Google, отношение к вебмастерам.

В стремлении привлечь вебмастеров к использованию подготовленного для них инструментария руководи-тель разработки поиска Андрей Калинин рассказал на конференции IBC Russia о том, как его продукт использует поведенческие факторы для ранжирования, и предложил вебмастерам управлять поведенческими факторами для своего сайта.

ВЫХОД НА ГЛОБАЛЬНЫЙ РЫНОК

В 2013 году на домене My.com появилась информа-ция о продуктах Mail.ru Group для англоговорящих пользователей мирового рынка. Сейчас это три мобильных приложения: мессенджер, почта и игры. В январе 2014 года на том же домене располагается анонс приложения для обработки фото. К сожале-нию, поиск в этих продуктах никак не задействован и не может пока рассчитывать на приток англоя-зычной аудитории.

ВРЕМЕННОЕ ЗАТИШЬЕ В ОБЛАСТИ ДИСТРИБУЦИИ

В 2012 году «Яндекс» и Mail.ru практически одно-временно выпустили собственные браузеры. В 2013 году о браузере Mail.ru было слышно гораздо меньше, чем о браузере «Яндекса». В 2012 же году у поиска Mail.ru заметно выросла доля рынка. Руководитель подразделения «Поиск и e-commerce» Владимир Габриелян рассказал тогда Roem.ru, что после периода активного привлечения к поиску аудитории путем дистрибуции нужно будет подождать и посмотреть, останется ли эта аудитория пользователями через некоторое время.

В январе 2014 года у Mail.ru Group появилось несколько вакансий, связанных с развитием и продвижением браузера, поэтому можно предположить, что этот год снова будет посвящен активному привлечению ауди-тории. Кроме того, можно предположить, что появятся версии браузера для мобильных платформ.


72

5.РЕЗЮМЕ

В 2013 году сохранились многие тенденции, которые уже были ярко выражены в 2012 году:

f усиление государственного регулирования Рунета;

f рост влияния социальных сигналов на ранжирова-ние страниц и появление контента из социальных сетей в поисковой выдаче;

f персонализация поисковых результатов;

f стремление поисковиков отвечать на вопросы и давать пользователям возможность взаимодей-ствовать с сайтами, не выходя из поиска;

f повышенное внимание к голосовому поиску и «зата-чивание» поисковых продуктов под специфику потребления мобильных устройств.

М О С К В А , 2 0 1 4

« А Ш М А Н О В И П А Р Т Н Е Р Ы »

В С Е П Р А В А З А Щ И Щ Е Н Ы

W W W . A S H M A N O V. C O M

П О В С Е М В О П Р О С А М О Б Р А Щ А Т Ь С Я

К К С Е Н И И Р Ы Ж К О В О Й : K R @ A S H M A N O V. C O M

http://www.ashmanov.com

aip otchet search_2014

Documents