Новый алгоритм Яндекс Королев

22.08.2017 в 20:00 Компания Яндекс запустила новую версию поиска. В её основе лежит поисковый алгоритм «Королёв». Алгоритм с помощью нейронной сети сопоставляет смысл запросов и веб-страниц — это позволяет Яндексу точнее отвечать на сложные запросы. Для обучения новой версии поиска используются поисковая статистика и оценки миллионов людей. Таким образом, вклад в развитие поиска вносят не только разработчики, но и все пользователи Яндекса.

Как работает алгоритм «Королёв»

Поисковый алгоритм «Королёв» сравнивает семантические векторы поисковых запросов и веб-страниц целиком — а не только их заголовков. Это позволяет выйти на новый уровень понимания смысла. Представьте, что вы впервые услышали о романе Льва Толстого «Война и мир». Безусловно, вы сможете извлечь смысл из названия — например предположить, что в книге много батальных сцен. Но чтобы узнать все хитросплетения сюжета и давать исчерпывающие ответы на вопросы о романе, вам потребуется прочитать его полностью.

Умение понимать смысл особенно полезно при обработке редких и необычных запросов — когда люди пытаются описать своими словами свойства того или иного объекта и ожидают, что поиск подскажет его название: [картина где небо закручивается] или [ленивая кошка из монголии].

Как и в случае с «Палехом», тексты веб-страниц в семантические векторы преобразует нейросеть. Эта операция требует много вычислительных ресурсов. Сравните: на то, чтобы прочитать название книги, у вас уйдут считанные секунды, но на то, чтобы прочитать её всю от корки до корки, потребуются часы, дни или даже недели. Поэтому «Королёв» высчитывает векторы страниц не в режиме реального времени, а заранее, на этапе индексирования. Когда человек задаёт запрос, алгоритм сравнивает вектор запроса с уже известными ему векторами страниц.

Люди учат машины

Мы верим, что использование машинного обучения, а особенно нейросетей, рано или поздно позволит научить поиск оперировать смыслами на уровне человека. Но без помощи людей тут не обойтись. Чтобы машина поняла, как решать ту или иную задачу, необходимо показать ей огромное количество примеров: положительных и отрицательных. Такие примеры дают пользователи Яндекса.

Нейронная сеть, которую использует алгоритм «Королёв», обучается на обезличенной поисковой статистике. Системы сбора статистики учитывают, на какие страницы пользователи переходят по тем или иным запросам и сколько времени они там проводят. Если человек открыл веб-страницу и «завис» там надолго, вероятно, он нашёл то, что искал, — то есть страница хорошо отвечает на его запрос. Это положительный пример. Подобрать отрицательные примеры гораздо легче: достаточно взять запрос и любую случайную веб-страницу.

Также в ходе презентации отметили, что новый поисковой алгоритм использует статистические данные сервиса Яндекс. Толока. Благодаря Толоке, любой человек может поспособствовать развитию искусственного интеллекта, тем самым помогая разделять полезную страницу от отрицательной.

Как Королев может затронуть SEO-продвижение

Раньше все алгоритмы работали по методу машинного обучения «Матрикснет», который дорабатывали вручную. «Королев», в свою очередь, обучается самостоятельно при помощи миллионов запросов пользователей, способствуют обучению нейронные сети. Запуск нового алгоритма должен помочь в первую очередь отвечать на информационные запросы и поспособствовать быстрому нахождению ответов. В любом случае переход от заспамленных SEO-текстов к человечным большое достижение, которое позволит копирайтерам совершенствоваться и достигать новых высот в написании текстов.

По своей сути, «Королев» пройдет мимо поисковой оптимизации и никак не должен повлиять на коммерческие запросы, по крайней мере, на данном этапе. Большинство факторов как работали, так и будут работать, затрагивая только НЧ-запросы.