Рубрикатор | ![]() |
![]() |
Все новости | ![]() |
Новости отрасли | ![]() |
![]() |
Гузель КУЛИКОВА | 23 августа 2017 |
«Яндекс» запустил новую систему поиска на основе нейронных сетей
Решение сопоставляет смысл запроса и содержание веб-страницы и позволяет поисковой системе точнее отвечать на запросы пользователей, заявили разработчики. Новая система поиска названа в честь основоположника отечественной космонавтики Сергея Королева.
По словам Александра Сафронова, руководителя службы релевантности и лингвистики «Яндекса», работу в направлении обучения нейронных сетей компания начала с модели DSSM. «Для того чтобы обучить нейронную сеть, нам нужно было показать ей множество положительных и отрицательных примеров. Положительный пример – это запрос и текст страницы, которые связаны по смыслу, отрицательный – два текста, не связанных по смыслу. Для обучения новой версии поиска используются поисковая статистика и оценки миллионов людей. Здесь к нам на помощь пришли пользователи, ежедневно они набирают свои запросы и получают ответы. Таким образом, наша машина «учится» на основе этих больших данных (big data)», – рассказал Александр Сафронов.
![Александр Сафронов](/data/2017/08/23/1237639555/image-1.jpg)
«Королёв» использует нейронную сеть, которая анализирует не только заголовок, а всю страницу целиком. Это сложная вычислительная задача, поэтому «Яндекс» определяет суть страницы заранее, на этапе индексирования. Благодаря этому количество страниц, которые поиск сравнивает по смыслу с запросом, выросло со 150 до 200 тыс. документов.
Другая особенность нового алгоритма заключается в том, что он учитывает еще и смысл других запросов, по которым пользователи переходят на ту или иную страницу.
Разработчики отметили, что в помощи пользователей нуждается и Матрикснет (метод машинного обучения, разрабатываемый в «Яндексе»), который строит формулу ранжирования. Для развития системы необходимо, чтобы люди постоянно давали оценку его работе.
![Ольга Мегорская](/data/2017/08/23/1237639553/Ольга-Мегорская,-руководитель-отдела-качества-обработки-данных-«Яндекс».jpg)
«В «Яндексе» уже несколько лет сбором данных для машинного обучения занимаются наши сотрудники, так называемые асессоры. Но чем больше оценок, тем лучше: поэтому мы решили привлечь к этому всех желающих и запустили краудсорсинговую платформу. Здесь вы можете зарегистрироваться как исполнитель, найти интересные задания и выполнить их за вознаграждение. В свою очередь клиенты, которым нужны данные для машинного обучения, могут зарегистрироваться и разместить свои заказы. Платформа получила название «Толока». В деревне была такая традиция, когда люди собирались вместе, чтобы сделать одно большое дело. На нашей платформе за несколько лет ее существования собралось уже больше 1 млн таких исполнителей. Сообща они дали больше 2 млрд оценок, которые пошли на обучение искусственного интеллекта», – рассказала Ольга Мегорская, руководитель отдела качества обработки данных «Яндекс».
По словам разработчиков новой системы, алгоритмы придумывают разработчики, а учат – миллионы пользователей «Яндекса». Любой запрос – это анонимный сигнал, который помогает машине всё лучше понимать людей.
Оставить свой комментарий:
Комментарии по материалу
Данный материал еще не комментировался.