Оценка качества поиска
Transcript of Оценка качества поиска
![Page 1: Оценка качества поиска](https://reader036.fdocuments.net/reader036/viewer/2022062418/555e22b6d8b42a384f8b4bfe/html5/thumbnails/1.jpg)
1
![Page 2: Оценка качества поиска](https://reader036.fdocuments.net/reader036/viewer/2022062418/555e22b6d8b42a384f8b4bfe/html5/thumbnails/2.jpg)
2
Примерно так
• Зачем измерять качество?
• Разные техники– Автоматы– Асессоры– Пользователи
• Неотвеченные вопросы
![Page 3: Оценка качества поиска](https://reader036.fdocuments.net/reader036/viewer/2022062418/555e22b6d8b42a384f8b4bfe/html5/thumbnails/3.jpg)
3
Что здесь изображено?
![Page 4: Оценка качества поиска](https://reader036.fdocuments.net/reader036/viewer/2022062418/555e22b6d8b42a384f8b4bfe/html5/thumbnails/4.jpg)
4
Первый шаг: маркеры
• Конкретные сайты по конкретным запросам
• Недостатки:– Трудно составить непредвзятый набор– Навигационных запросов <15%
![Page 5: Оценка качества поиска](https://reader036.fdocuments.net/reader036/viewer/2022062418/555e22b6d8b42a384f8b4bfe/html5/thumbnails/5.jpg)
5
Турфирма солеанс
![Page 6: Оценка качества поиска](https://reader036.fdocuments.net/reader036/viewer/2022062418/555e22b6d8b42a384f8b4bfe/html5/thumbnails/6.jpg)
6
Турфирма солеанс
![Page 7: Оценка качества поиска](https://reader036.fdocuments.net/reader036/viewer/2022062418/555e22b6d8b42a384f8b4bfe/html5/thumbnails/7.jpg)
7
Что делать с другими запросами?
• “Тематические маркеры”– Гипотеза: по многим запросам есть
авторитетные страницы
• В реальности:– По некоторым запросам авторитетных
страниц очень много– По некоторым запросам авторитетных
страниц нет совсем
![Page 8: Оценка качества поиска](https://reader036.fdocuments.net/reader036/viewer/2022062418/555e22b6d8b42a384f8b4bfe/html5/thumbnails/8.jpg)
8
Поисковая система
![Page 9: Оценка качества поиска](https://reader036.fdocuments.net/reader036/viewer/2022062418/555e22b6d8b42a384f8b4bfe/html5/thumbnails/9.jpg)
9
Поисковая система
![Page 10: Оценка качества поиска](https://reader036.fdocuments.net/reader036/viewer/2022062418/555e22b6d8b42a384f8b4bfe/html5/thumbnails/10.jpg)
10
Я записался в танкисты некогда слушать секс пистолз
![Page 11: Оценка качества поиска](https://reader036.fdocuments.net/reader036/viewer/2022062418/555e22b6d8b42a384f8b4bfe/html5/thumbnails/11.jpg)
11
Я записался в танкисты некогда слушать секс пистолз
![Page 12: Оценка качества поиска](https://reader036.fdocuments.net/reader036/viewer/2022062418/555e22b6d8b42a384f8b4bfe/html5/thumbnails/12.jpg)
12
Как сравнить количественно?• Оценки экспертов
• Соответствие документа запросу
• Но не задаче пользователя
1. Сигареты Bond Street2. Струнный квартет Bond3. James Bond, агент 007
![Page 13: Оценка качества поиска](https://reader036.fdocuments.net/reader036/viewer/2022062418/555e22b6d8b42a384f8b4bfe/html5/thumbnails/13.jpg)
13
Как это у нас
• VITAL – однозначно на первом месте
• USEFUL – отвечает на запрос и вдобавок– Находится на авторитетном ресурсе– Содержит много еще полезного по теме
• REL+ – отвечает на запрос
• REL- – содержит что-то по теме запроса
• IRREL – не помогает пользователю
![Page 14: Оценка качества поиска](https://reader036.fdocuments.net/reader036/viewer/2022062418/555e22b6d8b42a384f8b4bfe/html5/thumbnails/14.jpg)
14
Официальный сайт фк зенит
![Page 15: Оценка качества поиска](https://reader036.fdocuments.net/reader036/viewer/2022062418/555e22b6d8b42a384f8b4bfe/html5/thumbnails/15.jpg)
15
Vasily smyslov
![Page 16: Оценка качества поиска](https://reader036.fdocuments.net/reader036/viewer/2022062418/555e22b6d8b42a384f8b4bfe/html5/thumbnails/16.jpg)
16
Frozen lake
![Page 17: Оценка качества поиска](https://reader036.fdocuments.net/reader036/viewer/2022062418/555e22b6d8b42a384f8b4bfe/html5/thumbnails/17.jpg)
17
И вот что получается:
• Левый лучше• Хоть без микроскопа и не видно
Гипотеза:• Пользователь идет сверху вниз• Останавливается если
• Нашел• Устал
![Page 18: Оценка качества поиска](https://reader036.fdocuments.net/reader036/viewer/2022062418/555e22b6d8b42a384f8b4bfe/html5/thumbnails/18.jpg)
18
Слышали про MatrixNet?
Вот так это выглядело год назад
![Page 19: Оценка качества поиска](https://reader036.fdocuments.net/reader036/viewer/2022062418/555e22b6d8b42a384f8b4bfe/html5/thumbnails/19.jpg)
19
Кто выиграл уимблдон
![Page 20: Оценка качества поиска](https://reader036.fdocuments.net/reader036/viewer/2022062418/555e22b6d8b42a384f8b4bfe/html5/thumbnails/20.jpg)
20
Наполеон
![Page 21: Оценка качества поиска](https://reader036.fdocuments.net/reader036/viewer/2022062418/555e22b6d8b42a384f8b4bfe/html5/thumbnails/21.jpg)
21
Наполеон
![Page 22: Оценка качества поиска](https://reader036.fdocuments.net/reader036/viewer/2022062418/555e22b6d8b42a384f8b4bfe/html5/thumbnails/22.jpg)
22
А если наполеона спросили
• 31 декабря
• 7 марта
• 30 мая
?
![Page 23: Оценка качества поиска](https://reader036.fdocuments.net/reader036/viewer/2022062418/555e22b6d8b42a384f8b4bfe/html5/thumbnails/23.jpg)
23
Можно спросить пользователей
• Доля некликнутых
![Page 24: Оценка качества поиска](https://reader036.fdocuments.net/reader036/viewer/2022062418/555e22b6d8b42a384f8b4bfe/html5/thumbnails/24.jpg)
24
Яндекс
![Page 25: Оценка качества поиска](https://reader036.fdocuments.net/reader036/viewer/2022062418/555e22b6d8b42a384f8b4bfe/html5/thumbnails/25.jpg)
25
Можно спросить пользователей
• Доля некликнутых
• Средняя позиция первого клика
![Page 26: Оценка качества поиска](https://reader036.fdocuments.net/reader036/viewer/2022062418/555e22b6d8b42a384f8b4bfe/html5/thumbnails/26.jpg)
26
Санкт Петербург
![Page 27: Оценка качества поиска](https://reader036.fdocuments.net/reader036/viewer/2022062418/555e22b6d8b42a384f8b4bfe/html5/thumbnails/27.jpg)
27
Еще не все вопросы отвечены
• Как пользователь выбирает поисковик?
• Что предпочесть, когда показатели разнонаправлены?
![Page 28: Оценка качества поиска](https://reader036.fdocuments.net/reader036/viewer/2022062418/555e22b6d8b42a384f8b4bfe/html5/thumbnails/28.jpg)
28