Post on 22-May-2015
1
2
Примерно так
• Зачем измерять качество?
• Разные техники– Автоматы– Асессоры– Пользователи
• Неотвеченные вопросы
3
Что здесь изображено?
4
Первый шаг: маркеры
• Конкретные сайты по конкретным запросам
• Недостатки:– Трудно составить непредвзятый набор– Навигационных запросов <15%
5
Турфирма солеанс
6
Турфирма солеанс
7
Что делать с другими запросами?
• “Тематические маркеры”– Гипотеза: по многим запросам есть
авторитетные страницы
• В реальности:– По некоторым запросам авторитетных
страниц очень много– По некоторым запросам авторитетных
страниц нет совсем
8
Поисковая система
9
Поисковая система
10
Я записался в танкисты некогда слушать секс пистолз
11
Я записался в танкисты некогда слушать секс пистолз
12
Как сравнить количественно?• Оценки экспертов
• Соответствие документа запросу
• Но не задаче пользователя
1. Сигареты Bond Street2. Струнный квартет Bond3. James Bond, агент 007
13
Как это у нас
• VITAL – однозначно на первом месте
• USEFUL – отвечает на запрос и вдобавок– Находится на авторитетном ресурсе– Содержит много еще полезного по теме
• REL+ – отвечает на запрос
• REL- – содержит что-то по теме запроса
• IRREL – не помогает пользователю
14
Официальный сайт фк зенит
15
Vasily smyslov
16
Frozen lake
17
И вот что получается:
• Левый лучше• Хоть без микроскопа и не видно
Гипотеза:• Пользователь идет сверху вниз• Останавливается если
• Нашел• Устал
18
Слышали про MatrixNet?
Вот так это выглядело год назад
19
Кто выиграл уимблдон
20
Наполеон
21
Наполеон
22
А если наполеона спросили
• 31 декабря
• 7 марта
• 30 мая
?
23
Можно спросить пользователей
• Доля некликнутых
24
Яндекс
25
Можно спросить пользователей
• Доля некликнутых
• Средняя позиция первого клика
26
Санкт Петербург
27
Еще не все вопросы отвечены
• Как пользователь выбирает поисковик?
• Что предпочесть, когда показатели разнонаправлены?
28