ОЦЕНКА ЭФФЕКТИВНОСТИ РЕКОМЕНДАТЕЛЬНЫХ СИСТЕМ
-
Upload
mollie-burks -
Category
Documents
-
view
106 -
download
2
description
Transcript of ОЦЕНКА ЭФФЕКТИВНОСТИ РЕКОМЕНДАТЕЛЬНЫХ СИСТЕМ
![Page 1: ОЦЕНКА ЭФФЕКТИВНОСТИ РЕКОМЕНДАТЕЛЬНЫХ СИСТЕМ](https://reader033.fdocuments.net/reader033/viewer/2022061517/56813611550346895d9d8735/html5/thumbnails/1.jpg)
ОЦЕНКА ЭФФЕКТИВНОСТИ РЕКОМЕНДАТЕЛЬНЫХ СИСТЕМС.А.Амелькин
Институт программных систем имени А.К.Айламазяна РАН
![Page 2: ОЦЕНКА ЭФФЕКТИВНОСТИ РЕКОМЕНДАТЕЛЬНЫХ СИСТЕМ](https://reader033.fdocuments.net/reader033/viewer/2022061517/56813611550346895d9d8735/html5/thumbnails/2.jpg)
ЗАДАЧИ
• Задача восстановления оценки• Задача составления рекомендации• Составление упорядоченного множества объектов
RCDL'2012 Переславль-Залесский, 15-18 октября 2012 2
Постановка задачи
Формулировка критериев
Построение алгоритма решения
![Page 3: ОЦЕНКА ЭФФЕКТИВНОСТИ РЕКОМЕНДАТЕЛЬНЫХ СИСТЕМ](https://reader033.fdocuments.net/reader033/viewer/2022061517/56813611550346895d9d8735/html5/thumbnails/3.jpg)
RCDL'2012 Переславль-Залесский, 15-18 октября 2012 3
ЗАДАЧА ВОССТАНОВЛЕНИЯ ОЦЕНКИ
• <Задача 1> Задачей рекомендательной системы является расчет значений ri, максимально близких к величинам vi, при заданном множестве пар (пользователь, объект), для которых известны vi.
Другие: корреляции, Махаланобис
Функция близости
Метрики: совместно монотонны
𝑑(𝑅 ,𝑉 )→min❑,
![Page 4: ОЦЕНКА ЭФФЕКТИВНОСТИ РЕКОМЕНДАТЕЛЬНЫХ СИСТЕМ](https://reader033.fdocuments.net/reader033/viewer/2022061517/56813611550346895d9d8735/html5/thumbnails/4.jpg)
RCDL'2012 Переславль-Залесский, 15-18 октября 2012 4
ФУНКЦИИ БЛИЗОСТИ: МЕТРИКИ• Результат работы рекомендательной системы: вектор R=(r1, r2,
…, rn) представляет собой точку в пространстве Mn, где M – множество (спектр) оценок, допустимых в используемой шкале. Этому же пространству принадлежит точка V=(v1, v2, … , vn).
• Если на пространстве Мn выбрана норма ||V||, например, из класса lp, то соответствующее этой норме расстояние (метрика Минковского) может служить критерием эффективности.
𝑑 ( 𝑅 ,𝑉 )=‖𝑅−𝑉‖=(∑𝑖=1
𝑛
|𝑟 𝑖−𝑣 𝑖|𝑝)1𝑝
Нормированное расстояние
𝑑′ ( 𝑅 ,𝑉 )=𝑛− 1
𝑝 𝑑 ( 𝑅 ,𝑉 ) .𝑝=1❑
⇒𝑑′ ( 𝑅 ,𝑉 )=𝑚𝑎𝑒= 1
𝑛 ∑𝑖=1
𝑛
|𝑟 𝑖−𝑣 𝑖|
.
![Page 5: ОЦЕНКА ЭФФЕКТИВНОСТИ РЕКОМЕНДАТЕЛЬНЫХ СИСТЕМ](https://reader033.fdocuments.net/reader033/viewer/2022061517/56813611550346895d9d8735/html5/thumbnails/5.jpg)
RCDL'2012 Переславль-Залесский, 15-18 октября 2012 5
ФУНКЦИИ БЛИЗОСТИ: ДРУГИЕ
• Расстояние Махаланобиса: ,
![Page 6: ОЦЕНКА ЭФФЕКТИВНОСТИ РЕКОМЕНДАТЕЛЬНЫХ СИСТЕМ](https://reader033.fdocuments.net/reader033/viewer/2022061517/56813611550346895d9d8735/html5/thumbnails/6.jpg)
RCDL'2012 Переславль-Залесский, 15-18 октября 2012 6
ЗАДАЧА СОСТАВЛЕНИЯ РЕКОМЕНДАЦИИ
• <Задача 2> Разделим принятую в данной рекомендательной системе шкалу на две страты: P – положительные оценки и N – отрицательные оценки. Тогда работа рекомендательной системы представляет собой проверку гипотезы H0: viP.
viP viN
riP положительный прогноз верен
ошибка 1 рода (-ошибка)
riN ошибка 2 рода (-ошибка) отрицательный прогноз верен
![Page 7: ОЦЕНКА ЭФФЕКТИВНОСТИ РЕКОМЕНДАТЕЛЬНЫХ СИСТЕМ](https://reader033.fdocuments.net/reader033/viewer/2022061517/56813611550346895d9d8735/html5/thumbnails/7.jpg)
RCDL'2012 Переславль-Залесский, 15-18 октября 2012 7
КОЭФФИЦИЕНТЫ АССОЦИАТИВНОСТИ
precisionpositive prediction value
точность
recall (recall rate),true positive rate,sensitivity, hitrate, coverage
Полнота
negative prediction value
точность отрицательного прогноза
specificity специфичность
accuracy совстречаемостьобозначив pa, pb — частоты a и b ошибок, получаем связь между ними и аккуратностью1 – pb = pa +acc
acc = rcl + (1-)spc
![Page 8: ОЦЕНКА ЭФФЕКТИВНОСТИ РЕКОМЕНДАТЕЛЬНЫХ СИСТЕМ](https://reader033.fdocuments.net/reader033/viewer/2022061517/56813611550346895d9d8735/html5/thumbnails/8.jpg)
RCDL'2012 Переславль-Залесский, 15-18 октября 2012 8
КОЭФФИЦИЕНТЫ АССОЦИАТИВНОСТИ
F-measure (F score) F мера (мера Ван Ризбергена)
false discovery rate
false positive rarefall-out
pa
![Page 9: ОЦЕНКА ЭФФЕКТИВНОСТИ РЕКОМЕНДАТЕЛЬНЫХ СИСТЕМ](https://reader033.fdocuments.net/reader033/viewer/2022061517/56813611550346895d9d8735/html5/thumbnails/9.jpg)
RCDL'2012 Переславль-Залесский, 15-18 октября 2012 9
НЕОДНОЗНАЧНОСТЬ РЕЗУЛЬТАТА• Критерии могут быть противоречивыми: уменьшение уровня
значимости (pa) возможно только за счет снижения мощности критерия проверки гипотезы (1 – pb). Если в качестве критериев деятельности рекомендательной системы выбраны несколько таких противоречивых критериев, то настройки системы могут обеспечить увеличение эффективности по одному из критериев только за счет ухудшения эффективности по другому. Зависимость между предельными значениями критериев эффективности называется множеством Парето. Такое множество для рекомендательных систем строится, как правило либо для показателей prc(rcl), либо для rcl(fpr).
• Свертка критериев, например, коэффициент корреляции Мэтью:
𝑚𝑐𝑐=𝑡𝑝 ∙ 𝑡𝑛− 𝑓𝑝 ∙ 𝑓𝑛
√ (𝑡𝑝+ 𝑓𝑛) ( 𝑓𝑝+𝑡𝑛) (𝑡𝑝+ 𝑓𝑝 ) (𝑡𝑛+ 𝑓𝑛)
![Page 10: ОЦЕНКА ЭФФЕКТИВНОСТИ РЕКОМЕНДАТЕЛЬНЫХ СИСТЕМ](https://reader033.fdocuments.net/reader033/viewer/2022061517/56813611550346895d9d8735/html5/thumbnails/10.jpg)
RCDL'2012 Переславль-Залесский, 15-18 октября 2012 10
СОСТАВЛЕНИЕ УПОРЯДОЧЕННОГО МНОЖЕСТВА ОБЪЕКТОВ
• <Задача 3> Задача рекомендательной системы – найти такие оценки ri, чтобы для максимального числа пар (i, j) (i=1, …, n; j=1, … ,n; ij) выполнялось условие:
{𝑟 𝑖>𝑟 𝑗 ❑⇔
𝑣 𝑖>𝑣 𝑗
𝑟 𝑖=𝑟 𝑗 ❑⇔
𝑣 𝑖=𝑣 𝑗
𝑟 𝑖<𝑟 𝑗 ❑⇔
𝑣 𝑖<𝑣 𝑗 .
![Page 11: ОЦЕНКА ЭФФЕКТИВНОСТИ РЕКОМЕНДАТЕЛЬНЫХ СИСТЕМ](https://reader033.fdocuments.net/reader033/viewer/2022061517/56813611550346895d9d8735/html5/thumbnails/11.jpg)
RCDL'2012 Переславль-Залесский, 15-18 октября 2012 11
КРИТЕРИИ
Критерием эффективности для задачи <3> может служить отношение числа правильно построенных порядков. В частности к таким критериям относятся:
Расстояние Хэмминга (fraction of concordant pairs, dH): для всех пар (i, j) записываются двоичные коды
Корреляция Пирсона
𝑟=𝑛∑ 𝑟 𝑖𝑣 𝑖−∑ 𝑟 𝑖∑𝑣 𝑖
√𝑛∑ 𝑟 𝑖2− (∑ 𝑟 𝑖)
2√𝑛∑𝑣 𝑖2− (∑ 𝑣 𝑖)
2
![Page 12: ОЦЕНКА ЭФФЕКТИВНОСТИ РЕКОМЕНДАТЕЛЬНЫХ СИСТЕМ](https://reader033.fdocuments.net/reader033/viewer/2022061517/56813611550346895d9d8735/html5/thumbnails/12.jpg)
RCDL'2012 Переславль-Залесский, 15-18 октября 2012 12
КРИТЕРИИКосинус угла между векторами R и V:
Выражение для cos аналогично корреляции r, только для вычисления косинуса используются не центральные, а начальные моменты.
Непараметрические коэффициенты корреляции (Кендалла, Спирмена, Фехнера и пр.)
Нормированный показатель дисконтированной накопленной выгоды (normalized discounted cumulative gain) — ndcg, — рассчитываемый, как отношение
cos𝜑=∑ 𝑟 𝑖𝑣 𝑖
√∑ 𝑟 𝑖2√∑𝑣 𝑖
2