Борьба с вирусами и спамом
-
Upload
yaevents -
Category
Technology
-
view
1.123 -
download
2
Transcript of Борьба с вирусами и спамом
СтуДень, Новосибирск, 24 сентября 2010
Борьба с вирусами и спамом
Cергей ПевцовРуководитель антислужбы
uniqid1234.ru
uniqid1234.ru/page1.html 09.03.2010uniqid1234.ru/page2.html 09.03.2010uniqid1234.ru/page3.html 09.03.2010
userid123456
Яндекс помогает веб-мастерам
freethinkerry.livejournal.com
Поисковый спам
Поисковый спам – сайты,
страницы или элементы
страниц, предназначенные
для манипулирования
алгоритмами ранжирования
поисковой системы или для
создания бесполезной
нагрузки на ее сервера.
Цикл работы с поисковым спамом
ВЫЯВЛЕНИЕ ПРОБЛЕМЫ
ОБУЧАЮЩАЯВЫБОРКА
ВЫДЕЛЕНИЕПРИЗНАКОВ
МАШИННОЕОБУЧЕНИЕ
УДАЛЕНИЕСПАМА
• доля частиц "ну", "вот", "ведь"• число слов «порно» на странице• доля слов, состоящих более, чем из 7 букв…
Алгоритмы используют: - MatrixNet- gradient boosting- bagging-oblivious trees
- regularization-greedy function approximation- logit boost- …
Выделение признаков
доля частиц "ну", "вот", "ведь"
признак №2, ед.
кол
иче
ство
пр
им
ер
ов
спам
не спам
x<15 x>15не спам спам
Пропускаем много спама и допускаем несколько ошибок.Нужно добавить еще признаков…
ПОИСК
Запрет
на бан или
разбан?
да
нет
нет
В W
· xxxxxxxxxx
· xxxxxxxxxx
· xxxxxxxxxx
· xxxxxxxxxx
· xxxxxxxxxx
· xxxxxxxxxx
· xxxxxxxxxx
· xxxxxxxxxx
· xxxxxxxxxx
· xxxxxxxxxx
· xxxxxxxxxx
· xxxxxxxxxx
· xxxxxxxxxx
· xxxxxxxxxx
· xxxxxxxxxx
· xxxxxxxxxx
· xxxxxxxxxx
· xxxxxxxxxx
да
нет
В
В1
· xxxxxxxxxx
· xxxxxxxxxx
F
да
В
W
служба поддержки
BF
FM
В
· xxxxxxxxxx
xxxxxxxxxx
xxxxxxxxxx
xxxxxxxxxx
xxxxxxxxxx
РОБОТ
В общем, тут тоже все просто…