Ζησόπουλος Γεώργιος 6647
Transcript of Ζησόπουλος Γεώργιος 6647
![Page 1: Ζησόπουλος Γεώργιος 6647](https://reader035.fdocuments.net/reader035/viewer/2022062412/587f1b731a28ab350c8b5daf/html5/thumbnails/1.jpg)
Αναζήτηση μηνυμάτων κοινωνικών μέσων σχετικών με γεγονότα με χρήση τεχνικών ανάκτησης πληροφορίας
Εκπόνηση Εργασίας : Γεώργιος Ζησόπουλος 6647
Επιβλέπων Καθηγητής : Περικλής Α. Μήτκας
ΑΡΙΣΤΟΤΕΛΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΟΝΙΚΗΣ ΠΟΛΥΤΕΧΝΙΚΗ ΣΧΟΛΗ
Τμήμα Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών Τομέας Ηλεκτρονικής και Υπολογιστών
Εργαστήριο Επεξεργασίας Πληροφορίας και Υπολογισμών
![Page 2: Ζησόπουλος Γεώργιος 6647](https://reader035.fdocuments.net/reader035/viewer/2022062412/587f1b731a28ab350c8b5daf/html5/thumbnails/2.jpg)
2
Social media – Ενημέρωση
Twitter• Μηνύματα 140 χαρακτήρων• 310 εκατομμύρια χρήστες καθημερινά• 500 εκατομμύρια tweets την μέρα• Μέσα στα Top10 sites παγκοσμίως
Στόχος : Συγκέντρωση σχετικής και μη επαναλαμβανόμενης πληροφορίας για μια λίστα ειδήσεων
Εισαγωγή – Στόχος της εργασίας
![Page 3: Ζησόπουλος Γεώργιος 6647](https://reader035.fdocuments.net/reader035/viewer/2022062412/587f1b731a28ab350c8b5daf/html5/thumbnails/3.jpg)
3
Μεθοδολογία
![Page 4: Ζησόπουλος Γεώργιος 6647](https://reader035.fdocuments.net/reader035/viewer/2022062412/587f1b731a28ab350c8b5daf/html5/thumbnails/4.jpg)
4
![Page 5: Ζησόπουλος Γεώργιος 6647](https://reader035.fdocuments.net/reader035/viewer/2022062412/587f1b731a28ab350c8b5daf/html5/thumbnails/5.jpg)
Web Scraping
5
![Page 6: Ζησόπουλος Γεώργιος 6647](https://reader035.fdocuments.net/reader035/viewer/2022062412/587f1b731a28ab350c8b5daf/html5/thumbnails/6.jpg)
6
Web Scraping
Δενδροειδής αναπαράσταση HTML κώδικα
![Page 7: Ζησόπουλος Γεώργιος 6647](https://reader035.fdocuments.net/reader035/viewer/2022062412/587f1b731a28ab350c8b5daf/html5/thumbnails/7.jpg)
Web Scraping
7
Παράδειγμα HTML κώδικα μιας είδησης
![Page 8: Ζησόπουλος Γεώργιος 6647](https://reader035.fdocuments.net/reader035/viewer/2022062412/587f1b731a28ab350c8b5daf/html5/thumbnails/8.jpg)
8
Web ScrapingΠαράδειγμα Document μιας είδησης στην ΒΔ
![Page 9: Ζησόπουλος Γεώργιος 6647](https://reader035.fdocuments.net/reader035/viewer/2022062412/587f1b731a28ab350c8b5daf/html5/thumbnails/9.jpg)
9
![Page 10: Ζησόπουλος Γεώργιος 6647](https://reader035.fdocuments.net/reader035/viewer/2022062412/587f1b731a28ab350c8b5daf/html5/thumbnails/10.jpg)
Named Entities
Stanford NER
Εξαγωγή χρήσιμων όρων
10
![Page 11: Ζησόπουλος Γεώργιος 6647](https://reader035.fdocuments.net/reader035/viewer/2022062412/587f1b731a28ab350c8b5daf/html5/thumbnails/11.jpg)
Proper Nouns
arktweetnlp
Εξαγωγή χρήσιμων όρων
11
![Page 12: Ζησόπουλος Γεώργιος 6647](https://reader035.fdocuments.net/reader035/viewer/2022062412/587f1b731a28ab350c8b5daf/html5/thumbnails/12.jpg)
Adjective - Noun
Stanford POS Tagger
Εξαγωγή χρήσιμων όρων
12
![Page 13: Ζησόπουλος Γεώργιος 6647](https://reader035.fdocuments.net/reader035/viewer/2022062412/587f1b731a28ab350c8b5daf/html5/thumbnails/13.jpg)
Noun Sequences
Stanford POS Tagger
13
Εξαγωγή χρήσιμων όρων
![Page 14: Ζησόπουλος Γεώργιος 6647](https://reader035.fdocuments.net/reader035/viewer/2022062412/587f1b731a28ab350c8b5daf/html5/thumbnails/14.jpg)
Nouns
Stanford POS Tagger
14
Εξαγωγή χρήσιμων όρων
![Page 15: Ζησόπουλος Γεώργιος 6647](https://reader035.fdocuments.net/reader035/viewer/2022062412/587f1b731a28ab350c8b5daf/html5/thumbnails/15.jpg)
Noun Phrases
OenNLPTagger
15
Εξαγωγή χρήσιμων όρων
![Page 16: Ζησόπουλος Γεώργιος 6647](https://reader035.fdocuments.net/reader035/viewer/2022062412/587f1b731a28ab350c8b5daf/html5/thumbnails/16.jpg)
Keywords
Jsoup
16
Εξαγωγή χρήσιμων όρων
![Page 17: Ζησόπουλος Γεώργιος 6647](https://reader035.fdocuments.net/reader035/viewer/2022062412/587f1b731a28ab350c8b5daf/html5/thumbnails/17.jpg)
17
Παράδειγμα Document είδησης με τους εξαχθέντες όρους
Εξαγωγή χρήσιμων όρων
![Page 18: Ζησόπουλος Γεώργιος 6647](https://reader035.fdocuments.net/reader035/viewer/2022062412/587f1b731a28ab350c8b5daf/html5/thumbnails/18.jpg)
18
![Page 19: Ζησόπουλος Γεώργιος 6647](https://reader035.fdocuments.net/reader035/viewer/2022062412/587f1b731a28ab350c8b5daf/html5/thumbnails/19.jpg)
19
Σχηματισμός queries
Three Spanish journalists were released after being abducted around Aleppo, Syria, and held hostage by the Al-Nusra Front since 13 July 2015.
……………
"july" AND "abducted" "spanish journalists" AND "aleppo"
"july" AND "al-nusra" "spanish journalists" AND "abducted"
"july" AND "front" "spanish journalists" AND "al-nusra"
"journalists" AND "aleppo" "aleppo" AND "13 july"
"journalists" AND "13 july" "aleppo" AND "abducted"
"journalists" AND "al-nusra" "abducted" AND "al-nusra"
"aleppo syria" AND "spanish journalists" "abducted" AND "front"
"aleppo syria" AND "abducted" "abducted" AND "13 july"……………
Ενδεικτικά Queries μιας είδησης
“term1” AND “term1” “term1 term2 term3” AND “term1”
![Page 20: Ζησόπουλος Γεώργιος 6647](https://reader035.fdocuments.net/reader035/viewer/2022062412/587f1b731a28ab350c8b5daf/html5/thumbnails/20.jpg)
20
![Page 21: Ζησόπουλος Γεώργιος 6647](https://reader035.fdocuments.net/reader035/viewer/2022062412/587f1b731a28ab350c8b5daf/html5/thumbnails/21.jpg)
21
• Twitter REST API – Java Library Twitter4j
• Tweets έως 7 ημερών
• Όριο 450 requests / 15min
• Paging
• No Retweets
• Language : English
Συλλογή Tweets
News Date # News Average Queries/News
Average Tweets/News
DB Size
06/05/2016 12 464,7 60328 444.98 MB
08/05/2016 11 101,5 7368 55.92 MB
![Page 22: Ζησόπουλος Γεώργιος 6647](https://reader035.fdocuments.net/reader035/viewer/2022062412/587f1b731a28ab350c8b5daf/html5/thumbnails/22.jpg)
22
![Page 23: Ζησόπουλος Γεώργιος 6647](https://reader035.fdocuments.net/reader035/viewer/2022062412/587f1b731a28ab350c8b5daf/html5/thumbnails/23.jpg)
23
• Apache Lucene 5.5.0
• Inverted index
Indexing
![Page 24: Ζησόπουλος Γεώργιος 6647](https://reader035.fdocuments.net/reader035/viewer/2022062412/587f1b731a28ab350c8b5daf/html5/thumbnails/24.jpg)
24
![Page 25: Ζησόπουλος Γεώργιος 6647](https://reader035.fdocuments.net/reader035/viewer/2022062412/587f1b731a28ab350c8b5daf/html5/thumbnails/25.jpg)
25
Information Retrieval
![Page 26: Ζησόπουλος Γεώργιος 6647](https://reader035.fdocuments.net/reader035/viewer/2022062412/587f1b731a28ab350c8b5daf/html5/thumbnails/26.jpg)
26
• Αναπαράσταση κειμένου ως διάνυσμα
• Κάθε διάσταση είναι το tf-idf μιας λέξης
• Tf – Term Frequency
• Idf – Inverse Document Frequency
• Έστω 2 έγγραφα d1 = “w1 w2 w3” και d2 = “w2 w5 w6”
• και τα διανύσματά τους
• Cosine Similarity
Vector Space Model
![Page 27: Ζησόπουλος Γεώργιος 6647](https://reader035.fdocuments.net/reader035/viewer/2022062412/587f1b731a28ab350c8b5daf/html5/thumbnails/27.jpg)
27
• Default Scoring Formula
• Κλάσεις βαθμολόγησης
TFIDFSimiliarity
tf(t in d) = frequency½
idf(t) = 1 + log()
BM25Similarity
= frequency½
Lucene Scoring
![Page 28: Ζησόπουλος Γεώργιος 6647](https://reader035.fdocuments.net/reader035/viewer/2022062412/587f1b731a28ab350c8b5daf/html5/thumbnails/28.jpg)
28
Λογική Γλωσσικών μοντέλων
• Έστω ένα έγγραφο D και ένα Λεξικό Σ
• Υπολογισμός πιθανότητας εμφάνισης κάθε λέξης του Λεξικού Σ με βάση το έγγραφο D
• Δεν υπάρχουν όλες οι λέξεις στο έγγραφο D => Smoothing
Μοντέλα
• Query likelihood model
• Document likelihood model
Language models
![Page 29: Ζησόπουλος Γεώργιος 6647](https://reader035.fdocuments.net/reader035/viewer/2022062412/587f1b731a28ab350c8b5daf/html5/thumbnails/29.jpg)
29
Ποιος είναι ο σκοπός του PRF;
• Επέκταση ερωτήματος με νέους όρους
Διαδικασία:
• 1ο Στάδιο IR – συλλογής εγγράφων
• Επιλέγονται τα Ν πρώτα
• Αυτά αποτελούν το (Pseudo) Relevance Set
• Αξιοποίηση του (Pseudo) Relevance Set και εξαγωγή νέων όρων
• Η διαδικασία αυτή ονομάζεται (Pseudo) Relevance Feedback
Pseudo-Relevance Feedback
![Page 30: Ζησόπουλος Γεώργιος 6647](https://reader035.fdocuments.net/reader035/viewer/2022062412/587f1b731a28ab350c8b5daf/html5/thumbnails/30.jpg)
30
Λογική Σχεσιακών μοντέλων
• Πιθανότητα εμφάνισης της λέξης w βάσει του συνόλου σχετικότητας R
• Η P(d) θεωρείται ομοιόμορφη
• Το γινόμενο υπολογίζει την πιθανότητα ερωτήματος
• Αρκεί η εκτίμηση της πιθανότητας να εμφανιστεί η λέξη w με βάση τους όρους του εγγράφου d
RM3:
Για την επιλογή των νέων όρων του expanded query, γίνεται γραμμική παρεμβολή με τους όρους του original query
Relevance Models
![Page 31: Ζησόπουλος Γεώργιος 6647](https://reader035.fdocuments.net/reader035/viewer/2022062412/587f1b731a28ab350c8b5daf/html5/thumbnails/31.jpg)
31
• Αναζήτηση στο index με τα ίδια queries
• Το ίδιο tweet επιστρέφει με πολλά queries
• Ταξινόμηση tweets με βάση 3 μεθόδους
- Average
- Maxscore
- Sum
Επιλογή σχετικότερων tweets
![Page 32: Ζησόπουλος Γεώργιος 6647](https://reader035.fdocuments.net/reader035/viewer/2022062412/587f1b731a28ab350c8b5daf/html5/thumbnails/32.jpg)
32
******* TFIDF BM25
Είδηση Average
Maxscore Sum Average Maxscore Sum
1 0.95 0.95 1 1 1 1
2 0.75 0.90 1 0.90 0.95 1
3 1 1 1 1 1 1
4 0.95 0.90 1 1 1 1
5 0.85 1 1 0.90 1 1
6 1 1 1 1 1 1
7 0.60 1 1 0.95 1 1
8 0.20 0.20 0.45 0.25 0.30 0.60
9 1 1 1 1 1 1
10 1 1 1 1 1 1
11 0.10 0.10 0.10 0.10 0.10 0.10
Average Precision
0.764 0.824 0.868 0.827 0.850 0.882
Επιλογή σχετικότερων tweets
![Page 33: Ζησόπουλος Γεώργιος 6647](https://reader035.fdocuments.net/reader035/viewer/2022062412/587f1b731a28ab350c8b5daf/html5/thumbnails/33.jpg)
# Tweet Relevant
1 travelling to Taif, Saudi Arabia No
2 Trophee Hassan Policeman Killed in Shootout With Militants Yes
3 Saudi policeman killed in shootout with militants: Saudi Arabia says a policeman was killed in a shootout with… https://t.co/p2cY4KWocm
Yes
4 Saudi Policeman Killed in Shootout With Militants: Saudi Arabia says a policeman was killed in a shootout wit... https://t.co/BxP885EDBQ
Yes
5 Saudi Policeman Killed in Shootout With Militants: Saudi Arabia says a policeman was killed in a shootout with… https://t.co/lB1ePd2lcv
Yes
6 Saudi policeman killed in shootout with militants - Saudi Arabia says a policeman was killed in a shootout with... https://t.co/iORDNawewq
Yes
7 Saudi Policeman Killed in Shootout With Militants - Saudi Arabia says a policeman was killed in a shootout with... https://t.co/iM6gzcyTGS
Yes
8 Saudi Policeman Killed in Shootout With Militants: Saudi Arabia says a policeman was killed in a shootout with militants in the weste...
Yes
9 #Rainbow over #Taif, #Saudi, the weather! No
10 Saudi Arabia says a policeman was killed in a shootout with militants in the western city of Taif
Yes
Επιλογή σχετικότερων tweetsΕίδηση A policeman is killed in a shootout with militants in Taif, Saudi Arabia.
TFIDF,MAXSCORE
33
![Page 34: Ζησόπουλος Γεώργιος 6647](https://reader035.fdocuments.net/reader035/viewer/2022062412/587f1b731a28ab350c8b5daf/html5/thumbnails/34.jpg)
Επιλογή σχετικότερων tweets Δεδομένα :
- AllTweets: Πίνακας όλων των tweets σε φθίνουσα κατάταξη- Ν: Πλήθος Φιλτραρισμένων tweets- K: Δείκτης θέσης στον πίνακα AllTweets- Similar: Ομοιότητα με φιλτραρισμένα tweets
Έξοδος :
- FilTweets: Top 100 tweets χωρίς duplicates
Αρχή:
Ν = 1
Κ = 1
FilTweets[N] = AllTweets[K]
Κάνε
Κ = Κ+1
Similar = Ψευδές
Για i από 1 μέχρι Ν
Αν CosSim( AllTweets[K] , FilTweets[i] ) > 0,5 τότε
Similar = Αληθές
Έξοδος
Τέλος_Αν
Τέλος_Επανάληψης
Αν Similar == Ψευδές τότε
FilTweets[N]=AllTweets[K]
Τέλος_Αν
Όσο{Ν<100}
Τέλος
MMR Filtering
34
![Page 35: Ζησόπουλος Γεώργιος 6647](https://reader035.fdocuments.net/reader035/viewer/2022062412/587f1b731a28ab350c8b5daf/html5/thumbnails/35.jpg)
# Tweet Relevant
1 travelling to Taif, Saudi Arabia No
2 Trophee Hassan Policeman Killed in Shootout With Militants Yes
3 Saudi policeman killed in shootout with militants - Saudi Arabia says a policeman was killed in a shootout with... https://t.co/iORDNawewq
Yes
4 #Rainbow over #Taif, #Saudi, the weather! No
5 RealTimeHack: Saudi policeman killed in shootout with militants https://t.co/14Oxnj0iOL #NLU
Yes
6 Saudi policeman dies in shootout as ‘terror’ plot foiled: https://t.co/mNxJl68AG0 Yes
7 Saudi Policeman Killed in Shootout With Militants - New York Times: Saudi GazetteSaudi Policeman Killed in Sh... https://t.co/gJ9bfLJAod
Yes
8 Just posted a photo @ Taif, Saudi Arabia https://t.co/rgIf4LpzSS No
9 Just posted a video @ Taif, Saudi Arabia https://t.co/MzHwHw997Q No
10 More of downtown Taif, Saudi Arabia. #globaledambassador #diversity… No
Επιλογή σχετικότερων tweetsΕίδηση A policeman is killed in a shootout with militants in Taif, Saudi Arabia.
TFIDF,MAXSCORE,MMR
35
![Page 36: Ζησόπουλος Γεώργιος 6647](https://reader035.fdocuments.net/reader035/viewer/2022062412/587f1b731a28ab350c8b5daf/html5/thumbnails/36.jpg)
36
******** TFIDF BM25
Είδηση Average Maxscore Sum Average Maxscore Sum
1 0.95 0.95 1 1 1 0.95
2 0.65 0.70 0.95 0.65 0.70 1
3 1 0.85 0.95 1 1 0.95
4 1 0.90 0.95 0.90 0.95 0.90
5 0.55 0.95 0.95 0.85 1 0.95
6 1 1 1 1 1 1
7 1 1 1 1 0.95 1
8 0.15 0.25 0.40 0.20 0.25 0.50
9 1 1 1 1 1 1
10 0.95 1 1 1 1 1
11 0.10 0.10 0.10 0.10 0.10 0.10
Average Precision
0.759 0.791 0.845 0.791 0.814 0.850
Επιλογή σχετικότερων tweets
![Page 37: Ζησόπουλος Γεώργιος 6647](https://reader035.fdocuments.net/reader035/viewer/2022062412/587f1b731a28ab350c8b5daf/html5/thumbnails/37.jpg)
37
Επιλογή σχετικότερων tweetsΕίδηση A policeman is killed in a shootout with militants in Taif, Saudi Arabia.
TFIDF, MAXSCORE, MMR, new index (απαλοιφή URL)
# Tweet Relevant
1 travelling to Taif, Saudi Arabia No
2 Saudi Policeman Killed in Shootout With Militants Yes
3 Saudi policeman dies in shootout as ‘terror’ plot foiled Yes
4 Just posted a photo @ Taif, Saudi Arabia No
5 My design The beautiful ?? @ Taif, Saudi Arabia No
6 More of downtown Taif, Saudi Arabia. #globaledambassador #diversity… No
7 #Rainbow over #Taif, #Saudi, the weather! No
8 Militants clash with Suadi police in Taif #SuadiArabia Yes
9 Saudi soldier killed in gun battle with militants in Taif Yes
10 Militants kill eight Egyptian policeman in Cairo suburb No
![Page 38: Ζησόπουλος Γεώργιος 6647](https://reader035.fdocuments.net/reader035/viewer/2022062412/587f1b731a28ab350c8b5daf/html5/thumbnails/38.jpg)
Επιλογή σχετικότερων tweets
******* TFIDF BM25
Είδηση Average Maxscore Sum Average Maxscore Sum
1 0.85 1 1 0.80 1 1
2 0.35 0.40 0.65 0.55 0.45 0.65
3 0.25 0.90 0.95 0.35 0.85 0.95
4 0.55 0.85 0.85 0.70 0.80 0.85
5 0.40 0.90 1 0.45 0.90 1
6 0.75 1 1 0.90 1 1
7 0.70 0.90 1 0.75 0.90 1
8 0.10 0.15 0.55 0.10 0.30 0.55
9 0.90 1 1 0.95 1 1
10 0.65 1 1 1 1 1
11 0.05 0.05 0.05 0.05 0.05 0.05
Average Precision
0.505 0.741 0.823 0.600 0.750 0.823
38
![Page 39: Ζησόπουλος Γεώργιος 6647](https://reader035.fdocuments.net/reader035/viewer/2022062412/587f1b731a28ab350c8b5daf/html5/thumbnails/39.jpg)
39
• Original query : concatenated query
• 1ο Στάδιο IR
• 20 πιο σχετικά tweets για το original query (Default LMD, Sum)
• Pseudo Relevance set – P(w|R)
• RM3 παρεμβολή
• 2ο Στάδιο IR με το expanded query (Πρώτα 20 , MMR)
Εφαρμογή LMD + PRF
![Page 40: Ζησόπουλος Γεώργιος 6647](https://reader035.fdocuments.net/reader035/viewer/2022062412/587f1b731a28ab350c8b5daf/html5/thumbnails/40.jpg)
40
Concatenated Query Expanded Query
Term Weight Term Weight
saudi 0.9 says 0.009090912
arabia 0.9 shootout 0.14675325
shootout 0.9 saudi 0.14675325
militants 0.9 taif 0.12857144
taif 0.9 militants 0.13766235
policeman 0.9 policeman 0.14675325
in 0.9 in 0.12857144
********* ********* arabia 0.13766235
********* ********* killed 0.018181823
Επιλογή σχετικότερων tweets (LMD & PRF)
![Page 41: Ζησόπουλος Γεώργιος 6647](https://reader035.fdocuments.net/reader035/viewer/2022062412/587f1b731a28ab350c8b5daf/html5/thumbnails/41.jpg)
41
Επιλογή σχετικότερων tweets (LMD & PRF)Tag cloud των όρων του expanded query
![Page 42: Ζησόπουλος Γεώργιος 6647](https://reader035.fdocuments.net/reader035/viewer/2022062412/587f1b731a28ab350c8b5daf/html5/thumbnails/42.jpg)
42
# Tweet Relevant1 Saudi Policeman Killed in Shootout With Militants: Saudi Arabia says a
policeman was killed in a shootout with militants in the weste...
Yes2 Saudi policeman killed in shootout with militants: They surrendered to the
police after a combing operation w...Yes
3 Saudi policeman dies in shootout as ‘terror’ plot foiled: Yes4 BACKGROUND At least 6 people died, including policeman, consequence
of shootout between police and alleged drug traffickers in #Provid?nciaNo
5 KSA : 1 Saudi policeman was killed near police station in Taif, 2 suspect are wanted.
Yes
6 A Saudi corporal policeman has been killed in Taif. 2 suspects are currently searched.
Yes
7 Saudi Arabia - Travel News - Soldier killed in gun battle with militants following foiled attack in Taif #SaudiArabia #Taif #travelawarenes
Yes
8 #Saudi soldier killed in #shootout with militants - state news agency SPA #IslamicState #oil #OPEC #Yemen #Iran
Yes
9 #KSA security forces involved in another shootout with suspected #IS militants inside kingdom.
Yes
10 Saudi Arabia shootout leaves militant, officer dead, @Reuters said May 9. Yes
Επιλογή σχετικότερων tweets (LMD & PRF)
![Page 43: Ζησόπουλος Γεώργιος 6647](https://reader035.fdocuments.net/reader035/viewer/2022062412/587f1b731a28ab350c8b5daf/html5/thumbnails/43.jpg)
43
******** 06/05/2016 08/05/2016
Είδηση LMD LMD + PRF LMD LMD + PRF
1 0.8 0.6 0.85 1
2 0.1 0.1 0.4 0.7
3 0.45 0.8 0.35 0.05
4 0.5 0.6 0.6 0.05
5 0.3 0.35 0.8 1
6 0.60 0.25 0.85 0.85
7 0.65 0.85 0.8 0.95
8 0.6 0.70 0.3 0.6
9 0.15 0.45 1 1
10 0.8 1 0.95 0.95
11 0.85 1 0.05 0.05
12 0.8 1 ************ ************
Average Precision
0.559 0.645 0.635 0.655
Επιλογή σχετικότερων tweets (LMD & PRF)
![Page 44: Ζησόπουλος Γεώργιος 6647](https://reader035.fdocuments.net/reader035/viewer/2022062412/587f1b731a28ab350c8b5daf/html5/thumbnails/44.jpg)
44
![Page 45: Ζησόπουλος Γεώργιος 6647](https://reader035.fdocuments.net/reader035/viewer/2022062412/587f1b731a28ab350c8b5daf/html5/thumbnails/45.jpg)
45
Query quality metrics
Υπολογισμός μιας σειράς μετρικών πρόβλεψης ποιότητας ερωτημάτων
Κίνητρο:Εκτίμηση ποιότητας των αποτελεσμάτων και
επιλογή των καλύτερων ερωτημάτων για την αναζήτηση πληροφορίας
![Page 46: Ζησόπουλος Γεώργιος 6647](https://reader035.fdocuments.net/reader035/viewer/2022062412/587f1b731a28ab350c8b5daf/html5/thumbnails/46.jpg)
46
Query quality metrics
• Query Length
• IDF – based features
• Άθροισμα, τυπική απόκλιση, μέγιστο/ελάχιστο , το μέγιστο, αριθμητικός μέσος, γεωμετρικός μέσος, αρμονικός μέσος και συντελεστής διακύμανσης (coefficient of variation) για όλες τις λέξεις που το αποτελούν.
![Page 47: Ζησόπουλος Γεώργιος 6647](https://reader035.fdocuments.net/reader035/viewer/2022062412/587f1b731a28ab350c8b5daf/html5/thumbnails/47.jpg)
47
Query quality metrics
• Query Scope (QS)
• Similarity Collection/Query-based features (SCQ)
• Inverse Collection Term Frequency-based features (ICTF)
![Page 48: Ζησόπουλος Γεώργιος 6647](https://reader035.fdocuments.net/reader035/viewer/2022062412/587f1b731a28ab350c8b5daf/html5/thumbnails/48.jpg)
48
Query Precision (p@10)
«cairo» AND «state» 0.8
«attack» AND «state» 0.2
«gunmen» AND «attack» 0.4
«arabia» AND «saudi» 0
«aleppo» AND «front» 0
«july» AND «front» 0
«syria» AND «front» 0
«officials» AND «taliban» 0.3
«afghan» AND «taliban» 0.3
«afghan» AND «officials» 0.2
«kilis» AND «turkish» 0.7
«town» AND «turkish border» 1
«55 islamic state» AND «turkish» 1
«collision» AND «buses» 1
«at least 73 people» AND «tanker» 1
«people» AND «buses» 0
Query quality metricsΕπιλογή τυχαίων queries
![Page 49: Ζησόπουλος Γεώργιος 6647](https://reader035.fdocuments.net/reader035/viewer/2022062412/587f1b731a28ab350c8b5daf/html5/thumbnails/49.jpg)
49
• Συντελεστής συσχέτισης Kendall τ
• Έστω (x1,y1), (x2,y2),…, (xn,yn) ένα σύνολο παρατηρήσεων των τυχαίων μεταβλητών X και Y αντίστοιχα
• Ένα ζεύγος παρατηρήσεων (xi,yi) και (xj,yj), όπου i ≠ j, θεωρείται σύμφωνο αν η κατάταξη και των 2 στοιχείων είναι όμοια: δηλαδή, όταν xi > xj και yi > yj ή xi < xj και yi < yj
• Ασύμφωνο ονομάζεται όταν xi > xj και yi < yj ή xi < xj και yi > yj
• Ο Kendall τB που χρησιμοποιείται στην εργασία, λαμβάνει μέριμνα και για τα ζεύγη που δεν είναι ούτε σύμφωνα ούτε ασύμφωνα
Query quality metrics
![Page 50: Ζησόπουλος Γεώργιος 6647](https://reader035.fdocuments.net/reader035/viewer/2022062412/587f1b731a28ab350c8b5daf/html5/thumbnails/50.jpg)
50
SCQarmean - Precision 0.17457525051569356SCQgeomean - Precision 0.14595635698853068SCQharmean - Precision 0.15168013569396327
SCQcovar - Precision 0.26615570980261477ICTFsum - Precision 0.4035263987329966ICTFstd - Precision 0.25470815239174965
ICTFmaxmin - Precision 0.30049838203521023ICTFmax - Precision 0.36637935170417507
ICTFarmean - Precision 0.18602280792655873ICTFgeomean - Precision 0.15740391439939583ICTFharmean - Precision 0.16312769310482841
ICTFcovar - Precision 0.22608925886458675QS - Precision 0.008585668058148864
Query quality metrics
Μεταβλητές Kendall τΒ
Size - Precision 0.37429560943820916
IDFsum - Precision 0.39780262002756406
IDFstd - Precision 0.24898437368631707
IDFmaxmin - Precision 0.28905082462434506
IDFmax - Precision 0.38945836598475303
IDFarmean - Precision 0.20891792274828902
IDFgeomean - Precision 0.17457525051569356
IDFharmean - Precision 0.15168013569396327
IDFcovar - Precision 0.23181303757001934
SCQsum - Precision 0.3806312839112663
SCQstd - Precision 0.28905082462434506
SCQmaxmin - Precision 0.28905082462434506
SCQmax - Precision 0.3860549463918908
Συσχετίσεις query quality metrics με Precision
![Page 51: Ζησόπουλος Γεώργιος 6647](https://reader035.fdocuments.net/reader035/viewer/2022062412/587f1b731a28ab350c8b5daf/html5/thumbnails/51.jpg)
51
Query quality metrics
0.0 0.2 0.4 0.6 0.8 1.0 1.26.006.507.007.508.008.509.009.50
10.0010.5011.00
Διασπορά Precision - ICTFmax
Precision@10
ICTF
max
0.0 0.2 0.4 0.6 0.8 1.0 1.20.20
0.25
0.30
0.35
0.40
0.45
Διασπορά Precision - IDFmax
Precision@10
IDFm
ax
![Page 52: Ζησόπουλος Γεώργιος 6647](https://reader035.fdocuments.net/reader035/viewer/2022062412/587f1b731a28ab350c8b5daf/html5/thumbnails/52.jpg)
52
Ευχαριστώ για την προσοχή σας!