Sunum: Yrd. Doç. Dr. Şadi Evren ŞEKER · *İsim varlık eşlemesi (name entity recognition)...
Transcript of Sunum: Yrd. Doç. Dr. Şadi Evren ŞEKER · *İsim varlık eşlemesi (name entity recognition)...
![Page 1: Sunum: Yrd. Doç. Dr. Şadi Evren ŞEKER · *İsim varlık eşlemesi (name entity recognition) *Özel isimlerin çıkarılması, bir cümlede hangi kelimelerin yer, kişi, kurum vs.](https://reader034.fdocuments.net/reader034/viewer/2022050716/5e26e53796aa4353ee7b5b09/html5/thumbnails/1.jpg)
Sunum: Yrd. Doç. Dr. Şadi Evren ŞEKER
*
![Page 2: Sunum: Yrd. Doç. Dr. Şadi Evren ŞEKER · *İsim varlık eşlemesi (name entity recognition) *Özel isimlerin çıkarılması, bir cümlede hangi kelimelerin yer, kişi, kurum vs.](https://reader034.fdocuments.net/reader034/viewer/2022050716/5e26e53796aa4353ee7b5b09/html5/thumbnails/2.jpg)
*
*Doğal Dil İşleme (Natural Language Processing)
*Dil tanımı
*DDİ kullanım alanları
*DDİ problemlerinden bazıları
*Doğal Dil Parçalama (NLP Parsing)
*Zamansal Mantıklar (Temporal Logics)
*Kipler Mantığı (Modal Logic)
*Allen Zamansal Mantığı
*Reichenbach Zamansal Mantığı
*Örnek olay sıralama uygulaması
*TimeML
![Page 3: Sunum: Yrd. Doç. Dr. Şadi Evren ŞEKER · *İsim varlık eşlemesi (name entity recognition) *Özel isimlerin çıkarılması, bir cümlede hangi kelimelerin yer, kişi, kurum vs.](https://reader034.fdocuments.net/reader034/viewer/2022050716/5e26e53796aa4353ee7b5b09/html5/thumbnails/3.jpg)
*
*Dil Nedir?
* İletişim ve protokol tanımı
*Düşünmenin sınırları ?
*Yapay zeka (Turing Testi)
*Makine Dilleri
*Doğal Diller
* 3000-6000 arası dil bulunmaktadır
* Dillerin şekilleri
* Yazılı diller
* Sembolik Diller (hiyeroglif)
* İşaret dilleri (mors)
* Sadece konuşulan diller
![Page 4: Sunum: Yrd. Doç. Dr. Şadi Evren ŞEKER · *İsim varlık eşlemesi (name entity recognition) *Özel isimlerin çıkarılması, bir cümlede hangi kelimelerin yer, kişi, kurum vs.](https://reader034.fdocuments.net/reader034/viewer/2022050716/5e26e53796aa4353ee7b5b09/html5/thumbnails/4.jpg)
*
*∑1 = {0,1}
*∑2 = {a,b,c,d,e,f}
*Örneğin yukarıdaki ∑1 alfabesi “0″ ve “1″ sayılarını birer sembol olarak kabul etmiştir ve bu semboller dışındaki semboller bu alfabede tanımlı değildir.
*Alfabeler kullanılarak elde edilen dizgiler (string) w harfi ile ifade edilir. Buna göre örneğin w=”debdebe” dizgisi ∑2 üzerinde tanımlı bir dizgidir.
*Bir dizginin boyutu |w| işareti ile gösterilir ve o dizgideki harf sayısına eşittir. Örneğin yukarıda verilen w=”debdebe” dizgisi için |w| = 7 olarak kabul edilir
![Page 5: Sunum: Yrd. Doç. Dr. Şadi Evren ŞEKER · *İsim varlık eşlemesi (name entity recognition) *Özel isimlerin çıkarılması, bir cümlede hangi kelimelerin yer, kişi, kurum vs.](https://reader034.fdocuments.net/reader034/viewer/2022050716/5e26e53796aa4353ee7b5b09/html5/thumbnails/5.jpg)
*
*Klasik DDİ Seviyeleri
*Şekilbilim (Morphology)
* Stemming
* Lemmetisation
*Sözdizim (Syntax)
*Anlambilim / Kullanımbilim (Semantics /
Pragmatics)
*Sesbilim (Phonotics)
*İstatistiksel DDİ
*Örn: n-gram
![Page 6: Sunum: Yrd. Doç. Dr. Şadi Evren ŞEKER · *İsim varlık eşlemesi (name entity recognition) *Özel isimlerin çıkarılması, bir cümlede hangi kelimelerin yer, kişi, kurum vs.](https://reader034.fdocuments.net/reader034/viewer/2022050716/5e26e53796aa4353ee7b5b09/html5/thumbnails/6.jpg)
*
*Otomatik Tercümeler (Auto Translation)
*Tomato is a fruit!
*Eş Atıf Çözümlemeleri (Coreference Resolution)
*Zamir Çözümlemesi (Anaphora Resolution)
*O
*Otomatik Metin Özetlemeler (Text Summarization)
*Külliyat Analizi (Discourse Analysis)
*Bu yazıyı Bu kişi yazmış olamaz.
*Şekilbilimsel Bölümleme (Morphological Segmentation)
*Metin içinde arama/değiştirme, arama sonuçlarının puanlanması
*Okulda -> evde
* Levenshtein mesafesi (koyun, koyu, araba, arabalar)
![Page 7: Sunum: Yrd. Doç. Dr. Şadi Evren ŞEKER · *İsim varlık eşlemesi (name entity recognition) *Özel isimlerin çıkarılması, bir cümlede hangi kelimelerin yer, kişi, kurum vs.](https://reader034.fdocuments.net/reader034/viewer/2022050716/5e26e53796aa4353ee7b5b09/html5/thumbnails/7.jpg)
*
*İsim varlık eşlemesi (name entity recognition)
*Özel isimlerin çıkarılması, bir cümlede hangi kelimelerin yer, kişi, kurum vs. olduğunun bulunması (Arapça, Çince gibi dillerde büyük harf yoktur)
*Doğal Dil Üretimi (Natural Language Generation)
*Telefon destek, kiosk, ATM
*OCR (optical character recognition), hata düzeltme
*Soru Cevaplama (Question Answering)
*Otomatik Test üretimi
*Yarışmalar
*Arama motorları
*Bilgi getirimi (information retrieving), bilgi çıkarımı (information extraction),
*Örn: yazıyı yazanların demografik durumu
![Page 8: Sunum: Yrd. Doç. Dr. Şadi Evren ŞEKER · *İsim varlık eşlemesi (name entity recognition) *Özel isimlerin çıkarılması, bir cümlede hangi kelimelerin yer, kişi, kurum vs.](https://reader034.fdocuments.net/reader034/viewer/2022050716/5e26e53796aa4353ee7b5b09/html5/thumbnails/8.jpg)
*
*Yapay Zeka – DDİ
*AI-Hard, AI-Complete
*Kelime Anlam Belirsizliği (Wordsense ambiguity)
*Yüz
*Zamir Çözümleme (Anaphora Resolution)
*Eksilti (Ellipsis)
*Şekilbilimsel Karmaşıklık (Morphological Ambiguity)
![Page 9: Sunum: Yrd. Doç. Dr. Şadi Evren ŞEKER · *İsim varlık eşlemesi (name entity recognition) *Özel isimlerin çıkarılması, bir cümlede hangi kelimelerin yer, kişi, kurum vs.](https://reader034.fdocuments.net/reader034/viewer/2022050716/5e26e53796aa4353ee7b5b09/html5/thumbnails/9.jpg)
*İsim kelime grupları
*Kelime grubunun sınıflandırılması
*
“kırmızı masanın altında mavi kitap”
ADJ ADJ NOUN NOUN PREP
NP
PP
![Page 10: Sunum: Yrd. Doç. Dr. Şadi Evren ŞEKER · *İsim varlık eşlemesi (name entity recognition) *Özel isimlerin çıkarılması, bir cümlede hangi kelimelerin yer, kişi, kurum vs.](https://reader034.fdocuments.net/reader034/viewer/2022050716/5e26e53796aa4353ee7b5b09/html5/thumbnails/10.jpg)
*On ocak iki bin ile
on mart iki biniki
arasında haftada bir
Ali Bey ile bahçeli
okulda saat onda
ikişer saatlik
toplantılar var.
*
![Page 11: Sunum: Yrd. Doç. Dr. Şadi Evren ŞEKER · *İsim varlık eşlemesi (name entity recognition) *Özel isimlerin çıkarılması, bir cümlede hangi kelimelerin yer, kişi, kurum vs.](https://reader034.fdocuments.net/reader034/viewer/2022050716/5e26e53796aa4353ee7b5b09/html5/thumbnails/11.jpg)
*
![Page 12: Sunum: Yrd. Doç. Dr. Şadi Evren ŞEKER · *İsim varlık eşlemesi (name entity recognition) *Özel isimlerin çıkarılması, bir cümlede hangi kelimelerin yer, kişi, kurum vs.](https://reader034.fdocuments.net/reader034/viewer/2022050716/5e26e53796aa4353ee7b5b09/html5/thumbnails/12.jpg)
*
![Page 13: Sunum: Yrd. Doç. Dr. Şadi Evren ŞEKER · *İsim varlık eşlemesi (name entity recognition) *Özel isimlerin çıkarılması, bir cümlede hangi kelimelerin yer, kişi, kurum vs.](https://reader034.fdocuments.net/reader034/viewer/2022050716/5e26e53796aa4353ee7b5b09/html5/thumbnails/13.jpg)
*
![Page 14: Sunum: Yrd. Doç. Dr. Şadi Evren ŞEKER · *İsim varlık eşlemesi (name entity recognition) *Özel isimlerin çıkarılması, bir cümlede hangi kelimelerin yer, kişi, kurum vs.](https://reader034.fdocuments.net/reader034/viewer/2022050716/5e26e53796aa4353ee7b5b09/html5/thumbnails/14.jpg)
*
*Yağmur yağıyor, öyleyse şemsiyemi almalıyım.
P ⇒ Q
*∃a (Şadi (a) ∧ Mühendis(a)) → Öyle bazı a’lar vardır ki, bu a’nın ismi Şadi’dir ve bu a mühendistir.
*∀a (Bilgisayar Mühendisi (a) ⇒ Mühendis(a)) → Bütün a’lar için, a şayet bilgisayar mühendisiyse; a, aynı zamanda mühendistir.
*Yine, yukarıdaki gösterim kullanılarak söylenebilecek doğru bir model de aşağıdaki gibi olabilir:
*∃a (Şadi (a) ∧ ¬ Mühendis(a)) → Öyle bazı a’lar vardır ki, bu a’nın ismi Şadi’dir ve bu a mühendis değildir.
*∃ Şekil (Şekil (a) ∧ Şekil (b)) → Öyle bir şekilden bahsedilebilir ki, hem a hem de b aynı şekildedir.
![Page 15: Sunum: Yrd. Doç. Dr. Şadi Evren ŞEKER · *İsim varlık eşlemesi (name entity recognition) *Özel isimlerin çıkarılması, bir cümlede hangi kelimelerin yer, kişi, kurum vs.](https://reader034.fdocuments.net/reader034/viewer/2022050716/5e26e53796aa4353ee7b5b09/html5/thumbnails/15.jpg)
*
*Zaman nedir?
*Olay, Atıf (Referans), Konuşma Zamanı (Speech)
*Örnek Mantık İşlemleri
*ve (And) Λ
*veya (or) V
* ise (implication) →
*değil (not) ¬
*Zamansal İşlemler (Temporal Operators)
*Tekli işlemler (unary operators):
* Sonra (Next)
* Gelecek (Future)
* Genel (Globally)
* Hep (All)
* Mevcut (Exists)
* İkili işlemler (Binary Operators):
* -e Kadar (Until)
* -den sonra (Release)
![Page 16: Sunum: Yrd. Doç. Dr. Şadi Evren ŞEKER · *İsim varlık eşlemesi (name entity recognition) *Özel isimlerin çıkarılması, bir cümlede hangi kelimelerin yer, kişi, kurum vs.](https://reader034.fdocuments.net/reader034/viewer/2022050716/5e26e53796aa4353ee7b5b09/html5/thumbnails/16.jpg)
Mantık Sembol Anlamı
Axiomatic Mantık □x x gereklidir
◊x x olasıdır
Zorunluluk (Deontic) Mantığı Ox x yapılmakla sorumludur
Px x 'in yapılma izni vardır
Fx x'in yapılması yasaktır.
Zamansal (Temporal) Mantık Gx Her zaman için geçerli x
Fx Gelecekte x
Hx Geçmişte, şimdiye kadar x
Px Geçmişte x
Bilgisel (Epistemic) Mantık Lx x’e inanır
Mx Bilgiye dayanarak x’e inanıyor
*
![Page 17: Sunum: Yrd. Doç. Dr. Şadi Evren ŞEKER · *İsim varlık eşlemesi (name entity recognition) *Özel isimlerin çıkarılması, bir cümlede hangi kelimelerin yer, kişi, kurum vs.](https://reader034.fdocuments.net/reader034/viewer/2022050716/5e26e53796aa4353ee7b5b09/html5/thumbnails/17.jpg)
*
![Page 18: Sunum: Yrd. Doç. Dr. Şadi Evren ŞEKER · *İsim varlık eşlemesi (name entity recognition) *Özel isimlerin çıkarılması, bir cümlede hangi kelimelerin yer, kişi, kurum vs.](https://reader034.fdocuments.net/reader034/viewer/2022050716/5e26e53796aa4353ee7b5b09/html5/thumbnails/18.jpg)
*
ilişki Reichenbach Zaman
İsmi (Tense Name)
İngilizce Zaman İsmi İngilizce Örnek Türkçe Karşılığı
E<R<S Anterior past Past perfect I had slept Hikaye Geçmiş Zaman
E=R<S Simple past Simple past I slept Geçmiş Zaman
R<E<S
R<S=E Posterior past I would sleep Gelecek Zamanın Mazisi
R<S<E
E<S= R Anterior present Present perfect I have slept Rivayet Geçmiş Zaman
S= R= E Simple present Simple present I sleep Geniş Zaman
S= R<E Posterior present Simple future I will sleep Je vais
dormir
YOK
S<E<R YOK
S=E<R Anterior future Future perfect I will have slept YOK
E<S<R
S<R=E Simple future Simple future I will sleep Je dormirai Gelecek Zaman
S<R<E Posterior future I shall be going to sleep
![Page 19: Sunum: Yrd. Doç. Dr. Şadi Evren ŞEKER · *İsim varlık eşlemesi (name entity recognition) *Özel isimlerin çıkarılması, bir cümlede hangi kelimelerin yer, kişi, kurum vs.](https://reader034.fdocuments.net/reader034/viewer/2022050716/5e26e53796aa4353ee7b5b09/html5/thumbnails/19.jpg)
*
![Page 20: Sunum: Yrd. Doç. Dr. Şadi Evren ŞEKER · *İsim varlık eşlemesi (name entity recognition) *Özel isimlerin çıkarılması, bir cümlede hangi kelimelerin yer, kişi, kurum vs.](https://reader034.fdocuments.net/reader034/viewer/2022050716/5e26e53796aa4353ee7b5b09/html5/thumbnails/20.jpg)
*
*Doğrusallık özelliği (linearity) : xy.
x R y x = y y R x
*Sol doğrusallık (left linearity)
xyz.y R x z R x f y R z y = z z
R y
*Sağ doğrusallık (right linearity)
xyz. x R y x R z f y R z y = z
z R y
*Geçişlilik özelliği (transitivity) :
xyz. x R y y R z x R z
*Yansımama özelliği (nonreflexivity) :
x. x R x
*Başlama (begin) x. y.y R x
*Bitme (end) x. y. x R y
*Takip (precedence) x. y.y R x
*Yoğunluluk (density) xy. x R y
z. x R z R y
![Page 21: Sunum: Yrd. Doç. Dr. Şadi Evren ŞEKER · *İsim varlık eşlemesi (name entity recognition) *Özel isimlerin çıkarılması, bir cümlede hangi kelimelerin yer, kişi, kurum vs.](https://reader034.fdocuments.net/reader034/viewer/2022050716/5e26e53796aa4353ee7b5b09/html5/thumbnails/21.jpg)
*
*Masanın yanına gidip elmayı alırken Ayşe uyandı. Ayşe
uyanırken masanın yanına gidip elmayı almıştım.
*Elmayı almam Ayşeyi uyandırdı.
![Page 22: Sunum: Yrd. Doç. Dr. Şadi Evren ŞEKER · *İsim varlık eşlemesi (name entity recognition) *Özel isimlerin çıkarılması, bir cümlede hangi kelimelerin yer, kişi, kurum vs.](https://reader034.fdocuments.net/reader034/viewer/2022050716/5e26e53796aa4353ee7b5b09/html5/thumbnails/22.jpg)
**Meets(OR,ER) ᴧ Meets(ER,IR) ᴧ
During (ER,SAT) ᴧ During (AT,IR)
ᴧ Meets(SAT,AT) ᴧ Meets(AT,SCT)
ᴧ During(AT,NHA) ᴧ During(TA,IR)
ᴧ During (TA,SCT) ᴧ Meets(NHA,TA) ᴧ Meets(TA,HA) ᴧ During(EA,HA) ᴧ During (EA,CT) ᴧ During(EA,IR) ᴧ Meets(TA,EA)
Odaya giriş (ER)
Odanın dışında olma (OR)
Odanın içinde olma (IR)
Masaya yaklaşm (AT)
Masaya uzak olma durumu (SAT)
Masaya yakın olma durumu (SCT),
Elmayı alma (TA)
Elması olmama durumu (NHA)
Elması olma durumu (HA).
Elmayı yeme eylemi (EA).
![Page 23: Sunum: Yrd. Doç. Dr. Şadi Evren ŞEKER · *İsim varlık eşlemesi (name entity recognition) *Özel isimlerin çıkarılması, bir cümlede hangi kelimelerin yer, kişi, kurum vs.](https://reader034.fdocuments.net/reader034/viewer/2022050716/5e26e53796aa4353ee7b5b09/html5/thumbnails/23.jpg)
**Elmayı almak için masanın yanına giderken ayşe uyandı.
Ayşe uyanırken elmayı almak için masanın yanına
gidiyordum.
*Masanın yanına gitmem Ayşeyi uyandırdı
![Page 24: Sunum: Yrd. Doç. Dr. Şadi Evren ŞEKER · *İsim varlık eşlemesi (name entity recognition) *Özel isimlerin çıkarılması, bir cümlede hangi kelimelerin yer, kişi, kurum vs.](https://reader034.fdocuments.net/reader034/viewer/2022050716/5e26e53796aa4353ee7b5b09/html5/thumbnails/24.jpg)
**Ahmet kitapları okuyup okuyup özetliyordu. Ahmet
hastaneye gidip gidip Ayşeyi görüyordu. Ali vitrinlere
bakıp bakıp iç çekti.
…
Diving
To light
Divers out water Divers under water
Life signal is not blinking
To fade
Diving Divers out water Divers under water
A
B
C
![Page 25: Sunum: Yrd. Doç. Dr. Şadi Evren ŞEKER · *İsim varlık eşlemesi (name entity recognition) *Özel isimlerin çıkarılması, bir cümlede hangi kelimelerin yer, kişi, kurum vs.](https://reader034.fdocuments.net/reader034/viewer/2022050716/5e26e53796aa4353ee7b5b09/html5/thumbnails/25.jpg)
*
*Olay Sıralama
*Kronoloji Çıkarımı
*Doğal Dilde Metin
*Ontoloji, Sorgu,
Veritabanı, Ağ
iletişim, Görüntü
işleme ….
*İşlenmiş Metin
(TimeML)
![Page 26: Sunum: Yrd. Doç. Dr. Şadi Evren ŞEKER · *İsim varlık eşlemesi (name entity recognition) *Özel isimlerin çıkarılması, bir cümlede hangi kelimelerin yer, kişi, kurum vs.](https://reader034.fdocuments.net/reader034/viewer/2022050716/5e26e53796aa4353ee7b5b09/html5/thumbnails/26.jpg)
*
Event
MakeInstance
Signal
Link
Event
MakeInstance
Signal
![Page 27: Sunum: Yrd. Doç. Dr. Şadi Evren ŞEKER · *İsim varlık eşlemesi (name entity recognition) *Özel isimlerin çıkarılması, bir cümlede hangi kelimelerin yer, kişi, kurum vs.](https://reader034.fdocuments.net/reader034/viewer/2022050716/5e26e53796aa4353ee7b5b09/html5/thumbnails/27.jpg)
*
*Bir yılbaşı gecesiydi.
*It was a christmas night.
*It<EVENT eid="e1" class="OCCURRENCE">Was a
christmas night</EVENT>
*<MAKEINSTANCE eiid="ei1" eventID="e1"
pos="VERB" tense="PAST" aspect="PERFECTIVE"
modality="WAS" polarity="POS"/> night
![Page 28: Sunum: Yrd. Doç. Dr. Şadi Evren ŞEKER · *İsim varlık eşlemesi (name entity recognition) *Özel isimlerin çıkarılması, bir cümlede hangi kelimelerin yer, kişi, kurum vs.](https://reader034.fdocuments.net/reader034/viewer/2022050716/5e26e53796aa4353ee7b5b09/html5/thumbnails/28.jpg)
**TLINK
*Time Link
*Ali Pazartesi ders verecek.
*SLINK
*Subordination Links
*Ali, pazartesileri ders verdiğini söyledi. (Ali söyledi, ali
pazartesileri ders veriyor)
*ALINK
*Aspectual Links
*Ali okumaya başladı (bir fiilin diğerinin aspecti olması durumu)
![Page 29: Sunum: Yrd. Doç. Dr. Şadi Evren ŞEKER · *İsim varlık eşlemesi (name entity recognition) *Özel isimlerin çıkarılması, bir cümlede hangi kelimelerin yer, kişi, kurum vs.](https://reader034.fdocuments.net/reader034/viewer/2022050716/5e26e53796aa4353ee7b5b09/html5/thumbnails/29.jpg)
*
* Masanın yanına <EVENT eid="e1" class="OCCURRENCE">gidip</EVENT> elmayı <EVENT eid="e2" class="OCCURRENCE">alırken</EVENT> Ayşe
* <EVENT eid="e3" class="OCCURRENCE">uyandı</EVENT>.
* <MAKEINSTANCE eventID="e1" eiid="ei1" tense="PAST" aspect="NONE" polarity="POS" pos="UNKNOWN"/>
* <MAKEINSTANCE eventID="e2" eiid="ei2" tense="PAST" aspect="NONE" polarity="POS" pos="UNKNOWN"/>
* <MAKEINSTANCE eventID="e3" eiid="ei3" tense="Hikaye" aspect="NONE" polarity="POS" pos="UNKNOWN"/>
* <TLINK lid="l2" relType="BEFORE" eventInstanceID="ei1" relatedToEventInstance="ei2" origin="USER"/>
* <TLINK lid="l1" relType="IS_INCLUDED" eventInstanceID="ei3" relatedToEventInstance="ei2" origin="USER"/>
Masanın yanına gidip elmayı alırken Ayşe uyandı
![Page 30: Sunum: Yrd. Doç. Dr. Şadi Evren ŞEKER · *İsim varlık eşlemesi (name entity recognition) *Özel isimlerin çıkarılması, bir cümlede hangi kelimelerin yer, kişi, kurum vs.](https://reader034.fdocuments.net/reader034/viewer/2022050716/5e26e53796aa4353ee7b5b09/html5/thumbnails/30.jpg)
*
*Kendine atıf (Self referencing)
*Yokluğun modellenmesi
*«Nothing comes from nothing» Parmanides
*Derste not tutmadım
Talking
Refers
Non-existance
Existance
Nothing
Nothing Come Ders esnasında
Not tutmak
Olumsuzluk
Esnasında
![Page 31: Sunum: Yrd. Doç. Dr. Şadi Evren ŞEKER · *İsim varlık eşlemesi (name entity recognition) *Özel isimlerin çıkarılması, bir cümlede hangi kelimelerin yer, kişi, kurum vs.](https://reader034.fdocuments.net/reader034/viewer/2022050716/5e26e53796aa4353ee7b5b09/html5/thumbnails/31.jpg)
http://www.BilgisayarKavramlari.com
http://www.SadiEvrenSEKER.com
*