Kyoungryol Kim

Extracting Schedule Infor-mationfrom Korean Email

2

Table of Contents

1. Introduction2. Methods and Experiments3. Demo4. Schedule

3

Introduction

4

IntroductionMain information in Meeting Announcement

Title Usually included in the title of email.

Target Person Important information regarded as recipient of the email

Start/End Time had researched already in [DH Choi 2010] with high performance. Start time : >90%, End time: >84% of F-measure.

Meeting Location * [Min et al. 2005] tried to extract meeting location

245 emails, Meeting Location : 57% of F-measure Can be used in many location-based applications

especially with mobile equipment.

5

GoalExtract ‘Meeting Location (isHeldAt)’ from email,

약산샘물 활성화를 위한 각 대리점사장님및관련되시는 모든분들과 아래와 같이 회의를 개최할 예정 이오니 참고 하시기 바랍니다 ( 사전 스케줄 조정 )회의일시 : 2006.05.20 토요일 오후 2 시회의장소 : 약산주식회사 서울 대회의실( 신림본동다이아몬드빌딩 7 층 )* 전철 2 호선 신림역 하차 2 번출구에서 50M 도보 ( 신빌딩 뒤 )주요내용 : 사업경과 설명 ( 본부장 ) / 효과적인 마켓팅 방안 강의( 염홍기박사 )회원증가 우수 대리점 사장 성공 사례 발표 ( 원세권 , 박상규사장 )홍보용 전단 , 씨디 , 테이프등을 배부하오니 수령해 가셔서 활용 하시기 바랍니다세부내용은 별도 공문 보내 드리겠습니다

isHeldAt 약산주식회사 서울 대회의실신림본동다이아몬드빌딩 7 층

locationLandmark

신림역2 번출구신빌딩

Extract

6

Example of ‘Meeting Location’ (1/2)

3 월 9 일 월요일 오후 5 시 30 분종합과학관 A 동 123 호 복도 의 117 호 강의실논문 , 실험 결과정리 발표 - 이은송이 , 권민지아이건강국민연대 대표자 회의 초대장2009 년 6 월 26 일 ( 금 ) 2009 년 아이건강국민연대 대표자 회의에 모십니다 .안녕하십니까 ?그간 아이들의 건강을 위해 애써 오신 연대 단체회원 여러분을 모시고 2009 년 아이건강국민연대 상반기 대표자 회의를 개최 하고자 합니다 .2009 년 상반기에는 행복한 아이건강축제 , 몸살림 마음 살림 어린이 교육 , 제주연대 친환경연합 MOU 체결 , 아이건강 제주연대 창립 등 여러 가지 활동을 하였습니다 .연대단체 대표분 들을 모시고 아이들을 건강하게 ! 농촌을 활기차게 ! 한반도를 청정하게 ! 하는 목표로 2009 년 하반기 사업의 방향과 사업에 대한 논의를 드리기 위한 자리이오니 부디 함께 해 주시길 바랍니다 .( 참석 여부를 꼭 알려주세요 )아이건강국민연대 드림◎ 일시 : 6 월 26 일 ( 금 ) 오후 5 시 ~ 7 시◎ 장소 : 청미래 ( 약도 참조 )◎ 일정 :- 오후 4 시 30 분 ~5 시 : 인사와 다과 나눔- 5 시 ~ 5 시 30 분 : 2009 년 상반기 사업 보고 및 하반기 사업계획- 5 시 30 분 ~ 7 시 : 법안추진 보고 및 2009 년 하반기 중점 사업계획- 7 시 ~8 시 : 석식 및 친교※ 문의 사항 : 김민선 사무국장 (019-338-9040)

시민 모두가 행복한 도시 익산 ! 이제는 여성이다 !익산의제 21 복지환경분과에서 주최하는 성평등 시민강좌 및 여성정책발전 토론회 !현재 3 번의 시민강좌를 마치고 드디어 다음주 목요일 여성정책발전 토론회를 개최합니다 .익산 성평등 시민강좌 및 여성정책발전 토론회- 2009 년 7 월 9 일 ( 목 ) 오후 4 시 영등동 시립도서관1. 주제발표* 여성친화도시 익산시 여성정책 발표 : 김 태 준 ( 익산시 정책보자관 )* 익산시 여성정책에 대한 제언 : 전 정 희 ( 전북여성정책발전센터 소장 )2. 종합토론* 좌장 : 하 춘 자 ( 익산의제 21 실천협의회 복지환경분과위원장 )* 토론자 : 김용균 시의원 , 김태준 보자관 , 전정희 소장 , 방신영 ( 익산여성의전화 부설기관장 )

2009 녹색구매 세계대회○ 대 회 명 : 제 3 회 녹색구매세계대회○ 대회일시 : 2009 년 10 월 20 일 ( 화 )~24 일 ( 토 ) / 5 일간○ 대회장소 : 개막식 - 경기도 문화예술회관 , 컨퍼런스 - 호텔 캐슬 , 부대행사 – 화성행궁 광장○ 참가예상 : 약 70 개국 1,500 여명○ 주요내용 : 10 월 20 일 - 녹색장터 및 전야제 ( 라디오공개방송 ) 10 월 21 일 - 개회식 , 주제강연 , 세션운영 / 녹색장터※ 개회식은 입장시간 (8:40~9:20) 엄수10 월 22 일 - 세션운영10 월 23 일 - 종합토론 , 선언문 채택 및 낭독 , 폐회 / 수원투어10 월 24 일 - 외국인 생태보전지역 탐방 (DMZ)○ 주 최 : 국제녹색구매네트워크 (IGPN), 자치단체국제환경협의회 (ICLEI)○ 주 관 : 녹색구매세계대회조직위원회 , KGPN( 한국녹색구매네트워크 ), 한국소비자원 , 한국환경산업기술원 , 전국지속가능발전협의회 , KBCSD( 지속가능발전기업협의회 ), 국가청정생산지원센터○ 후 원 : 수원시 , 경기도 , 환경부 , 지식경제부 , 공정거래위원회 , 자원순환산업진흥협의회 , UNDESA(UN 경제사회국 ), UNESCAP(UN아시아태평양경제사회이사회 ),CITYNET, 한국관광공사

장유능동하드코트 개장기념 동호인 대회 대표자 회의를 사정상 아래와 같이 연기합니다 .1. 사 유 : 2008 년 8 월 19 일 ( 화 ) 오후 7 시 서키트대회 만찬회 실시로 인해 연기2. 대표자 회의 변경일자 : 2008 년 8 월 20 일 ( 수 ) 오후 7 시 협회 (삼계 )사무실3. 각 클럽대표자 및 협회 임원 , 고문님들께서는 만찬회에 참석하여 주시기 바랍니다 .

Meeting locations found in itemized sentence Cannot cover all cases just using ‘Pattern’ : e.g.) “ 장 \\p{Space} 소 .*:” Dependency between the other information, linguistic/syntactic information.

No item title

No item title

3 meeting locations

Different item title

7

Example of ‘Meeting Location’ (2/2)

안녕하세요 한국예술치료학회입니다 .올해 춘계학술대회에 관한 문의 전화가 많아서 안내를 해드립니다 .공지가 늦는 이유는 학회 홈페이지가 새로 오픈준비에 있기 때문입니다 .이번 학술대회 부터는 학회원님들의 편리를 위하여 신청접수에서 부터 결재까지 홈페이지상에서 가능하도록 작업중에 있습니다 .더불어 새로운 홈페이지에서는 학술시간 , 논문신청접수 , 임상감독 , 자격증심사까지 대부분의 업무가 전산화 될 것입니다 .더욱 자세한 공지는 추후에 올리도록 하겠습니다 .이번 학술대회는 5 월 28 일 ( 금 ) ∼ 5 월 30 일 ( 일 ) ※ 2 박 3 일입니다 .주제는 “발달장애 아동을 위한 예술치료의 효과” 에 관하여 기조강연과 워크샵이 이루어질 예정입니다 .장소는 천안국립중앙청소년수련원 (2009 년 추계학술대회장소와 동일함 ) 입니다 .그럼 새로운 홈페이지에서 뵙겠습니다 .조금만 기다려 주시기 바랍니다 .※ 세부계획은 게시판 학술자료실에 탑재해 두었습니다 .예술치료학회 간사 - 김유진 - 문의전화 063)850-6320

우선 엠티 일정이 변경된 점에 대해서 대단히 죄송스럽게 생각합니다 ....4 월 2 일 ~3 일로 변경 되었으며 , 선발대와 본대 그리고 사정에 의한 후발대루 나눠서 가게 되었습니다 .일정 변경에 대한 이유를 말씀드리자면 먼저 선배님들의 스케쥴을 고려한 점도 있으며 , 신입회원 분들의 저조한 참석률 때문에 다시 금요일로 변경하게 되었습니다 ...다시 한번 죄송스럽게 생각합니다 .따라서 다시 정확한 인원 조사를 위해 월요일 즉 내일 간단히 말씀드릴게 있어서 긴급 회의를 소집하고자 합니다 .시간은 일단 수업 끝나고 6 시 30 분쯤이 될것이구요장소는 일단 5 층 자판기 앞에서 모인다음에 다른 강의실로 옮기겠습니다 .엠티비 내주신 분들중에 부득이한 사정으로 인해 못 가시는 분들껜 환불해드리겠습니다 .또한 , 토요일 일정으로 인해 못 가셨던 분들은 금요일로 변경되었으니 엠비티를 지참하시고 와주시기 바랍니다 .첫 엠티고 선배님들도 어렵게 모시게 되었으니 신입분들께선 어쩔수 없는 사정이 아닌한 꼭 참석해주시길 바랍니다 .그럼 낼 뵙겠습니다 .

이번 06 년도 부회장을 맡게된 전대성입니다 .;12 월 5 일 월요일 7 시 학관 3 층 세미나 실에서 임원 회의가 있을 예정이오니 임원 여러분들께서는 꼭 참석해 주시기 바랍니다 .내용은 대략 겨울 엠티와 종강총회 때 올라온 건의사항에 대해 회의할 것으로 생각됩니다 .1 학년 임원여러분들은 꼭 참석해 주세요 .

Meeting locations found in natural language sentence Cannot cover all cases just using ‘Pattern’ e.g.) “ 장 \\p{Space} 소 .*:” Dependency between the other information, linguistic/syntactic information.

오늘 월례회 회의 결과 번개미팅 일정이 21 일 수요일 오전 10 시 30 분으로 확정되었습니다 .이날 모임에 참석하실 청여 회원들께서는 일정에 차질이 없도록 정해진 시간까지 교회앞으로 모여주시기 바랍니다 .차량은 그날 임보라목사님께서 교회 차량을 제공하시기로 했는데 , 참석하시는 분들의 차량 두 대에 나누어 타고 될 것 같습니다 .`트렁크갤러리 ` 에 도착해서 (11 시경 ) 갤러리에 전시된 작품들을 관람한 후 맛있는 점심을 나누고 , 이어서 더 맛있는 이야기도 나누시기 바랍니다 .근처에 있는 남산공원과 산책로를 거닐며 바쁜 일상을 쪼개 어렵게 끄집어낸 여유를 느껴보시기 바랍니다 .약 1 시 30 분경에 소박한 일정을 마칠 예정입니다 .많은 분들이 함께 나누는 시간과 추억이 되길 바랍니다 .

2010 년도 제 4 차 사장간담회 및 임시총회를 5 월 20 일 ( 목 ) 07:30 소공동 롯데호텔 36 층 버클리룸에서 개최하오니 참석하여 주시기 바라며 , 안건은 공문발송목록 제 177 번(총무 제 122 호 , 2010. 5. 10 발송 ) 을 참고하여 주시기 바랍니다 .끝 .

8

Methods and Experiments

9

Proposed Architecture

InputDocument OUTPUT

약산샘물 활성화를 위한 각 대리점사장님및관련되시는 모든분들과 아래와 같이 회의를 개최할 예정 이오니 참고 하시기 바랍니다 ( 사전 스케줄 조정 )회의일시 : 2006.05.20 토요일 오후 2 시회의장소 : 약산주식회사 서울 대회의실( 신림본동다이아몬드빌딩 7 층 )* 전철 2 호선 신림역 하차 2 번출구에서 50M 도보 ( 신빌딩 뒤 )주요내용 : 사업경과 설명 ( 본부장 ) / 효과적인 마켓팅 방안 강의 ( 염홍기박사 )회원증가 우수 대리점 사장 성공 사례 발표( 원세권 , 박상규사장 )홍보용 전단 , 씨디 , 테이프등을 배부하오니 수령해 가셔서 활용 하시기 바랍니다세부내용은 별도 공문 보내 드리겠습니다

Relation TypeClassification

isHeldAt 약산주식회사 서울 대회의실신림본동다이아몬드빌딩 7 층

locationLand-mark

신림역2 번출구신빌딩

Named EntityRecognition(Location)

약산샘물 활성화를 위한 각 대리점사장님및관련되시는 모든분들과 아래와 같이 회의를 개최할 예정 이오니 참고 하시기 바랍니다 ( 사전 스케줄 조정 )회의일시 : 2006.05.20 토요일 오후 2 시회의장소 : 약산주식회사 서울 대회의실( 신림본동다이아몬드빌딩 7 층 )* 전철 2 호선 신림역 하차 2 번출구에서 50M 도보 ( 신빌딩 뒤 )주요내용 : 사업경과 설명 ( 본부장 ) / 효과적인 마켓팅 방안 강의 ( 염홍기박사 )회원증가 우수 대리점 사장 성공 사례 발표( 원세권 , 박상규사장 )홍보용 전단 , 씨디 , 테이프등을 배부하오니 수령해 가셔서 활용 하시기 바랍니다세부내용은 별도 공문 보내 드리겠습니다

약산샘물 활성화를 위한 각 대리점사장님및관련되시는 모든분들과 아래와 같이 회의를 개최할 예정 이오니 참고 하시기 바랍니다 ( 사전 스케줄 조정 )회의일시 : 2006.05.20 토요일 오후 2 시회의장소 : 약산주식회사 서울 대회의실( 신림본동다이아몬드빌딩 7 층 )* 전철 2 호선 신림역 하차 2 번출구에서 50M 도보 ( 신빌딩 뒤 )주요내용 : 사업경과 설명 ( 본부장 ) / 효과적인 마켓팅 방안 강의 ( 염홍기박사 )회원증가 우수 대리점 사장 성공 사례 발표( 원세권 , 박상규사장 )홍보용 전단 , 씨디 , 테이프등을 배부하오니 수령해 가셔서 활용 하시기 바랍니다세부내용은 별도 공문 보내 드리겠습니다

- isHeldAt- locationLandmark- generalLocation

10

Baseline system [Min et al 2005] Information Extraction Using Context and Posi-

tion Corpus : 245 meeting announcement email Target : Attendee, Meeting Location, Time, Date Performance (F-measure) :

Attendee : 36%, Meeting Location : 57%, Time : 92.5%, Date : 91% Method

Sentence to LSP NE Recognition

ME, NN, Pattern-selection Instance Disambiguation

ML : Naive Bayes Score calculation

11

Reference for NER tagging [Lee et al. 2006] Fine-grained Named Entity Recognition using

Conditional Random Fields for Question Answering Performance :

Precision 85.8%, Recall 81.1%, F1 83.4% Boundary tags : IBO2 model (B-I-O) NE-classes : 147 types Domain of Corpus:

Encyclopedia documents (Training : 8,037 docs, Test : 100 docs) Features :

Lexical feature -2,-1,0,1,2 Suffix -2,-1,0,1,2 POStag -2,-1,0,1,2 POStag + length Position of Morpheme in Eojeol (Start /Center /End) NE dictionary (true or false) + length NE dictionary feature (index) + length 15 regular expressions : [A-Z]*, [0-9]*, [0-9][0-9], [0-9][0-9][0-9][0-9], [A-Za-z0-0]*, ---.

BoundaryDetection

(CRFs)3 classes

NE-typeClassification

(ME)147 classes

12

NER - Boundary Detection Boundary Tagset : IOB2 Features

Linguistic {-2,-1,0,1,2} POS-level word, {-2,-1,0,1,2} POS-tag,

POS-tag + length of the word Orthographic : 18 types of the word

isKorean, isAlpha, isAlnum, 2DigitNum, ... Gazetteer :

Person/Location Pronoun dictionary (ETRI 99) from Training corpus :

Heading words, Surrounding words, NE words External resources :

Person : Chosun/Joins.com Person DB (64,042) Location :

Nate Local DB 35,335, Sigaji.com 8,193, Ofood 43,390BusStop 19,431, Address,B/D 23,365, Subway 1,288,Hotel (Auction accomodation, hotelnjoy) 884,Country/Place name 11,946, School(Elementary~University) 21,957

Syntactic : Position of the POS-level word in the chunk (relative:S/C/E, absolute) Position of the chunk in the sentence (relative:S/SC/CE/E, absolute) Position of the sentence in the document (relative:S/SC/CE/E, absolute) TF-IDF

13

External Resources (1) Location :

Shop Name (80,436) Nate Local DB (3~10 chars.)

(http://localinfo.nate.com) Sigaji.com Shop DB (3~10 chars.)

(http://sigaji.com/location/) oFood

(http://ofood.co.kr) Hotel Name (884)

Auction Accomodation (http://accommodations.auction.co.kr)

Hotelnjoy(http://www.hotelnjoy.com)

Public Transportation (20,719) Subway stations Bus-Stop names

Address (from Zipcode DB) (23,365) Si/do, Gu/gun, Dong/myun/ri, B/D names

14

External Resources (2)Person

Chosun Person DB, Joins Person DB 64,042 people

Name combination feature from collected person DB.

assume length of the name is 3 # 1st char : 177, #2nd char : 351, #3rd char: 475 possible combinations : 29,510,325

e.g.)

+ + = 갈영남

15

Stats. : NER - Boundary Detection

Boundary Detection Target : 12,970 sentences in 949 documents. CRFs Model, 10-fold cross validation, Exact Matching Baseline is the case applying Word and POS-tag feature only

baseline B-LocationPrecision 49.99% 64.74%

Recall 16.97% 58.04%F-measure 24.34% 61.21%

Precision Recall F-measure 0.00%

10.00%20.00%30.00%40.00%50.00%60.00%70.00%80.00%90.00%

100.00%

Precision Recall F-measure 0.00%

10.00%20.00%30.00%40.00%50.00%60.00%70.00%80.00%90.00%

100.00%

BaselineSystem

B-Location I-Location

baseline I-LocationPrecision 24.94% 64.16%

Recall 39.82% 72.85%F-measure 32.99% 68.23%

16

ETRI NER Evaluation Result ETRI-NER(CRFs model) by Dr. Changki Lee

Test on 460 documents of Meeting Email Corpus Exact Matching, Contain, Contain Similar types

Precision Recall F-measure0.00%

10.00%

20.00%

30.00%

40.00%

50.00%

60.00%

70.00%

80.00%

90.00%

100.00%

Exact MatchingContainContain Similar Types

Exact Matching Contain Contain

Similar Types

Precision 13.35% 41.02% 23.66%

Recall 13.67% 35.50% 74.64%

F-measure 13.51% 38.06% 35.93%

Similar Types as Location: <*:AF_BUILDING>, <:LC>, <OGG_*)e.g. )ㅇ장소 : < 서울 : LCP_CAPITALCITY > <COEX:OGG_BUSINESS>, < 아셈홀 :AF_BUILDING> 회의실 <208 호 :QT_ORDER>

17

Fine-Grained NE Tag Set Fine-grained Named Entity Tag set

ETRI Tag Set is aimed to use QA task 42 classes are related to Meeting schedule information extraction

task.

Artifact

1 AF_CULTURAL_ASSET 인공물 _ 문화재 수정사 , 광화문 , 서대문

2 AF_BUILDING 인공물 _ 건물 형남공학관 , 공학관 , 중앙빌딩3 AF_ROAD 인공물 _ 도로 뱅뱅사거리 , 대학로 , 효성고가교 , 경부고속도로 , 21 번 국도

Organiza-tion

4 OG_OTHERS 기관 _ 기타 조직위원회 , 문화예술재단 , 운영위원회 , 총학생회5 OGG_ECONOMY 기관 _ 경제 한국프랜차이즈협회 , 중소기업기술정보진흥원6 OGG_EDUCATION 기관 _ 교육 영남대학교 , 경산캠퍼스 , 대성고체육관 , 단곡초7 OGG_MILITARY 기관 _군사 방위사업청8 OGG_MEDIA 기관 _ 미디어 한겨례신문 , MBC 스튜디오9 OGG_SPORTS 기관 _ 스포츠 프로마술팀 ,

10 OGG_ART 기관 _ 예술 리스트음악원 , 계명아트센터 , 트렁크갤러리11 OGG_SOCIETY 기관 _ 사회 국제식품규격위원회 , KSAG 원우회12 OGG_MEDICINE 기관 _ 의약 경찰병원 , 승우정신요양원13 OGG_RELIGION 기관 _ 종교 선교부 , 이슬람 , 남선교회 , 분당 샘물교회14 OGG_SCIENCE 기관 _ 과학 한국에너지기후변화학회 , 한국지질자원연구원15 OGG_BUSINESS 기관 _ 사업 삼성전자 , BEXCO, 금성교과서16 OGG_LIBRARY 기관 _ 도서관 시립도서관 , 고려대학교 중앙도서관 ,

17 OGG_LAW 기관 _ 법률 서울고등법원 , 서울가정법원18 OGG_POLITICS 기관 _ 정치 국회 , 국회의원회관 ,

Location

19 LC_OTHERS 지명 _ 기타 경인 , 여의도역 , 대방역 , 번동 2 단지 , 20 LCP_COUNTRY 지명 _ 장소 _ 국가 일본 , 한일 , 이스라엘21 LCP_PROVINCE 지명 _ 장소 _ 주 ( 도 ) 충남 , 전라북도 , 제주 , 경기도22 LCP_COUNTY 지명 _ 장소 _ 자치주

(군 ) 산 43-15, 서초구 , 서초동23 LCP_CITY 지명 _ 장소 _ 도시 부산 , 울산광역시24 LCP_CAPITALCITY 지명 _ 장소 _ 수도 서울 , 마닐라25 LCG_RIVER 지명 _ 지형 _ 강 우포늪 , 주남 저수지 , 한강 , 청계천 , 낙동강26 LCG_OCEAN 지명 _ 지형 _ 대양 태평양 , 대서양27 LCG_BAY 지명 _ 지형 _만 한반도 , 순천만 , 28 LCG_MOUNTAIN 지명 _ 지형 _ 산 대둔산 , 성산 , 약산29 LCG_ISLAND 지명 _ 지형 _섬 여의도 , 송도 , 30 LCG_CONTINENT 지명 _ 지형 _ 대륙 동유럽 , 아시아 , 남아시아 , 동아세아 , 31 LC_TOUR 지명 _ 관광지 천안국립중앙청소년수련원 , 마로니에 공원 , 인천대공원

Quantity

32 QT_OTHERS 수량 _ 기타 첫 모임 , 첫 , 613, 2 가 , 35 번지 , 1010 호 , 첫 번째 , 3 번 출구 , 24-1

33 QT_AGE 수량 _ 세대 2 세 , The 10th, 42 대 ,34 QT_SIZE 수량 _면적 90만평 , 10 여 만평 , 7,948㎡ , 35 QT_LENGTH 수량 _ 길이 5 인이내 , 82km, 400m, 36 QT_COUNT 수량 _ 개수 3 회 , 한번 , 24 개 , 48 팀 , 9 기 , 1 기관37 QT_MAN_COUNT 수량 _ 사람수 22 명 , 60 명 , 두 분 , 00 명 , 2000 여명38 QT_PERCENTAGE 수량 _비율 4 배 , 20%, 2 천억 이상 , 1/3 이상39 QT_ORDER 수량 _순서 1, 2, 3, 221 호 , 1 층 , 40 차 , 2 호선40 QT_PRICE 수량 _ 금액 4만원 , 1만원 , 5 천원 , 무료 , $40, 8,000 원41 QT_PHONE 수량 _ 전화번호 064-724-2001, 011-212-9476, 전화 02) 3277-

3847Term 42 TM_DIRECTION 용어 _ 방향 아래 , 옆 , 중부 , 맞은편 , 우회전

18

Stats. : Relation Type Classification

Document-Location Relation Type Classification Target : 1,844 Location-type Terms

1,104 isHeldAt (59.98%) 126 locationLandmark (6.83%) 614 generalLocation (33.3%)

1104

126

614

Relation Type of Location

isHeldAtlocationLandmarkgeneralLocation

19

Features: Relation Type Classification Term Dependency

relative position of start time toward the term. (left/right in current sentence, previous/next sentence) Linguistic

Gazetteer Dictionary

noun sequence feature. verb feature. suffix feature.

from Training Corpus : Heading words in the current / previous / next sentence. Surrounding words in the current / previous / next sentence.

Term consisting word in Pronoun Dictionary (ETRI 99) Address book Shop name (Nate Local DB / Sigaji.com / Ofood.com) Hotel(Auction accomodation, hotelnjoy) Country, place name of the world. School name (Elementary-Middle-High school/University)

Syntactic number of morphemes for each type of POS-tag. number of eojeol (chunk) in the current / previous / next sentence. position of the term in the sentence (relative:S/SC/CE/E, absolute) position of the sentence in the document (relative:S/SC/CE/E, absolute)

appliedto be applied

20

Experiment: Relation Type Classification

Document-Location Relation Type Classification Target : 1,844 Location-type Terms SVMs 3 classes (multi-class) classifier Baseline for each relation-type is the result of when system selects each type only.

Precision Recall F-measure 0.00%

10.00%20.00%30.00%40.00%50.00%60.00%70.00%80.00%90.00%

100.00%

Precision Recall F-measure 0.00%

10.00%20.00%30.00%40.00%50.00%60.00%70.00%80.00%90.00%

100.00%isHeldAt locationLandmark

Precision Recall F-measure 0.00%

10.00%20.00%30.00%40.00%50.00%60.00%70.00%80.00%90.00%

100.00%

baselineSystem

generalLocation

baseline SystemPreci-sion 33.61% 60.77%

Recall 100.00% 81.61%F-mea-sure 50.31% 69.66%

baseline SystemPreci-sion 7.01% 15.38%

Recall 100.00% 1.98%F-mea-sure 13.11% 3.51%

baseline SystemPreci-sion 59.38% 84.04%

Recall 100.00% 76.37%F-mea-sure 74.51% 80.02%

21

System Demohttp://barnabas.kaist.ac.kr:8080/NERExample documents:

주간 회의를 아래와 같이 갖고자 하오니 바쁘고 힘든 일 있으시더라도 적극 참석 바랍니다 .----- 아 래 -----일 시 : 2011 년 3 월 24 일 ( 목요일 ) 오후 7 시장 소 : KAIST KI 빌딩 내 카페베네KAIST 오시는길 : 충남대사거리에서 우측도로를 타고 1km 정도 오시면 됩니다 .연락처 : ☎ 042-350-7825 김경렬

이번주 CI LAB 석사 모임 공지를 하겠습니다 .26 일 ( 토요일 ) 오후 2 시에 하기로 하였습니다 .일정 변경에 대한 이유를 말씀드리자면 신입생들의 저조한 참석률 때문에 다시 토요일로 변경하게 되었습니다 . 다시 한번 죄송스럽게 생각합니다 .일단 '2 층 자판기 앞 소파 ' 에서 모입니다 .부득이한 사정으로 인해 못 오는 분들은 미리 연락해주십시오 .첫 모임이고 선배님들도 어렵게 모시게 되었으니 신입분들께선 어쩔수 없는 사정이 아닌한 꼭 참석해주시길 바랍니다 .그럼 토요일에 뵙겠습니다 .

김경렬 드림

22

Schedule Plan~March 18:

Finish implementing NER module with NE type classification. Performance evaluation comparing with Dr.Lee's NER on our

corpus.~March 25:

Finish implementing Relation Type Classification module~March 31:

System refinement. Start to writing paper.