Extractores de Información de Kushmerick. Índice Introducción Reglas de Extracción Generación...

Extractores de Información de Kushmerick

Índice

• Introducción• Reglas de Extracción• Generación de reglas de extracción• Extrayendo Información• Evaluación• Conclusiones

Introducción

Nicholas Kushmerick, Daniel S. Weld, Robert B. Doorenbos: Wrapper Induction for Information Extraction.

IJCAI (1) 1997: 729-737

How IE works

Information extractor

Document

Extraction rules

Attributes

The Da Vinci Code

Dan Brown

15.95 €

2006

Robert Langdon…

Doubleday

Templates

Message ID: MUC-0001Message Template: Court resolutionDate of Event: April, 30 2007Charge: Terrorist attackPerpetrator: Salahuddin AminPerpetrator: Anthony GarciaPerpetrator: Waheed MahmoodPerpetrator: Omar Khyam…

The Da Vinci Code

Dan Brown

15.95 €

2006

P1

Robert Langdon…

Doubleday

A1

B1

Ontology instances

Templating/ Ontologisation rules

Índice


Ejemplo 1

<HTML><TITLE>Some Country Codes</TITLE><BODY>↓ Congo 242 ↓Egypt 20 ↓Belize 501 ↓Spain 34 ↓</BODY></HTML>

Ejemplo 2

<HTML><TITLE>Some Country Codes</TITLE><BODY>↓Some Country Codes↓Congo 242 ↓Egypt 20 ↓Belize 501 ↓Spain 34 ↓<HR>End</BODY></HTML>↓

Ejemplo 3

<HTML><TITLE>Some Country Codes</TITLE><BODY>↓Some Country Codes<UL>↓<LI>Congo 242 ↓<LI>Egypt 20 ↓<LI>Belize 501 ↓<LI>Spain 34 ↓</UL><HR>End</BODY></HTML>

Ejemplo 4

name: John↓address: 12 Main St↓

name: Jane↓

name: Sally↓address: 10 Oak Ave↓address: 20 Walnut Rd↓

Reglas LR

• Caracterización LR (Left – Right)

LRLR

CountryName = “ * ”

CountryCode = “ * ”

Reglas HLRT

• Caracterización HLRT (Head – Left – Right – Tail)

HLRTHLRT

Head = “* ”

Tail = “<HR> *”



Head = “* ”

Tail = “<HR> *”

Reglas OCLR

• Caracterización OCLR (Open – Close – Left – Right)

OCLROCLR

Open = “* <LI>”

Close = “ ”



Open = “* <LI>”

Close = “ ”

Índice


Conceptos Preliminares

• Tokenización

• Conjunto de entrenamiento

Congo 242 ↓

Algoritmos de Inducción

LRHLRTOCLRN-LR

LR – Delimitadores Left

<HTML><TITLE>Some Country Codes</TITLE><BODY>↓

</BODY></HTML>

Congo 242 ↓

EgyptBelizeSpain

 

 

20501

34

 ↓ ↓

 ↓

 ↓ ↓

 ↓

<HTML><TITLE>Some Country Codes</TITLE><BODY>↓ 

 ↓




 ↓

 ↓

CADENA SEMILLA

CANDIDATOS


</BODY></HTML>

Congo 242 ↓

EgyptBelizeSpain

 

 

20501

34

 ↓ ↓

 ↓

 ↓ /I> ↓ I> ↓ > ↓ ↓

R>↓ BR>↓

>↓ ↓ B> >

Condiciones de validez para candidatos L:

1) Sufijo apropiado2) No formar parte de la cola

de la página si se trata del primer atributo

LR – Delimitadores Right


</BODY></HTML>

Congo 242 ↓

EgyptBelizeSpain

 

 

20501

34

 ↓ ↓

 ↓

 

 

 

 

 

 

CADENA SEMILLA

CANDIDATOS


</BODY></HTML>

Congo 242 ↓

EgyptBelizeSpain

 

 

20501

34

 ↓ ↓

 ↓

Condiciones de validez para candidatos R:1) No formar parte de algún

atributo2) Prefijo del texto que

ocurre inmediatamente después

 <I < </B</<

</BODY></HTML>

Congo 242 ↓

EgyptBelizeSpain

 

 

20501

34

 ↓ ↓

 ↓

 

 

 

 

 

 

CANDIDATOS

 /B> B> > I> >

CADENA SEMILLA

</BODY></HTML>

Congo 242 ↓

EgyptBelizeSpain

 

 

20501

34

 ↓ ↓

 ↓

 ↓ ↓

 ↓

 ↓

 ↓

 ↓

 ↓</BODY></HTML>

 ↓</BODY></HTML>

CANDIDATOS

 ↓ ↓<B ↓< ↓ 

<B <</I</<

CADENA SEMILLA

Inductive algorithms

LRHLRTOCLRN-LR

HLRT

<HTML><TITLE>Some Country Codes</TITLE><BODY>↓ Some Country Codes↓

 




</BODY></HTML>

Congo 242

EgyptBelizeSpain

20501

34

Some Country Codes↓

<HR>End













 ↓ ↓

 ↓ ↓





</BODY></HTML><HR>End ↓

<HTML><TITLE>Some Country Codes</TITLE><BODY>↓ Some Country Codes↓

CADENA SEMILLA PARA H Y l1

</BODY></HTML> ↓<HR>End

CADENA SEMILLA PARA T

CANDIDATOS PARA H

HLRT<HTML><TITLE>Some Country Codes</TITLE><BODY>↓Some Country Codes↓Congo 242 ↓Egypt 20 ↓Belize 501 ↓Spain 34 ↓<HR>End</BODY></HTML>

</TITLE><BODY>↓/TITLE><BODY>↓S…>↓↓S…<BB>>S …

CANDIDATOS PARA T CANDIDATOS PARA l1…↓ P>↓ >↓ … B> >

↓<HR><HR>E …<HR><HR><B…HRR>><…

HLRT

Condiciones de validez para validar la tripleta h, t, l1:1) H debe pertenecer a todas las

cabeceras de las páginas2) l1 sufijo apropiado cabecera3) T no debe ocurrir entre H y l1

4) T substring de las colas de las páginas

5) l1 no debe ocurrir antes de t6) l1 sufijo apropiado del texto

entre tuplas7) T no debe ocurrir antes que l1

TRIPLETA VÁLIDA

H:T: <HR>L1:H = “*” T = “<HR>*”CountryName = “ * ”

TRIPLETA NO VÁLIDA

H:<HTML>T: <HR>L1:

TRIPLETA NO VÁLIDA

H:T: </HTML>L1:

Inductive algorithms

LRHLRTOCLRN-LR

OCLR

 




</BODY></HTML>

Congo 242

EgyptBelizeSpain

20501

34

Some Country Codes<UL>↓

</UL><HR>End





 ↓

 ↓ ↓

<LI><LI><LI><LI>





 

 





CADENA SEMILLA PARA O Y C

CADENA SEMILLA PARA l1

<LI> ↓<LI> ↓<LI>

 ↓<LI>

 ↓ ↓

<HTML><TITLE>Some Country Codes</TITLE><BODY>↓ Some Country Codes<UL>↓<LI>

<HTML><TITLE>Some Country Codes</TITLE><BODY>↓ Some Country Codes<UL>↓

<LI>

O:<C : >L1:

OCLRCondiciones de validez para validar la tripleta:1) O substring de las cabeceras2) l1 sufijo apropiado después de

O.3) C substring de la cola4) O no debe ocurrir después de C5) O substring del texto entre

tuplas6) C substring del texto entre

tuplas de cada página.7) l1 sufijo apropiado

TRIPLETA VÁLIDA

O:<LI>C : L1:H = “*<LI>” T = “ *”CountryName = “ * ”

TRIPLETA NO VÁLIDA

TRIPLETA NO VÁLIDA

O:<BC : >L1:

Algoritmos de Inducción

LRHLRTOCLRN-LR

N-LR

name: ame: me: e: :

Candidatos l1

John 12 Main St

Jane

Sally 10 Oak Ave 20 Walnut Rd

name:

name:

name:

address: address:

address: address:

address: address:

↓↓

↓

↓

↓

↓

↓

↓

↓

Candidatos r1

↓

↓

John 12 Main St

Jane

Sally 10 Oak Ave 20 Walnut Rd

N-LR

name:

name:

name:

Candidatos l2

address: address:

address: address:

address: address:

↓↓

↓

↓

↓

↓

↓

↓

↓

↓ address: address:

address: ddress: dress: …

s: :

Candidatos r2

↓

↓

↓↓

N-LR

CONJUNTO DE DELIMITADORES VÁLIDOS

l1:name: r1:l2:address: r2: Name = “name: * ↓” Address = “address: * ↓”

↓

↓

Condiciones de validez para un conjunto de candidatos l y r:

1) Selección de conjunto de candidatos y validación mediante ejecución del extractor N-LR

Índice


LRLRLR





AtributosAtributos

Congo 242Egypt 20Belize 501Spain 34

…

</BODY></HTML>

Congo 242 ↓

EgyptBelizeSpain

 

 

20501

34

 ↓ ↓

 ↓

Congo 242

HLRTHLRTHLRT

Head = “* ”

Tail = “<HR> *”



Head = “* ”

Tail = “<HR> *”



AtributosAtributos


Congo 242 ↓

EgyptBelizeSpain

 

 

20501

34

 ↓ ↓

 ↓

Congo 242 Some Country Codes↓

…

<HR>End</BODY></HTML>↓<HR>

OCLROCLROCLR

Open = “* <LI>”

Close = “ ”



Open = “* <LI>”

Close = “ ”



AtributosAtributos


…Some Country Codes<UL>↓<LI>Congo 242 ↓<LI>Egypt 20 ↓<LI>Belize 501 ↓<LI>Spain 34 ↓</UL><HR>End</BODY></HTML>

<LI>Congo 242

N-LR

name: John↓address: 12 Main St↓

name: Jane↓

name: Sally↓address: 10 Oak Ave↓address: 20 Walnut Rd↓

N-LRN-LR

Name = “name: * ↓”

Address = “address * ↓”

Name = “name: * ↓”

Address = “address * ↓”

AtributosAtributos

John

12 Main St

Jane

Sally

20 Walnut Rd10 Oak Ave

address:

address:address:

Índice


Evaluación

• 70% de los casos aprende un tipo de extractor de información

• Sólo se necesitan un par de ejemplos

Índice


Conclusions

• LR, HLRT, OCLR, N-LR• Variantes: HOCLRT, N-HLRT• Problemáticos en la web actual

¡Gracias por asistir!

Información de [email protected]

mailto:[email protected]

Extractores de Información de Kushmerick. Índice Introducción Reglas de Extracción Generación...

Documents

Transcript of Extractores de Información de Kushmerick. Índice Introducción Reglas de Extracción Generación...