Procesamiento del Lenguaje Natural
description
Transcript of Procesamiento del Lenguaje Natural
![Page 1: Procesamiento del Lenguaje Natural](https://reader035.fdocuments.net/reader035/viewer/2022062308/558e1bad1a28abcf5b8b4669/html5/thumbnails/1.jpg)
Historia Del Procesamiento Del Lenguaje Natural
![Page 2: Procesamiento del Lenguaje Natural](https://reader035.fdocuments.net/reader035/viewer/2022062308/558e1bad1a28abcf5b8b4669/html5/thumbnails/2.jpg)
El Procesamiento del Lenguaje Natural (PLN) es la disciplina encargada de producir sistemas informáticos que
posibiliten dicha comunicación, por medio de la voz o del texto. Se trata de una disciplina tan antigua como el uso de
las computadoras (años 50), de gran profundidad, y con aplicaciones tan importantes como la traducción
automática o la búsqueda de información en Internet
![Page 3: Procesamiento del Lenguaje Natural](https://reader035.fdocuments.net/reader035/viewer/2022062308/558e1bad1a28abcf5b8b4669/html5/thumbnails/3.jpg)
Nació a finales de la década de los cuarenta, antes de que se acuñara la propia expresión «Inteligencia Artificial» (IA).
![Page 4: Procesamiento del Lenguaje Natural](https://reader035.fdocuments.net/reader035/viewer/2022062308/558e1bad1a28abcf5b8b4669/html5/thumbnails/4.jpg)
DESCRIPCION:
El Procesamiento del Lenguaje Natural (PLN) es una parte esencial de la Inteligencia Artificial que investiga y formula mecanismos computacionalmente efectivos que faciliten la interrelación hombre/máquina y permitan una comunicación mucho más fluida y menos rígida que los lenguajes formales
![Page 5: Procesamiento del Lenguaje Natural](https://reader035.fdocuments.net/reader035/viewer/2022062308/558e1bad1a28abcf5b8b4669/html5/thumbnails/5.jpg)
Entre las tareas principales del procesamiento de lenguaje natural se
puede mencionar:
Traducción AutomatizadaAcceso a una Base de DatosRecuperación de informaciónCategorización de TextosObtención de Datos de un Texto
![Page 6: Procesamiento del Lenguaje Natural](https://reader035.fdocuments.net/reader035/viewer/2022062308/558e1bad1a28abcf5b8b4669/html5/thumbnails/6.jpg)
Traducción Automatizada
A principios de la década de lo0s 60’s habían bastantes esperanzas en el sentido de que las computadoras llegaran a ser capaces de traducir de un lenguaje a otro
![Page 7: Procesamiento del Lenguaje Natural](https://reader035.fdocuments.net/reader035/viewer/2022062308/558e1bad1a28abcf5b8b4669/html5/thumbnails/7.jpg)
Acceso a una Base de Datos
El primer logro obtenido por el PLN fue en el area de acceso a las bases de datos. Por 1970 las computadoras principales contaban con muchas bases de datos, pero su acceso se lograba solo escribiendo complicados programas en oscuros lenguajes de programación.
La primera de estas interfaces fue el sistema LUNAR
![Page 8: Procesamiento del Lenguaje Natural](https://reader035.fdocuments.net/reader035/viewer/2022062308/558e1bad1a28abcf5b8b4669/html5/thumbnails/8.jpg)
Recuperación de Información
La recuperación de información, la tarea consiste en escoger de entre un grupo de documentos aquellos que tengan relevancia en una consulta a veces el documento se representa por un reemplazo como es el titulo y una lista de palabras claves y/o un resumen
![Page 9: Procesamiento del Lenguaje Natural](https://reader035.fdocuments.net/reader035/viewer/2022062308/558e1bad1a28abcf5b8b4669/html5/thumbnails/9.jpg)
Categorizacion de Textos
Las tecnicas PLN han tenido exito en una actividad relacionada con lo anterior; la clasificacion de textos de acuerdo con determinadas categorias. Son diversos los servicios comerciales que de esta forma ofrecen el servicio de permitir el acceso a noticias transmitidas por cable.La categorizacion de textos es compatibles con las tecnicas del PLN en aquellos casos en donde no lo es la RI puesto que en las catogorias son fijas, y , gracias a ello, los diseñadores del sistema pueden dedicar su tiempo a afinar el programa para un problema determinado.
![Page 10: Procesamiento del Lenguaje Natural](https://reader035.fdocuments.net/reader035/viewer/2022062308/558e1bad1a28abcf5b8b4669/html5/thumbnails/10.jpg)
Obtencion de Datos de un Texto
El cometido de la obtencion de datos consiste en tomar un texto en linea y deducir de el algunas aseveraciones que se puedan incorporar a una base de datos estructurada.
![Page 11: Procesamiento del Lenguaje Natural](https://reader035.fdocuments.net/reader035/viewer/2022062308/558e1bad1a28abcf5b8b4669/html5/thumbnails/11.jpg)
Dificultad principal:El lenguaje natural es localmente ambiguo, y la resolución de ambigüedades es necesaria para un procesamiento eficaz.
1. He hit the nail with the hammer.=> «golpear» o «martillar» (Golpeó el clavo con el martillo).
2. The car swerved and hit the tree.=> «chocar» (El coche se desvió bruscamente y chocó contra el árbol).
3. The soldier fired and hit his target.=> «acertar» (El soldado hizo fuego y dio en el blanco).
![Page 12: Procesamiento del Lenguaje Natural](https://reader035.fdocuments.net/reader035/viewer/2022062308/558e1bad1a28abcf5b8b4669/html5/thumbnails/12.jpg)
Aparte de la ambigüedad léxica, hay otros tipos de ambigüedades lingüísticas que resolver. Las más importantes son la ambigüedad referencial y la ambigüedad estructural.
![Page 13: Procesamiento del Lenguaje Natural](https://reader035.fdocuments.net/reader035/viewer/2022062308/558e1bad1a28abcf5b8b4669/html5/thumbnails/13.jpg)
Componentes de un sistema de procesamiento del lenguaje natural
En los sistemas reales de comprension de texto, la entrada esta constituida por una secuencia de caracteres a partir de la cual se obtienen palabras. En la maayoria de los sistemas se aplica un procedimiento que consta de los siguientes pasos:
CaracterizaciónAnalisis MorfológicoConsulta de DiccionarioCorrección de Errores
![Page 14: Procesamiento del Lenguaje Natural](https://reader035.fdocuments.net/reader035/viewer/2022062308/558e1bad1a28abcf5b8b4669/html5/thumbnails/14.jpg)
La Caracterización es un procedimiento mediante el cual la entrada se fragmenta en diversos elementos basicos: palabras y signos de puntuación.
![Page 15: Procesamiento del Lenguaje Natural](https://reader035.fdocuments.net/reader035/viewer/2022062308/558e1bad1a28abcf5b8b4669/html5/thumbnails/15.jpg)
El Analisis Morfologico es el procedimiento que consiste en describir una palabra en funcion de los prefijos, sufijos y raices que estan presentes en ella. Las palabras se generan de 3 maneras:
1-Morfologia por Inflexion2-Morfologia por Derivacion3-Composicion
![Page 16: Procesamiento del Lenguaje Natural](https://reader035.fdocuments.net/reader035/viewer/2022062308/558e1bad1a28abcf5b8b4669/html5/thumbnails/16.jpg)
La Consulta del diccionario se realiza por cada elemento basico constitutivo.
La Corrección de Errores es realizada cuando no se localiza una palabra en el diccionario.hay por lo menos 3 tipos de corrección de errores:
Para el primero se recurre a las reglas morfológicas mediante las que se conjetura la posible clase sintactica a la que pertenece la palabra
![Page 17: Procesamiento del Lenguaje Natural](https://reader035.fdocuments.net/reader035/viewer/2022062308/558e1bad1a28abcf5b8b4669/html5/thumbnails/17.jpg)
En el Segundo , el uso de letras mayusculas permite suponer que la palabra se trata de un nombre propio
En el tercero, se utiliza el conocimiento de que ciertos fomratos especializados indican fechas, horas, numeros del seguro social , etc.
![Page 18: Procesamiento del Lenguaje Natural](https://reader035.fdocuments.net/reader035/viewer/2022062308/558e1bad1a28abcf5b8b4669/html5/thumbnails/18.jpg)
ANALISIS ANALISIS GRAMATICAL GRAMATICAL
EFICIENTEEFICIENTE
![Page 19: Procesamiento del Lenguaje Natural](https://reader035.fdocuments.net/reader035/viewer/2022062308/558e1bad1a28abcf5b8b4669/html5/thumbnails/19.jpg)
Have the students in section 2 of computer Have the students in section 2 of computer science 101 take the exam.science 101 take the exam.
(Aplique el examen a los estudiantes de la (Aplique el examen a los estudiantes de la segunda sección de ciencias de la computación segunda sección de ciencias de la computación 101)101)
Have the students in section 2 of computer Have the students in section 2 of computer science 101 taken the exam. ?science 101 taken the exam. ?
(Ya presentaron el examen los estudiantes de la (Ya presentaron el examen los estudiantes de la segunda sección de ciencias de la computación segunda sección de ciencias de la computación 101)101)
![Page 20: Procesamiento del Lenguaje Natural](https://reader035.fdocuments.net/reader035/viewer/2022062308/558e1bad1a28abcf5b8b4669/html5/thumbnails/20.jpg)
A nivel general, para mejorar la A nivel general, para mejorar la eficiencia se puede hacer lo siguiente:eficiencia se puede hacer lo siguiente:
No haga dos veces lo que puede hacer No haga dos veces lo que puede hacer una vezuna vez
No haga una vez lo que pueda evitar No haga una vez lo que pueda evitar hacerhacer
No represente diferencias innecesariasNo represente diferencias innecesarias
![Page 21: Procesamiento del Lenguaje Natural](https://reader035.fdocuments.net/reader035/viewer/2022062308/558e1bad1a28abcf5b8b4669/html5/thumbnails/21.jpg)
Rastreo de ANALISIS – ARRIBA – ABAJ0 en la cadena “ wumpus esta muerto”
![Page 22: Procesamiento del Lenguaje Natural](https://reader035.fdocuments.net/reader035/viewer/2022062308/558e1bad1a28abcf5b8b4669/html5/thumbnails/22.jpg)
[ 0, 5, S FN FV ■ ]
[ 0, 2, S FN ■ FV
La grafica de una oración formada por n palabras consta de n+1 vértices y varios bordes
![Page 23: Procesamiento del Lenguaje Natural](https://reader035.fdocuments.net/reader035/viewer/2022062308/558e1bad1a28abcf5b8b4669/html5/thumbnails/23.jpg)
GRAFICA DEL ANALISIS GRAMATICAL DE I FEEL THIS
![Page 24: Procesamiento del Lenguaje Natural](https://reader035.fdocuments.net/reader035/viewer/2022062308/558e1bad1a28abcf5b8b4669/html5/thumbnails/24.jpg)
![Page 25: Procesamiento del Lenguaje Natural](https://reader035.fdocuments.net/reader035/viewer/2022062308/558e1bad1a28abcf5b8b4669/html5/thumbnails/25.jpg)
AMBIGÜEDAD
La ambigüedad es intrínseca en las lenguajes naturales, tanto a nivel morfológico como sintáctico y semántico. En el caso de la sintaxis, el hecho de que una frase sea ambigua se traduce en que es posible asociar dos o mas estructuras sintagmáticas correctas a dicha frase.
![Page 26: Procesamiento del Lenguaje Natural](https://reader035.fdocuments.net/reader035/viewer/2022062308/558e1bad1a28abcf5b8b4669/html5/thumbnails/26.jpg)
EJEMPLO:
Tomaremos una frase conocida: “Juan vio un hombre con un telescopio en una colina”. Diferentes ubicaciones de las subestructuras correspondientes a los fragmentos “con un telescopio” y “en una colina” llevan a diferentes estructuras sintagmáticas completas para la frase, todas ellas correctas.
![Page 27: Procesamiento del Lenguaje Natural](https://reader035.fdocuments.net/reader035/viewer/2022062308/558e1bad1a28abcf5b8b4669/html5/thumbnails/27.jpg)
EVIDENCIA SINTACTICA
Son modificadores tales como los adverbios y frases prepositivas dan lugar a considerable ambigüedad debido a que se les puede asociar a varias cabezas a la vez. EJEMPLO:
Lee asked kim to tell Toby to leave on Saturday.
Lee le pido a Kim que le dijera a Toby que saliera el sábado.
![Page 28: Procesamiento del Lenguaje Natural](https://reader035.fdocuments.net/reader035/viewer/2022062308/558e1bad1a28abcf5b8b4669/html5/thumbnails/28.jpg)
EVIDENCIA LEXICA
Son muchas palabras ambiguas, pero no todos los sentidos de una palabra tienen una misma posibilidad. EJEMPLO:Si se pregunta cual es el significado de la palabra en ingles “PEN” la mayoría responderá que es un instrumento de escritura.
![Page 29: Procesamiento del Lenguaje Natural](https://reader035.fdocuments.net/reader035/viewer/2022062308/558e1bad1a28abcf5b8b4669/html5/thumbnails/29.jpg)
EVIDENCIA SEMANTICA
Es la probabilidad a priori del sentido de una palabra normalmente es menos importante que la respectiva probabilidad condicional en un contexto determinado.
![Page 30: Procesamiento del Lenguaje Natural](https://reader035.fdocuments.net/reader035/viewer/2022062308/558e1bad1a28abcf5b8b4669/html5/thumbnails/30.jpg)
EJEMPLO:
ORACION RELACIONComí espagueti con albóndigas ( ingrediente del espagueti )Comí espagueti con ensalada ( plato para acompañar el espagueti) Comí espagueti con desenfreno ( manera de comer )Comí espagueti con un tenedor ( instrumento para comer )Comí espagueti con un un amigo ( acompañante )
![Page 31: Procesamiento del Lenguaje Natural](https://reader035.fdocuments.net/reader035/viewer/2022062308/558e1bad1a28abcf5b8b4669/html5/thumbnails/31.jpg)
Metonimia Metonimia
Es usar un objeto para representar otro.Es usar un objeto para representar otro.
Ejemplo:Ejemplo:““Chrysler presento un nuevo modelo”Chrysler presento un nuevo modelo”
![Page 32: Procesamiento del Lenguaje Natural](https://reader035.fdocuments.net/reader035/viewer/2022062308/558e1bad1a28abcf5b8b4669/html5/thumbnails/32.jpg)
METAFORA
Es una figura retórica en al cual se emplea una frase con un determinado sentido literal para dar entender otro por medio de una analogía.
![Page 33: Procesamiento del Lenguaje Natural](https://reader035.fdocuments.net/reader035/viewer/2022062308/558e1bad1a28abcf5b8b4669/html5/thumbnails/33.jpg)
Arquitectura de un Arquitectura de un sistema de sistema de
Procesamiento del Procesamiento del Lenguaje NaturalLenguaje Natural
![Page 34: Procesamiento del Lenguaje Natural](https://reader035.fdocuments.net/reader035/viewer/2022062308/558e1bad1a28abcf5b8b4669/html5/thumbnails/34.jpg)
El usuario le expresa (de alguna forma) a la El usuario le expresa (de alguna forma) a la computadora que tipo de procesamiento desea computadora que tipo de procesamiento desea hacer;hacer;
La computadora analiza las oraciones La computadora analiza las oraciones proporcionadas, en el sentido morfológico y proporcionadas, en el sentido morfológico y sintáctico; sintáctico;
Luego, se analizan las oraciones Luego, se analizan las oraciones semánticamente; semánticamente;
Se realiza el análisis pragmático del texto.Se realiza el análisis pragmático del texto.
Se ejecuta la expresión final y se entrega al Se ejecuta la expresión final y se entrega al usuario para su consideración.usuario para su consideración.
![Page 35: Procesamiento del Lenguaje Natural](https://reader035.fdocuments.net/reader035/viewer/2022062308/558e1bad1a28abcf5b8b4669/html5/thumbnails/35.jpg)
¿Que es un discurso?¿Que es un discurso? En un sentido técnico, un discurso o En un sentido técnico, un discurso o
un texto es una cadena del lenguaje, un texto es una cadena del lenguaje, por lo general con extensión superior por lo general con extensión superior a una oración.a una oración.
![Page 36: Procesamiento del Lenguaje Natural](https://reader035.fdocuments.net/reader035/viewer/2022062308/558e1bad1a28abcf5b8b4669/html5/thumbnails/36.jpg)
Pasos de el hablante para producir Pasos de el hablante para producir un discurso:un discurso:
Intención -> generación-> Intención -> generación-> síntesis.síntesis.
![Page 37: Procesamiento del Lenguaje Natural](https://reader035.fdocuments.net/reader035/viewer/2022062308/558e1bad1a28abcf5b8b4669/html5/thumbnails/37.jpg)
Pasos del escucha dentro del Pasos del escucha dentro del discurso:discurso:
Percepción->análisis-Percepción->análisis->desambiguación-> >desambiguación-> desincorporación.desincorporación.
![Page 38: Procesamiento del Lenguaje Natural](https://reader035.fdocuments.net/reader035/viewer/2022062308/558e1bad1a28abcf5b8b4669/html5/thumbnails/38.jpg)
Existen 6 tipos de conocimiento para poder lograr la Existen 6 tipos de conocimiento para poder lograr la comprensión:comprensión:
Conocimiento general del mundo.Conocimiento general del mundo. Conocimiento general sobre la estructura del Conocimiento general sobre la estructura del
discurso coherente.discurso coherente. Conocimiento general sobre la sintaxis y la Conocimiento general sobre la sintaxis y la
semántica.semántica. Conocimiento especifico sobre la situación de que Conocimiento especifico sobre la situación de que
este hablándose.este hablándose. Conocimiento especifico sobre las creencias de los Conocimiento especifico sobre las creencias de los
personajes.personajes. Conocimiento especifico sobre las creencias del Conocimiento especifico sobre las creencias del
hablante.hablante.
![Page 39: Procesamiento del Lenguaje Natural](https://reader035.fdocuments.net/reader035/viewer/2022062308/558e1bad1a28abcf5b8b4669/html5/thumbnails/39.jpg)
La estructura del discurso La estructura del discurso coherente.coherente.
En lógica, la conjunción es En lógica, la conjunción es conmutativa, por lo que no hay conmutativa, por lo que no hay diferencia entre P^R^Q y R^Q^P. diferencia entre P^R^Q y R^Q^P. Sin embargo, lo anterior no es valido Sin embargo, lo anterior no es valido en el caso de los lenguajes naturales.en el caso de los lenguajes naturales.
![Page 40: Procesamiento del Lenguaje Natural](https://reader035.fdocuments.net/reader035/viewer/2022062308/558e1bad1a28abcf5b8b4669/html5/thumbnails/40.jpg)
Teoría de Hobbs(1990).Teoría de Hobbs(1990).
El hablante desea transmitir un El hablante desea transmitir un mensaje.mensaje.
Para hacerlo, el hablante tiene una Para hacerlo, el hablante tiene una motivación o meta.motivación o meta.
El hablante desea facilitar al oyente la El hablante desea facilitar al oyente la comprensión del mensaje.comprensión del mensaje.
El hablante debe vincular la información El hablante debe vincular la información nueva con lo que el escucha ya sabe.nueva con lo que el escucha ya sabe.
![Page 41: Procesamiento del Lenguaje Natural](https://reader035.fdocuments.net/reader035/viewer/2022062308/558e1bad1a28abcf5b8b4669/html5/thumbnails/41.jpg)
Generación de textosGeneración de textos
En cierto grado es una tarea más En cierto grado es una tarea más simple que la comprensión, ya que simple que la comprensión, ya que por lo menos la computadora puede por lo menos la computadora puede elegir las expresiones que sabe elegir las expresiones que sabe producir.producir.
![Page 42: Procesamiento del Lenguaje Natural](https://reader035.fdocuments.net/reader035/viewer/2022062308/558e1bad1a28abcf5b8b4669/html5/thumbnails/42.jpg)
Sin embargo, hay algunos problemas en la Sin embargo, hay algunos problemas en la generación de texto. Uno reside en la generación de texto. Uno reside en la necesidad de elegir las palabras y necesidad de elegir las palabras y expresiones que «se usan» en el contexto expresiones que «se usan» en el contexto dado. dado.
El otro problema es que el texto producido El otro problema es que el texto producido con los métodos de fuerza bruta es con los métodos de fuerza bruta es aburrido, incoherente y a veces no aburrido, incoherente y a veces no entendible. entendible.
![Page 43: Procesamiento del Lenguaje Natural](https://reader035.fdocuments.net/reader035/viewer/2022062308/558e1bad1a28abcf5b8b4669/html5/thumbnails/43.jpg)
El lenguaje es una estructura muy El lenguaje es una estructura muy compleja. Afortunadamente, el compleja. Afortunadamente, el codificador y decodificador funcionan codificador y decodificador funcionan en pasos, construyendo las estructuras en pasos, construyendo las estructuras más complejas de bloques más más complejas de bloques más simples:simples:
Palabras de letras,Palabras de letras, Oraciones de palabras,Oraciones de palabras, Textos de oraciones.Textos de oraciones.
![Page 44: Procesamiento del Lenguaje Natural](https://reader035.fdocuments.net/reader035/viewer/2022062308/558e1bad1a28abcf5b8b4669/html5/thumbnails/44.jpg)
Aplicaciones del PLNAplicaciones del PLN
Traducción automáticaTraducción automática.. Recuperación de la información.Recuperación de la información. Extracción de Información y Extracción de Información y
ResúmenesResúmenes.. Resolución cooperativa de Resolución cooperativa de
problemas.problemas. Tutores inteligentesTutores inteligentes.. Reconocimiento de VozReconocimiento de Voz. .