Implementação de buscas utilizando Linguagem Natural através de Algoritmos Adaptativos
-
Upload
melyssa-patterson -
Category
Documents
-
view
14 -
download
0
description
Transcript of Implementação de buscas utilizando Linguagem Natural através de Algoritmos Adaptativos
ESCOLA POLITÉCNICA DA UNIVERSIDADE DE SÃO PAULO
Departamento de Engenharia de Computação e Sistemas Digitais
Implementação de buscas utilizando Linguagem Natural
através de Algoritmos Adaptativos
Alencar Jr. CerqueiraAndré Martini Diniz
Carolina DortaPaulo Shindi Kuniyoshi
Agenda Motivação Objetivos Vídeo 1: Complexidade PLN(Mostrar todas as combinações possíveis) Aspectos Conceituais
▪ Linguagem Natural▪ Técnicas de Processamento de Linguagem Natural▪ Autômato de Pilha estruturado▪ Adaptatividade▪ Rede semântica
Implementação▪ Vídeo 2: Funcionamento (Montar árvore sintatica, rede semantica)▪ Escolha do método / técnica(Metodologia)▪ Sistema
▪ Modo de funcionamento / Modo de aprendizado / Mode de utilização▪ Arquitetura: Simplificada / Detalhada▪ Analisador Morfológico: Jspell / Dicionário IBLINAA▪ Analisador Sintático▪ Ações semânticas▪ Rede semântica▪ Adaptatividade▪ Vídeo 3: Petalas
Testes Resultados Trabalhos Futuros Conclusão
Motivação Limitação das buscas por palavras-chaves Busca por semântica
Técnicas de Processamento de Linguagens Naturais
Objetivos
Vídeo 1
Aspectos Conceituais
Linguagem Naturais
Técnicas de PLN Técnicas:
Simbólica Estatística Híbrida
Comparação técnicas PLN
/ Simbólico Estatístico Connectionist
Aquisição de dadosMenos dados para gerar um sistema maduro
Mais dados para gerar sistema maduro
Criação de regras Possuem critérios Pouco especificadas
Teoria ou Modelo Baseada em regras Parametrizado
Robustez Vulnerável aos ruídos Mais tolerantes a ruídos
Flexibilidade Não adaptávelMais indicados para tratar textos irrestritos
Autômato de Pilha Estruturado Extensão do Autômato Finito para ter
aninhamento sintáticos Chamada de Sub-máquina + Pilha
Adaptatividade
Rede Semântica
Implementação
Vídeo 2
Sistema IBLINAA APE Adaptativo Redes semânticas
Modo Aprendizado
Inserção gradual de novas estruturas
Inserção Artig
o
•O usuário insere um artigo no sistema
Pré-Processament
o
•O sistema realiza um pré-processamento que identifica informações relevantes em estruturas de frases conhecidas pelo analisador da linguagem
Rede Semântic
a
•O sistema armazenará as informações retiradas da etapa anterior em uma rede semântica que orientará a busca destas informações
Modo Utilização
Inserção gradual de novas estruturas Estr
utura de Pergunta
•O usuário seleciona uma estrutura de pergunta reconhecida pelo sistema
Pergunta
•Neste momento o usuário faz a pergunta em si e o sistema irá buscar a resposta dentro de sua rede semântica
Respost
a
•O sistema retorna a resposta para o usuário, bem como a fonte de onde esta resposta foi retirada e um link para acessar este documento
Arquitetura Simplificada
Analisador Sintático
Rede Semântica
Adaptativo
Algorítmo
Arquitetura Completa
IBLINAAIBLINAA
Interface de ComunicaçãoInterface de Comunicação
ViewView
ControllerController
ModelModel
Analisador Sintático AdaptativoAnalisador Sintático Adaptativo
Analisador MorfológicoAnalisador Morfológico
ControllerController
ViewView ViewView...
... ControllerController
históriahistória biologiabiologia BDsBDs...
Analisador Morfológico
Jspell : Framework de análise morfológica mais utilizado na língua portuguesa
Dicionário IBLINAA: Construção para suprir as deficiências do Jspell
Figura 5- Diagrama Classes módulo Análise SintáticaFigura 5- Diagrama Classes módulo Análise SintáticaFigura 5- Diagrama Classes módulo Análise Sintática
Analisador Sintático
Autômato de pilha estruturado Gramática simplificada do Português pelo
professor João José Neto baseada no livro do Luft Gramática projetada pelo grupo
Figura 5- Diagrama Classes módulo Análise SintáticaFigura 5- Diagrama Classes módulo Análise SintáticaFigura 5- Diagrama Classes módulo Análise Sintática
Classes do módulo de Análise Sintática
Analisador Sintático
Sub-máquinas
Ações semânticas
Figura 9- Máquina V
Rede semântica
Estrutura semântica do Banco de Dados
Rede semântica
Exemplo estruturado em rede semântica
Quem
Exemplo de pergunta: Quem ofereceu café?
Para as perguntas iniciadas por Quem, deve-se seguir a seguinte estratégia de busca:
•Identifica-se o verbo: ofereceu
•Identifica-se o objeto (conceito 2): café
•Identifica-se a Ligação Semântica cujo conceito 2 seja café e o verbo seja ofereceu -> José.
•Identifica-se o texto de Sujeito a que o conceito 2 se refere -> O lindo José.
Resposta: O lindo José.
Adaptatividade
Testes e Resultados
Testes
Teste das sentenças (Sub-máquinas) Teste Adaptatividade(Aprendizado) Teste para extração de informação(Busca)
Figura 5- Diagrama Classes módulo Análise SintáticaFigura 5- Diagrama Classes módulo Análise SintáticaFigura 5- Diagrama Classes módulo Análise Sintática
Testes Unitários
Testes já realizados
Exemplo: Submáquina Det
Caminho Frase OK?
Det(0123) Todos os meus OK
Det(0123) Primeiro o meu OK
Det(0123) Primeiro aquele seu OK
Det(0123) Todo aquele nosso OK
Det(0123) Todos os primeiros OK
Det(0123) Primeiro o terceiro OK
Det(0123) Primeiro esse terceiro OK
Det(0123) Todos estes primeiros OK
Det(012) Todas as OK
Det(012) Todos nossos OK
Det(012) Primeiro as OK
Testes Rede semânticaFigura 5- Diagrama Classes módulo Análise SintáticaFigura 5- Diagrama Classes módulo Análise SintáticaFigura 5- Diagrama Classes módulo Análise Sintática
Resultados
Gramática Luft vs Gramática IBLINAA Comparação árvore entre Luft e IBLINAA
Desempenho das „pétalas“ Mostrar os casos de reconhecimento Pergunta / Resposta
Figura 5- Diagrama Classes módulo Análise SintáticaFigura 5- Diagrama Classes módulo Análise SintáticaFigura 5- Diagrama Classes módulo Análise Sintática
Trabalhos Futuros
Adaptatividade Dicionário IBLINAA Gramática da língua portuguesa Estrutura Semântica Reconhecimento de estruturas da língua
portuguesa Pesquisa na Internet
Figura 5- Diagrama Classes módulo Análise SintáticaFigura 5- Diagrama Classes módulo Análise SintáticaFigura 5- Diagrama Classes módulo Análise Sintática
Conclusão
Vantagens desta técnica: Flexível a outras gramáticas
▪ Fácil de reconhecer sentenças de outras linguagens naturais
Modular▪ Fácil de mudar as sub-máquinas
„Inteligente“▪ Adaptativo
…
Figura 5- Diagrama Classes módulo Análise SintáticaFigura 5- Diagrama Classes módulo Análise SintáticaFigura 5- Diagrama Classes módulo Análise Sintática
Referências Bibliográficas Laboratório de Linguagens e Técnicas
Adaptativas da USPhttp://www.pcs.usp.br/~lta/union/index.php?cp=4
World Wide Web Consortium (W3C)http://www.w3.org/
DBpediahttp://dbpedia.org/About
Teste Estatístico
Teste de Reconhecimento
Texto:Coelhinho esperto
Tempo de Processamento : 4 minutos
Quantidade de frases: 50
Quantidade de frases reconhecidas: 5 Possibilidade de reconhecimento com pequenas modificações : + 5 frases
Não reconhecimento por:Gramática não reconheceu (com possibilidade de mudanças) 20
Gramática não reconheceu (mudanças complicadas) 12( Não foram contabilizados os períodos compostos aqui )
Período composto 29
Erro no Jspell (verbo) 6
Erro no Jspell (outras classes) 8
Erro do Analisador Sintático 0