Upload
mauro-assuncao-andrade
View
216
Download
0
Embed Size (px)
Citation preview
Extração da Informação
Cirdes Borges, Flávio Dantas, Rafael Barbosa, Samuel Arcoverde, Tiago Rocha
Modificado por Flávia Barros
Índice
Motivação Introdução Processo de extração da informação Abordagens para um sistema de EI Desafios Conclusão
Motivação
Problema:
Vasta quantidade de documentos textuais na Web Como apresentar ao usuário apenas o que interessa?
Como transmitir os dados entre Web services e bases de dados existentes? Necessário definir templates
Motivação O que se quer?
Respostas relevantes para o usuário Não apenas links para documentos
Gerar resumos/sumários de textos
Minerar dados
Preencher Base de dados e Bases de conhecimento
Introdução
Sistemas de Extração de informação (EI) visam Localizar e extrair,informações relevantes em um
documento ou uma coleção de documentos De forma automática A fim de preencher um template de saída.
Extração de informação
Trata o problema de extração de dados relevantes a partir de uma coleção de documentos.
Os dados a serem extraídos são previamente definidos em um template (formulário)
CriaçãoDos slots
Documentocom tags
Tabelas com campos pré-definidos ou templates
Extração de informação
Sistema de
Extração de
Informação
Sistema de
Extração de
Informação
Exemplo de Sistema de EI
Exemplo de Sistema de EI
RI x EI Recuperação de Informação
Recupera documentos relevantes baseando-se em cálculos estatísticos sobre os termos que ocorrem no documento.
Visualiza o documento apenas como um conjunto de palavras.
Extração de Informação Extrai informações relevantes baseando-se no domínio de
conhecimento do documento Filtra o resultado de uma tarefa de RI graças a restrição do
domínio Busca derivar conhecimento dos documentos recuperados
segundo a estruturada do documento.
Breve História
JASPER (1980s) Sistema para finanças
MUC-Message Understanding Conference [final da década de 80]
Internet/Web [década de 90]
Abordagens para Sistema de EI
Observamos nos sistemas de Extração de Informação a distinção entre duas abordagens: Engenharia de conhecimento Aprendizagem de Máquina
As abordagens são diferenciadas pela forma com que as regras são definidas
Engenharia de conhecimento Construção de regras é feita manualmente. Requer que um especialista em sistemas de
Extração de Informação participe efetivamente da criação das regras.
Construção baseada no conhecimento que o engenheiro possui do cenário e domínio com o qual vai trabalhar.
Precisão nos resultados é maior. O tempo de desenvolvimento é maior Possibilita reuso de regras e extensibilidade
Para lidar com pequenas mudanças no template
Alana Brito – Fernando Rodrigues – Josias Barbosa 05/05/2010
Aprendizagem de Máquina Utiliza algoritmos de Inteligência Artificial
Algoritmos de treinamento automático Para indução de regras de extração
Um corpus de documentos etiquetados é usado para treinamento e vallidação das regras induzidas
Tempo menor de desenvolvimento Boa precisão nos resultados Difícil adaptação a novos domínios/problemas
(reuso) Requer novo processo de treinamento
Tipos de texto e Técnicas para EI A técnica mais adequada para construir o sistema
de EI depende do tipo do texto a ser tratado
Processamento de Linguagem Natural – PLN Textos livres
Wrappers Textos estruturados
com formato predefinido e rígido Textos semi estruturados
permitem a ocorrência de variações na ordem e no formato dos dados
E.g., notícias de classificados de jornal
Processamento de Linguagem Natural – PLN
Utilizado no tratamento de documentos com pouco ou nenhum grau de estruturação
Caracteriza-se pela análise e manipulação ou codificação de informações expressas em língua natural
PLN – Níveis de Análise Nível Morfológico
Estuda a constituição das palavras em seus elementos básicos;
Nível Sintático Determina a relação entre as palavras em uma sentença
(papel) Nível Semântico
Determina o significado e inter-relacionamento semântico das palavras
Nível Discursivo Estuda as relações entre sentenças
Nível Pragmático Estuda o objetivo do uso da língua
Nível Morfológico
A análise Morfológica determina: O radical + sufixo da palavra, e geralmente constrói um dicionário adicionando informações relacionadas como: Classe da palavra Conjugação Pessoa A análise morfológica pode ser implementada através de algorítmos baseados em regras
eats eat + s verbo, singular, 3rd persdog dog nome, singular
Nível Sintático A análise sintática faz uso do dicionário gerado pela
análise morfológica procurando mostrar relacionamento entre palavras.
As palavras que apresentam apenas um sentido possível podem ser substituídas pela sua representação semântica
Tem como saída a representação da sentença que representa as dependências entre palavras
As sentenças de exemplo apenas diferem na sintáxi e apresentam significados diferentes
‘The dog chased the cat.’ ‘The cat chased the dog.’
Nível Semântico
Não é apenas neste nível que o significado é determinado, todos os níveis contribuem para a determinação do significado
O nível semântico determina o possível significado de uma sentença, focando nas interações entre os significados das palavras na sentença
Desambigüidade semântica
A cabeça une-se ao tronco pelo pescoçoEle é o cabeça da rebeliãoSabrina tem boa cabeça
Nível Discursivo
Analisa textos maiores que sentenças Foca nas propriedades do texto como um
todo, determinando significado através das conexões de sentenças
Resolução de Anáfora: Substituição de pronomes pelas entidades que eles referenciam
Reconhecimento de Estrutura de Texto: Em um jornal temos; Artigos de capa, opniões, eventos passados, anúcios
Nível Pragmático
Foca no significado que vai além do contexto do texto
Requer um conhecimento global Os exemplos seguintes utilizam anáforas mas as
resoluções necessitam de um conhecimento global
Os vereadores recusaram receber os manifestantes, porque eles temiam o confrontoOs vereadores recusaram receber os manifestantes, porque eles defendiam a revolução.
Processo de extração de informação
Documento
Analisador sintático/semânti
co
Integração e preenchimento de templates Templates preenchidos
Processador léxico
Analisador do discurso
Reconhecimento de nomes
Padrões de extração
ClusterizaçãoAssociaçãoClassificação
Processo de extração de informaçãoEI
Segmentação
Microsoft CorporationCEOBill GatesMicrosoftGatesMicrosoftBill VeghteMicrosoftVPRichard StallmanfounderFree Software Foundation
Microsoft CorporationCEOBill GatesMicrosoftGatesMicrosoftBill VeghteMicrosoftVPRichard StallmanfounderFree Software Foundation
Cluster A
Cluster B
Cluster C
Problemas com sistemas de PLN
Maior desenvolvimento da WEB nos anos 90... Necessidade de sistemas mais eficientes
Sistemas baseados em PLN são computacionalmente caros
Baixa precisão nos resultados Devido à imprecisão e à flexibilidade das línguas
naturais
Wrappers Extraem informação de documentos
A fim de preencher templates Relembrando...
Textos estruturados com formato predefinido e rígido
Textos semi estruturados permitem a ocorrência de variações na ordem e no
formato dos dados Utilizam dados sobre a formatação do texto,
marcadores, freqüência estatística das palavras, etc.
Wrappers - Técnicas de Extração
Autômatos finitos
Casamento de padrões
Classificadores de texto
Modelos de Markov escondidos (HMM)
Autômatos Finitos
Regras de extração na forma de autômatos finitos
Bons para textos estruturados e semi estruturados
Definidos manualmente ou aprendidos automaticamente.
Definidos por: Estados que “aceitam” os símbolos do texto que
preenchem algum campo do fórmulario de saída Os estados que apenas consomem os símbolos
irrelevantes encontrados no texto Os símbolos que provocam as transições de
estado
Autômatos Finitos
Casamento de Padrões Padrões descritos através de expressões
regulares (ER) que “casam” com o texto para extrair as informações.
ER mais intuitivas do que autômatos.
Exemplo:
Classificadores de Texto Textos semi-estruturados Documento é dividido em fragmentos
podendo utilizar várias características de cada segmento para a classificação tamanho, posição, formatação, presença de palavras
Desvantagem: realiza classificação local independente para cada fragmento, erdendo informações estruturais importantes do
documento
Classificadores de Texto
Classificam fragmentos do documento para determinar que campo do fórmulario eles devem preencher
Classificadores de Texto
Modelos de Markov Escondidos (HMM) Textos livres e semi-estruturados. Verifica a ocorrência de padrões em sequência
no texto de entrada. Maximiza a probabilidade de acerto para o
conjunto todo de padrões.
Modelos de Markov Escondidos (HMM) É um autômato finito probabilístico que
consiste em: Um conjunto de estados ocultos Uma probabilidade de transição entre os
estados ocultos Um conjunto de símbolos emitidos pelos
estados ocultos Uma distribuição de probabilidade de emissão
de cada símbolo que pertence ao conjunto de símbolos para cada estado oculto
Processo de classificação Algoritmo de Viterbi Retorna a sequência de estados ocultos com
maior probabilidade de ter emitido cada sequência de símbolos de entrada.
Modelos de Markov Escondidos (HMM)
Modelos de Markov Escondidos (HMM) Vantagens
Classificação ótima para a sequência de entrada Desvantagens
Não é capaz de fazer uso de múltiplas características de Tokens
por exemplo, formatação, tamanho e posição
Construção de Wrappers
Automática Define regras de extração com um corpus de
treinamento com de técnicas de aprendizagem de máquina.
Semi-automática Auxiliado por ferramentas, o usuário especifica a
estrutura e o contexto dos dados a serem extraídos.
Manual Mais demorada e trabalhosa, porém com maior precisão
nos dados extraídos.
PLN x Wrappers
Desafios
Técnicas de Extração “Dividir pra Conquistar” Linguagem natural Idiomas Métricas de avaliação Classificar stop words Apredizagem de Máquina
Desafios
Ontologias Acesso do Usuário Conteúdo preciso, claro Padrões de Ontologia
Aplicações de EI
Filtragem de Fóruns Controle de Conteúdo Assunto do Dialogo
Monitoramento da WEB Buscar por Hackers Busca por Terroristas
Aplicações de EI Extração de Informações Estratégicas
Inteligência de Negócios Análise de mercado
Análise de Arquivos de LOG Análise de LOGs de erro Análise de LOGs de acesso
Conclusões
Extrair Informação é preciso Web é um pandemônio de informações Precisamos de soluções inteligentes
Dúvidas
Referências MANFREDINI, V. H.; Proposta de uma Técnica de
Extração de Informação de Arquivos de Log de Servidores Proxy
Silva, E. F. A.; Barros, F. A.; Prudencio, R. B. C.; Uma Abordagem de Aprendizagem Híbrida para Extração de Informação em Textos Semi-Estruturados
http://en.wikipedia.org/wiki/Information_extraction
Liddy, E. D. In Encyclopedia of Library and Information Science, 2nd Ed. Marcel Decker, Inc http://www.cnlp.org/publications/03NLP.LIS.Encyclopedia.pdf
Referências
Schneider O. M., Rosa, L.J., Processamento de Linguagem Natural (PLN), http://moschneider.tripod.com/pln.pdf
Aranha C., Passos E. A Tecnologia de Mineração de Textos, PUC-RIO
Bulegon H., Moro M. C. C., Text Mining and Natural Language Processing in Discharge Summaries, PPGTS,PUCPR
http://143.54.31.10/reic/edicoes/2003e2/tutoriais/MineracaoNaWeb.pdf
Referências
www.cin.ufpe.br/~if796/2006-1/ExtracaoInformacao.ppt
http://sare.unianhanguera.edu.br/index.php/rcext/article/viewFile/413/409
MELO, Taciana. Um Sistema Especialista para Extração e Classificação de Receitas Culinárias em Páginas Eletrônicas. Trabalho de Conclusão de Curso. UFPE, CIn. 2000. - www.cin.ufpe.br/~tg/2000-2/tmlm.doc