Answer Extraction (IST; resumo por Pedro Freire; 2007) 45 slides

Answer ExtractionAnswer Extraction

(IST; resumo por Pedro Freire; 2007)(IST; resumo por Pedro Freire; 2007)45 slides45 slides

22

O que é?O que é?

O sistemas de pesquisa habituais O sistemas de pesquisa habituais esperam dar-nos uma lista ordenada de esperam dar-nos uma lista ordenada de documentosdocumentos relevantes à pesquisa relevantes à pesquisa

Este sistema pretende obter uma Este sistema pretende obter uma quantidade de texto bem mais pequena, quantidade de texto bem mais pequena, nomeadamente, uma nomeadamente, uma respostaresposta directa directa à pergunta do utilizadorà pergunta do utilizador

33

DiferençaDiferença

44

Exemplo: “Quem descobriu Exemplo: “Quem descobriu Plutão?”Plutão?”

A pesquisa habitual devolve uma A pesquisa habitual devolve uma lista de documentos que são lista de documentos que são relevantesrelevantes

O utilizador provavelmente prefere O utilizador provavelmente prefere ter uma lista de possíveis respostas ter uma lista de possíveis respostas juntamente com os documentos que juntamente com os documentos que as suportamas suportam

55

Exemplos de respostasExemplos de respostas

PerguntaPergunta OrdemOrdem RespostaResposta

Who is the author of the book, The Iron Who is the author of the book, The Iron Lady: A Biography of Margaret Thatcher?Lady: A Biography of Margaret Thatcher? 22 Hugo YoungHugo Young

What is the name of the managing director What is the name of the managing director of Apricot Computer?of Apricot Computer? 11 Dr Peter HorneDr Peter Horne

What country is the biggest producer of What country is the biggest producer of tungsten?tungsten? 11 ChinaChina

Who was the first Taiwanese President?Who was the first Taiwanese President? 11Taiwanese PresidentTaiwanese President Li Teng huiLi Teng hui

When did Nixon visit China?When did Nixon visit China? 11 19721972

How many calories are there in a Big Mac?How many calories are there in a Big Mac? 44 562 562 caloriescalories

What is the acronym for the rating system What is the acronym for the rating system for air conditioner efficiency?for air conditioner efficiency? 11 1 EER1 EER

66

Outros tipo de perguntasOutros tipo de perguntas

Perguntas quantitativas; e.g.: Perguntas quantitativas; e.g.: “Quantas vezes é que o Estado “Quantas vezes é que o Estado aumentou as taxas de juros este aumentou as taxas de juros este ano?”ano?”

Etc. (os autores deixam muito trabalho Etc. (os autores deixam muito trabalho para desenvolvimento futuro)para desenvolvimento futuro)

O sistema de respostasO sistema de respostas

88

Processamento em duas Processamento em duas etapasetapas

1.1. Recuperação de informação – são Recuperação de informação – são recuperados os trechos mais recuperados os trechos mais prometedores dos documentos prometedores dos documentos mais prometedoresmais prometedores

2.2. Processamento linguístico – Processamento linguístico – potenciais respostas são extraídas potenciais respostas são extraídas dos trechos e ordenadasdos trechos e ordenadas

99

ComponentesComponentes

Recuperação de trechos

Extracção de entidades

Classificação de entidades

Classificação da consulta

Ordenação de entidades

Recuperaçãode informação

Processamentolinguístico

Recuperação de trechosRecuperação de trechos(passage retrieval)(passage retrieval)

1111

ObjectivoObjectivo

Identificar documentos relevantesIdentificar documentos relevantes

Dentro desses, identificar os trechos Dentro desses, identificar os trechos que maior probabilidade têm de que maior probabilidade têm de conter a resposta à questãoconter a resposta à questão

1212

AbordagemAbordagem

Os autores decidiram usar uma Os autores decidiram usar uma versão modificada do sistema SMART versão modificada do sistema SMART para obter os documentos relevantespara obter os documentos relevantes

Definem-se “trechos” como sendo Definem-se “trechos” como sendo uma frase e as suas duas frases uma frase e as suas duas frases vizinhas (cada documento tem assim vizinhas (cada documento tem assim vários trechos que se sobrepõem)vários trechos que se sobrepõem)

1313

AbordagemAbordagem Chamemos Chamemos SSjj á pontuação á pontuação (score)(score) da frase da frase jj

SSjj é a soma dos pesos IDF para todas as palavras é a soma dos pesos IDF para todas as palavras que não sejam que não sejam stop-wordsstop-words que partilha com a que partilha com a consulta, mais um bónus adicional por cada par consulta, mais um bónus adicional por cada par de palavras que partilhemde palavras que partilhem

A pontuação de um trecho A pontuação de um trecho ii é então dado por: é então dado por:

Os 50 trechos com maior pontuação são enviados Os 50 trechos com maior pontuação são enviados ara processamento linguísticoara processamento linguístico

141

21

141

iii SSS

Extracção de entidadesExtracção de entidades

1515

ObjectivoObjectivo

Extrair um conjunto candidato de Extrair um conjunto candidato de possíveis respostas a partir dos possíveis respostas a partir dos trechostrechos

1616

AbordagemAbordagem

Os autores decidiram usar o Os autores decidiram usar o parserparser parcial Cassparcial Cass

Este devolve datas, durações, medidas Este devolve datas, durações, medidas lineares e quantidadeslineares e quantidades

Construíram também código Construíram também código especializado para extrair nomes especializado para extrair nomes própriospróprios

1717

CASSCASS

1818

Extrair nomes própriosExtrair nomes próprios Classifica cada palavra em maiúsculas Classifica cada palavra em maiúsculas

como intrinsecamente capitalizada ou nãocomo intrinsecamente capitalizada ou não

Palavras não intrinsecamente Palavras não intrinsecamente capitalizadas são as que se encontram ao capitalizadas são as que se encontram ao início das frases ou em títulos e início das frases ou em títulos e cabeçalhoscabeçalhos

O extractor também usa várias heurísticas O extractor também usa várias heurísticas incluindo a consideração se as palavras incluindo a consideração se as palavras aparecem sempre capitalizadas da mesma aparecem sempre capitalizadas da mesma forma no resto do documentoforma no resto do documento

Classificação de entidadesClassificação de entidades

2020

ObjectivosObjectivos O conjunto candidato de respostas é uma O conjunto candidato de respostas é uma

lista de entidades que caem em várias lista de entidades que caem em várias categorias incluindocategorias incluindo– PessoasPessoas– LocalizaçõesLocalizações– OrganizaçõesOrganizações– QuantidadesQuantidades– DatasDatas– Medidas linearesMedidas lineares

As primeiras 3 categorias são obtidas a As primeiras 3 categorias são obtidas a partir da extracção de nomes própriospartir da extracção de nomes próprios

2121

Classificação de nomes Classificação de nomes própriospróprios

Os autores usaram métodos descritos Os autores usaram métodos descritos noutro artigo noutro artigo (“U(“Unsupervised models for nsupervised models for named entity classificationnamed entity classification”)”) para para classificar nomes próprios emclassificar nomes próprios em– PessoasPessoas– LocalizaçãoLocalização– OrganizaçõesOrganizações– OutrosOutros

Esses métodos envolvem (entre outras Esses métodos envolvem (entre outras coisas) saber se ao pé de cada nome existe coisas) saber se ao pé de cada nome existe “Sr.” (Pessoa), “Lda.” (Organização), etc.“Sr.” (Pessoa), “Lda.” (Organização), etc.

2222

Classificação de datasClassificação de datas

Todos os números com o aspectoTodos os números com o aspecto– 1###1###– 20##20##

foram considerados anosforam considerados anos

Usou-se o Cass para extrair Usou-se o Cass para extrair expressões mais complexas (e.g.: expressões mais complexas (e.g.: Sábado, 1 de Janeiro de 2000)Sábado, 1 de Janeiro de 2000)

2323

Classificação de Classificação de quantidadesquantidades

Quantidades incluem números simples e Quantidades incluem números simples e expressões numéricas comoexpressões numéricas como– Os três mosqueteirosOs três mosqueteiros– 9½ maçãs9½ maçãs– 27%27%

Identifica-se também a palavra (unidade) Identifica-se também a palavra (unidade) associada às expressões (e.g.: associada às expressões (e.g.: “mosqueteiros”, “maçãs”, “porcento”)“mosqueteiros”, “maçãs”, “porcento”)

Isto permite identificar respostas a Isto permite identificar respostas a perguntas como “Quantos eram os perguntas como “Quantos eram os mosqueteiros?”mosqueteiros?”

2424

Classificação de durações e Classificação de durações e medidasmedidas

São essencialmente casos especiais São essencialmente casos especiais das quantidades em que a unidade é das quantidades em que a unidade é temporal ou de medida lineartemporal ou de medida linear

E.g.:E.g.:– três anostrês anos– 6 horas e meia6 horas e meia– 225 milhões de quilómetros225 milhões de quilómetros– aproximadamente 360cmaproximadamente 360cm

2525

Outras classificaçõesOutras classificações

Isto não cobre todas as classificações Isto não cobre todas as classificações possíveispossíveis

Por exemplo, uma classificação de Por exemplo, uma classificação de valores monetários (e.g.: “25 milhões valores monetários (e.g.: “25 milhões de dólares”) já foi adicionada pelos de dólares”) já foi adicionada pelos autoresautores

Classificação da consultaClassificação da consulta

2727

ObjectivoObjectivo

Determinar por que categoria está a Determinar por que categoria está a consulta do utilizador a pedirconsulta do utilizador a pedir

E.g.:E.g.:– Quem é o autor do livro “O código Quem é o autor do livro “O código

DaVinci”?DaVinci”?

seria uma consulta da categoria seria uma consulta da categoria “Pessoa”“Pessoa”

2828

AbordagemAbordagem

Os autores, ao trabalhar na língua Inglesa, Os autores, ao trabalhar na língua Inglesa, usaram as seguintes regras para determinar usaram as seguintes regras para determinar a categoria da consulta:a categoria da consulta:

““Who”Who”, , “Whom”“Whom” Pessoa Pessoa ““Where”Where”, , “Whence”“Whence”, , “Whither”“Whither” Localização Localização ““How few”How few”, , “How great” “How great” , , “How little” “How little” , , “How “How

many” many” , , “How much”“How much” Quantidade (também Quantidade (também obtém a unidade para comparação posterior)obtém a unidade para comparação posterior)

2929

AbordagemAbordagem

““How long”How long” Duração ou medida linear Duração ou medida linear ““How tall”How tall”, , “How wide”“How wide”, , “How high”“How high”, , “How “How

big”big”, , “How far”“How far” Medida linear Medida linear ““Which”Which”, , “What”“What” extrai a “unidade” ou extrai a “unidade” ou

palavra associada e determina a categoria palavra associada e determina a categoria a partir daí; e.g.:a partir daí; e.g.:– ““What company is the largest Japanese ship What company is the largest Japanese ship

builder?”builder?” “company”“company”, Organização, Organização– ““What is the largest city in Germany?”What is the largest city in Germany?”

“city”“city”, Localização, Localização

3030

AbordagemAbordagem

Nas consultas sem estas palavras, Nas consultas sem estas palavras, e.g.:e.g.:– ““Name the largest city in Germany”Name the largest city in Germany”

usa um principio semelhante às usa um principio semelhante às consultas consultas “what”“what”

Às restantes consultas é atribuída a Às restantes consultas é atribuída a categoria genérica “Qualquer” categoria genérica “Qualquer” (Any)(Any), , que coincide com qualquer categoriaque coincide com qualquer categoria

Ordenação Ordenação (ranking)(ranking) de de entidadesentidades

3232

ObjectivoObjectivo

Atribuir pontuações às entidades Atribuir pontuações às entidades representando a crença que aquela representando a crença que aquela entidade é a resposta correcta à entidade é a resposta correcta à consultaconsulta

3333

PontuaçãoPontuação Existem três componentes para a pontuaçãoExistem três componentes para a pontuação

O componente mais significativo é se as O componente mais significativo é se as categorias da consulta e resposta são categorias da consulta e resposta são idênticas (a categoria “Qualquer” é idênticas (a categoria “Qualquer” é “idêntica” a qualquer outra categoria)“idêntica” a qualquer outra categoria)

Isto significa que respostas na mesma Isto significa que respostas na mesma categoria têm sempre pontuação acima das categoria têm sempre pontuação acima das respostas que não são na mesma categoriarespostas que não são na mesma categoria

3434

Pontuação: 2º componentePontuação: 2º componente Se a categoria da consulta é Data, e se ela Se a categoria da consulta é Data, e se ela

contém as palavras “dia” ou “mês”, o segundo contém as palavras “dia” ou “mês”, o segundo componente da pontuação ordena datas componente da pontuação ordena datas completas acima de anos; o inverso se a consulta completas acima de anos; o inverso se a consulta contém a palavra “ano”contém a palavra “ano”

Se a consulta é do tipo Se a consulta é do tipo “How many“How many unidadeunidade”, o ”, o segundo componente da pontuação ordena segundo componente da pontuação ordena respostas com a mesma unidaderespostas com a mesma unidade

Para outras consultas não existe segundo Para outras consultas não existe segundo componente da pontuaçãocomponente da pontuação

3535

Pontuação: 3º componentePontuação: 3º componente O terceiro e menos significativo componente da O terceiro e menos significativo componente da

pontuação é baseado na frequência e posição das pontuação é baseado na frequência e posição das ocorrências de uma dada entidade nos trechos ocorrências de uma dada entidade nos trechos obtidosobtidos

Os trechos que obtiveram maior pontuação no Os trechos que obtiveram maior pontuação no componente de recuperação de trechos têm 10 componente de recuperação de trechos têm 10 pontospontos

Qualquer ocorrência de uma entidade em qualquer Qualquer ocorrência de uma entidade em qualquer outro trecho conta 1 ponto (para comparação de outro trecho conta 1 ponto (para comparação de entidades, elas são normalizadas; e.g.: as datas são entidades, elas são normalizadas; e.g.: as datas são transformadas em AAAA-MM-DD)transformadas em AAAA-MM-DD)

Avaliação do sistemaAvaliação do sistema

TREC-8TREC-8

3737

Testes TREC-8Testes TREC-8

O sistema submeteu respostas a 198 O sistema submeteu respostas a 198 perguntas de teste que foram perguntas de teste que foram avaliadas posteriormente por seres avaliadas posteriormente por seres humanoshumanos

Foram feitas submissões de Foram feitas submissões de resultados com apenas as entidades, resultados com apenas as entidades, com trechos de até 50 bytes e com com trechos de até 50 bytes e com trechos de até 250 bytestrechos de até 250 bytes

3838

ResultadosResultados

Comprimento Comprimento médio da médio da respostaresposta

Resposta Resposta certa nas 5 certa nas 5 primeirasprimeiras

Pontuação Pontuação médiamédia

EntidadeEntidade 10,5 bytes10,5 bytes 46%46% 0,3560,356

Trecho ≤50Trecho ≤50 50 bytes50 bytes 38,9%38,9% 0,2610,261

Trecho ≤250Trecho ≤250 250 bytes250 bytes 68%68% 0,5450,545

3939

Exemplos de perguntas sem Exemplos de perguntas sem classificaçãoclassificação

What does the Peugeot company What does the Peugeot company manufacture?manufacture?

Why did David Koresh ask the FBI for Why did David Koresh ask the FBI for a word processor?a word processor?

What are the Valdez Principles?What are the Valdez Principles? What was the target rate for M3 What was the target rate for M3

growth in 1992?growth in 1992? What does El Nino mean in spanish?What does El Nino mean in spanish?

Opinião pessoalOpinião pessoal

(de Pedro Freire)(de Pedro Freire)

4141

AbrangênciaAbrangência

O título do artigo é muito O título do artigo é muito abrangente, mas o resultado não é abrangente, mas o resultado não é assim tão abrangenteassim tão abrangente

Isto não tira valor ao artigo! Mas há Isto não tira valor ao artigo! Mas há várias situações que ele não cobre...várias situações que ele não cobre...

4242

Não faz deduçõesNão faz deduções

O sistema assume que no seu O sistema assume que no seu universo de documentos, existem universo de documentos, existem frases (ou “trechos”) que serão frases (ou “trechos”) que serão respostas à consulta do utilizadorrespostas à consulta do utilizador– Isto nem sempre é assimIsto nem sempre é assim– E.g.: para responder à idade de uma E.g.: para responder à idade de uma

pessoa, o sistema não subtrai a data de pessoa, o sistema não subtrai a data de nascimento da data actualnascimento da data actual

4343

Não descobre perguntas Não descobre perguntas implícitasimplícitas

Embora o sistema seja adequado para uma Embora o sistema seja adequado para uma interface estilo “motor de pesquisa”, não interface estilo “motor de pesquisa”, não funciona em situações onde as perguntas funciona em situações onde as perguntas podem estar implícitas (e.g.: e-mails de podem estar implícitas (e.g.: e-mails de suporte)suporte)

E.g.: um utilizador frustrado pode enviar uma E.g.: um utilizador frustrado pode enviar uma mensagem simples “FTP não funciona” que mensagem simples “FTP não funciona” que tem a pergunta implícita “Como uso FTP?” ou tem a pergunta implícita “Como uso FTP?” ou “Como corrijo problemas de conectividade por “Como corrijo problemas de conectividade por FTP?”FTP?”

4444

Não responde a perguntas Não responde a perguntas elaboradaselaboradas

O slide anterior mostra outra questão O slide anterior mostra outra questão pertinentepertinente

Nem todas as perguntas se Nem todas as perguntas se respondem com uma frase/trechorespondem com uma frase/trecho– E.g.: “Como mudo óleo ao motor?”E.g.: “Como mudo óleo ao motor?”

Questões?Questões?