Matéria: Desenho e desenvolvimento de tecnologias linguísticasgamallo/aulas/MasterTecnologia/tema4.pdfDependências e semântica distribucional Advérbios Posição sintáctica Ambiguidade

Dependências e semântica distribucionalAdvérbios

Posição sintácticaAmbiguidade estrutural

RecursividadeErros gramaticais

Dificuldades da análise automática: Prácticas avançadas

Pablo Gamallo Otero

Departamento de Língua EspanholaUniversidade de Santiago de Compostela

Matéria: Desenho e desenvolvimento de tecnologiaslinguísticas

Mestrado em Linguística e as suas aplicações

Tecnologias Linguísticas Tema 4




Índice

1 Dependências e semântica distribucional

2 Advérbios

3 Posição sintáctica

4 Ambiguidade estrutural

5 Recursividade

6 Erros gramaticais





Índice


2 Advérbios



5 Recursividade

6 Erros gramaticais





Significado distribucional

Hipótese distribucional (Zellig Harris and J.R. Firth)As palavras com contextos similares têm significadossimilares

Há uma correlação entre similaridade distribucional(mesmos contextos) com similaridade semântica ou designificados.





Como inferimos o significado lexical?

I found a cute, hairy wampimuksleeping behind the tree

(Examplo de McDonald & Ramscar 2001)





Modelos vectoriais do significadoO significado das palavras pode representar-se mediante matrizes de co-ocorrênciasextraídas de grandes corpus textuais, onde cada linha é um vector representando umapalavra, e as dimensões é a informação contextual (co-ocorrências com outraspalavras, dependências sintácticas...)

< N_subj_run > < N_subj_eat > < red_mod_N >car 3 0 10

horse 7 15 0moto 6 0 7cat 12 9 0

Cuadro: Vectores de “car”, “horse”, “motorbike”, e “cat”





Tipos de modelos distribucionaisSingular Value Decomposition: Latent Semantics Analysis (Landauer, 1998)

Redes neuronais:

Representações estáticas: word embeddings, word2vec (Mikolov, 2013),embeddings de dependências, wordf2vec (Levy and Goldberg 2014)

Representações contextualizadas: Transformers (Devlin et al. 2019):

BERT, ELMO, GPT-3...

Modelos sintácticos contextualizadas: composicionais em constituintes (Baroni,

2013), composicionais em dependências (Gamallo 2019)

Gamallo Pablo and Stefan Bordag (2011) “Is Singular Value Decomposition Useful for Word SimilarityExtraction?” Language Resources and Evaluation, 45(2).

Gamallo, Pablo (2016) “Comparing explicit and predictive distributional semantic models endowed withsyntactic contexts”, Language Resources and Evaluation.

Gamallo, Pablo (2019) “A dependency-based approach to word contextualization using compositionaldistributional semantics”, Journal of Language Modelling.





Tipos de modelos distribucionaisSingular Value Decomposition: Latent Semantics Analysis (Landauer, 1998)

Redes neuronais:

Representações estáticas: word embeddings, word2vec (Mikolov, 2013),embeddings de dependências, wordf2vec (Levy and Goldberg 2014)

Representações contextualizadas: Transformers (Devlin et al. 2019):

BERT, ELMO, GPT-3...

Modelos sintácticos contextualizadas: composicionais em constituintes (Baroni,

2013), composicionais em dependências (Gamallo 2019)

Gamallo Pablo and Stefan Bordag (2011) “Is Singular Value Decomposition Useful for Word SimilarityExtraction?” Language Resources and Evaluation, 45(2).

Gamallo, Pablo (2016) “Comparing explicit and predictive distributional semantic models endowed withsyntactic contexts”, Language Resources and Evaluation.

Gamallo, Pablo (2019) “A dependency-based approach to word contextualization using compositionaldistributional semantics”, Journal of Language Modelling.





Índice


2 Advérbios



5 Recursividade

6 Erros gramaticais





Advérbios de quantidade

“ese neno é moi lindo”

“ese neno é hoxe lindo”





Advérbios de quantidade

“ese neno é moi lindo”

“ese neno é hoxe lindo”





Advérbios de quantidadeClasses lexicais

Ficheiro de configuração: classes_lexicais.conf

$Variável = lema1, lema2, lema3, ...

$Quant = moi, moito, menos, máis, pouco, bastante, enormemente, lixeiramente





Advérbios de quantidadeUso das classes lexicais

AdjnL: ADV<lemma:$Quant> ADJ%

AdjnR: VERB ADV%





Índice


2 Advérbios



5 Recursividade

6 Erros gramaticais





Posição não canónica

“aconteceu un accidente terríbel”





Posição não canónica

“aconteceu un accidente terríbel” (SUJEITO)





Índice


2 Advérbios



5 Recursividade

6 Erros gramaticais





Ambiguidade estrutural (1)Desambiguação

No parsing determinístico, escolhe-se sempre umainterpretação entre todas as possíveis.

“aconteceu un accidente terríbel na estrada”

“aconteceu un accidente terríbel de coche”







“aconteceu un accidente terríbel na estrada”

“aconteceu un accidente terríbel de coche”





Desambiguação

aconteceu_VERB un_DET accidente_NOUN terríbel_ADJ en_PRP a_DET estrada_NOUN

SubjR

CircR

aconteceu_VERB un_DET accidente_NOUN terríbel_ADJ de_PRP coche_NOUN

SubjRCprepR







“presidente do goberno con coleta”

“a filla da veciña de María”







“presidente do goberno con coleta”

“a filla da veciña de María”





Índice


2 Advérbios



5 Recursividade

6 Erros gramaticais





Pronomes relativos, verbos subordinados, aposições...

“A cativa que ten un gato xoga no parque”

“Marta pensa que o viciño é un político imputado”





Pronomes relativos, verbos subordinados, aposições...

“A cativa que ten un gato xoga no parque”

“Marta pensa que o viciño é un político imputado”





Estruturas recursivas

a cativa_NOUN que_PR ten_VERB un gato_NOUN xoga_VERB en_PRP o parque_NOUN

AdjnR

SubjL

SubjL

Marta_NOUN pensa_VERB que o viciño_NOUN é un político_NOUN imputado_ADJ

AdjnR

NexoR

SubjL





Índice


2 Advérbios



5 Recursividade

6 Erros gramaticais





Erros gramaticaisDetecção de erros gramaticais

Confusão subjunctivo/indicativo em subordinadas,confusão ser/estar, ir+a+infinitivo, etc.

“Quero que vienes”“Pepa está bombeira”“Vou a comer”

Regras com dependencias Err1R e Err2R





Erros gramaticaisDetecção de erros gramaticais

Confusão subjunctivo/indicativo em subordinadas,confusão ser/estar, ir+a+infinitivo, etc.

“Quero que venir+mod=S”“Pepa es bombeira”“Vou comer”

Regras com dependencias Err1R e Err2R


Documents

Matéria: Desenho e desenvolvimento de tecnologias linguísticasgamallo/aulas/MasterTecnologia/tema4.pdfDependências e semântica distribucional Advérbios Posição sintáctica Ambiguidade