Prospecção de opinião Prospecção de opinião com expressões de com expressões de

emoçãoemoçãoemoçãoemoçãoPaula Carvalho (FCUL/LASIGE)

Escola de Verão

Aspectos do Processamento da Linguagem Natural em portuguêsFerramentas e recursos existentes > investigação futura

29 de Junho ‐ 3 de Julho de 2009Centro de Linguística da Universidade do Porto (CLUP)

Prospecção automática de opiniãoProspecção automática de opinião

Referida na literatura como Sentiment Analysis ou OpinionMining (Pang & Lee, 2008), esta área do conhecimento tem porprincipal objectivo:

� O reconhecimento e a extracção automática de opiniões eemoções expressas num texto acerca de uma determinadaentidade e/ou tópico em análise.

� As opiniões reconhecidas são, geralmente, classificadas emtermos de orientação semântica ou polaridade (positiva,negativa, neutra) e intensidade.

2

3

A importância da prospecção de opinião A importância da prospecção de opinião na sociedadena sociedade

� A nível económico e institucional

� Empresas e organizações: Qual a opinião dos consumidoresrelativamente a um determinado produto ou serviço?

� Consumidores: Qual a opinião dos outros consumidoresrelativamente a um determinado produto ou serviço?

� A nível político� A nível político

� Entidades e partidos políticos: Qual a intenção de voto doseleitores? Qual a receptividade de uma determinada acção oumedida política pela comunidade?

� Eleitores: O que pensam os outros sobre umadeterminada entidade ou acontecimento político?

� A nível social

� Análise de tendências de opinião e processos de formação de opinião, identificação de comunidades...

4

A importância da prospecção de opinião A importância da prospecção de opinião em PLNem PLN

� Resposta automática a perguntas (QA)

Qual a reacção dos líderes parlamentares portugueses aos resultados das eleições europeias de 2009?

� Recuperação de informação (IR)

Opinião dos cibernautas acerca do Hyundai i30Opinião dos cibernautas acerca do Hyundai i30

� Sumarização automática

� Análise semântica (WSD)

� Síntese de texto expressivo (TTS)

� …5

Principais linhas de investigaçãoPrincipais linhas de investigação

� Recursos linguísticos para prospecção de opinião

� Criação de léxicos de termos subjectivos

� Especificação de regras léxico-sintácticas para detecção eclassificação de opinião

� Construção de corpora anotados

� Métodos e técnicas para classificação e extracção de opinião

� Aprendizagem automática (ML)

� Naïve Bayes

� SVM

� Maximum Entropy Classifier

� …

6

Recursos linguísticos para prospecção Recursos linguísticos para prospecção de opiniãode opinião

Léxicos

� General Inquirer (http://www.wjh.harvard.edu/~inquirer/)

� OpinionFinder Lexicon (http://www.cs.pitt.edu/mpqa/)

� SentiWordNet (http://www.sentiwordnet.isti.cnr.it/)

� Léxico do OPTIMISM (Silva et al., 2009, brevemente emhttp://xldb.di.fc.ul.pt/wiki/Optimism)

Corpora anotados

� MPQA Corpus – artigos de jornais (http://www.cs.pitt.edu/mpqa/)

� Cornel movie review dataset (http://www.cs.cornell.edu/people/pabo/movie-review-data/)

� Corpus do OPTIMISM – comentários a notícias (Sarmento et al. [submetido], brevemente em http://xldb.di.fc.ul.pt/wiki/Optimism)

7

Léxicos com informação de polaridadeLéxicos com informação de polaridade

Atributos especiais

� Polaridade (positivo, negativo, neutro)� Intensidade (gradação da polaridade)� Alvo (argumento sobre o qual recai a opinião)� ...

OpinionFinder Lexicon (amostragem)

priorpolarity=negativetype=strongsubj len=1 word1=aberration pos1=noun stemmed1=n

priorpolarity=positivetype=strongsubj len=1 word1=curious pos1=anypos stemmed1=y

OPTIMISM (amostragem)

aberração, N+Pred+Intr+Pol=-1+Alvo=N0

bem intencionado, ADJ+Pred+Intr+Pol=1+Alvo=N0

curioso, ADJ+Pred+Intr+Pol=0+Alvo=N0

desapontado, ADJ+Pred+Trans+Pol=-1+Alvo=N1

horrível, ADJ+Pred+Intr+Pol=1+Alvo=N0

priorpolarity=positivetype=strongsubj len=1 word1=curious pos1=anypos stemmed1=y

priorpolarity=negativetype=strongsubj len=1 word1=disappointed pos1=adj stemmed1=n

priorpolarity=positive type=strongsubj len=1 word1=well-intentioned pos1=adj stemmed1=n

priorpolarity=negativetype=strongsubj len=1 word1=horrible pos1=adj stemmed1=n

8

Léxicos com informação de polaridadeLéxicos com informação de polaridade

Atributos especiais

� Polaridade (positivo, negativo, neutro)� Intensidade (gradação da polaridade)� Alvo (argumento sobre o qual recai a opinião)� ...

OpinionFinder Lexicon

8.000 entradas

OPTIMISM

6.055 entradas (3.533 Adj; 2.522 N)� Positivas: 21,8%� Negativas: 55,5%� Neutras: 22,7%

8.000 entradas� Positivas: 33,1%� Negativas: 59,7%� Ambas: 0,3%� Neutras: 6,9%

9

Construção de recursos linguísticosConstrução de recursos linguísticos

Manual, automática e semi-automática

� Medidas estatísticas de associação de palavras (Turney & Litman, 2003)

� Informação acerca das relações lexicais entre palavras (Kim & Hovy,2004) e dos verbetes (Esuli & Sebastiani, 2005) em recursos como aWordnet.

� Restrições de co-ocorrência de palavras ou expressões (Hatzivassiloglou &� Restrições de co-ocorrência de palavras ou expressões (Hatzivassiloglou &McKeown, 1997)

inteligente [pos] e bem-formado [pos]

inteligente [pos] mas mal-formado [neg]

10

11

12

O papel do contextoO papel do contexto

� Negação

Não é uma história excelente > Negativo

Não deixa de ser uma história excelente> Positivo

� Aspecto

Ele é muito inteligente> Positivo

Ele hoje está muito inteligente > Negativo

� Modalidade

É possível que Sócrates esteja a dizer a verdade> Neutro

� Dependência entre constituintes

Não acredito que ele tenha mentido > Positivo

Não duvido que ele tenha mentido > Negativo

Ele hoje está muito inteligente > Negativo

13

Padrões léxicoPadrões léxico--sintácticossintácticos

� Riloff & Wiebe (2003)

way with <np>to ever let China use force to have its way with …

expense of <np>at the expense of the world’s security and stability

underlined <dobj>Jiang’s subdued tone … underlined his desire to avoid disputes …Jiang’s subdued tone … underlined his desire to avoid disputes …

� Silva et al. (2009)

Nhum Vasp* Prep? Vaux1 Art_ind Adjpos|neut Adjneg

O PM é um bompos mentirosoneg = Fneg

Artdef Adjpos|neut do|da|dos|das Nhum

O inteligentepos do Sócrates = GNneg

14

O papel do domínio/género textualO papel do domínio/género textual

� A polaridade das palavras ou expressões está intimamenterelacionada com o domínio e género textual em que as mesmasocorrem:

Trata-se de uma bela encenação > Positivo (dramaturgia)

Trata-se de uma bela encenação > Negativo (política)Trata-se de uma bela encenação > Negativo (política)

Sem dúvida que vai preferir ler o livro! > Positivo (literatura)

Sem dúvida que vai preferir ler o livro! > Negativo (cinema)

15

Crítica cinematográficaCrítica cinematográfica

� Na crítica cinematográfica, a atribuição de polaridade égeralmente feita ao nível do documento.

É a história verídica de Francisco de Mattos Lobo, pequeno burguês deprovíncia que foi o último português condenado a morrer enforcado,ex-seminarista perdido pela sua paixão cega pela tia viúva francesa. Eé uma boa história, deitada fora por inépcia pura e simples.Enumere-se: a incapacidade de estruturar minimamente umaEnumere-se: a incapacidade de estruturar minimamente umanarrativa que nunca se decide se quer ser tragédia romântica, filmede tribunal, painel social ou fresco histórico (mas sem meios para sernenhum deles); a introdução constante de personagens cujarelevância para a narrativa é inexistente (todo o episódio do criadomiguelista é perfeitamente supérfluo); a banalidade desajeitada deuma encenação perfeitamente televisiva (apesar da pretensãocinematográfica do écrã panorâmico); e, sobretudo, a sugestãoconstante de um mistério desfeita por um final abrupto que explicaque, afinal, não há segredo nenhum por trás deste crime de amor,apenas um truque barato e espertalhão que serve de engodo. Umequívoco.Crítica ao filme “O Último Condenado à Morte”, por Jorge Mourinha (Público) 16

Avaliação de produtosAvaliação de produtos

� Na avaliação de produtos, a atribuição de polaridade estágeralmente dependente dos tópicos mencionados nodocumento.

Muito incisivo e com uma direcção rápida e extremamente precisa oexcelente chassis do 159 permite-nos colocar o carro de curva emcurva com enorme facilidade e lidar com as suas potencialidades

dinâmicas. A suspensão garante boa estabilidade, qualidade maisdinâmicas. A suspensão garante boa estabilidade, qualidade maisevidente quando imprimimos andamentos vivos em estradas sinuosas, oque se torna difícil de resistir tal a envolvência dinâmica destemodelo... que nos leva a aumentar constantemente o ritmo. Emcontrapartida, o acerto firme da suspensão significa menor

capacidade de filtragem das irregularidades do piso e isso paga-secom menos conforto, o que para os mais ferrenhos da marca Italianapossa ser secundário. [...] No banco traseiro, o espaço não éreferencial mas suficiente para que dois adultos se sintam confortáveis.[...]AutoPortal (http://www.autoportal.iol.pt/testes-e-comparativos/testes/ensaio-ao-hyundai-i30-16-crdi-style-115cv) 17

Avaliação de produtosAvaliação de produtos

Muito incisivo e com uma direcção rápida e extremamente precisa oexcelente chassis do 159 permite-nos colocar o carro de curva emcurva com enorme facilidade e lidar com as suas potencialidades

dinâmicas. A suspensão garante boa estabilidade, qualidade mais

Veículo automóvel: direcção; suspensão; aerodinâmica; conforto; espaço;...

dinâmicas. A suspensão garante boa estabilidade, qualidade maisevidente quando imprimimos andamentos vivos em estradas sinuosas, oque se torna difícil de resistir tal a envolvência dinâmica destemodelo... que nos leva a aumentar constantemente o ritmo. Emcontrapartida, o acerto firme da suspensão significa menor

capacidade de filtragem das irregularidades do piso e isso paga-secom menos conforto, o que para os mais ferrenhos da marca Italianapossa ser secundário. [...] No banco traseiro, o espaço não éreferencial mas suficiente para que dois adultos se sintam confortáveis.[...]AutoPortal (http://www.autoportal.iol.pt/testes-e-comparativos/testes/ensaio-ao-hyundai-i30-16-crdi-style-115cv) 18

Comentários a notícias (UGC)Comentários a notícias (UGC)

� Neste tipo de textos, a atribuição de polaridade deve efectuar-seao nível da frase.

� Uma mesma frase pode compreender diferentes orientaçõessemânticas em função das entidades envolvidas e/ou tópicosretratados.

Muitos falam mal de mas bem lá no fundo as pessoas sabem

que ela é totalmente honesta e se não vai ter maioria absoluta,

ficará muito perto disso. O vai colapsar completamente em

guerras internas assim que os militantes virem o barco a bater

no fundo e perderem o medo. vai sair pela sarjeta.

Comentário anónimo referente à notícia «Líder do PSD promete renovação das listas dedeputados no Conselho Nacional» do Público Online, Nuno Simas, 23.06.2009

19

CGU (UGC) CGU (UGC) –– Desafios especiais ao PLNDesafios especiais ao PLN

� Presença de construções não gramaticais (frases inacabadas,problemas de concordância, etc.)

� Uso de palavras ou expressões não dicionarizadas(neologismos, erros ortográficos, abreviaturas, etc.)

� Nem sempre são respeitadas as convenções ortográficas dalíngua (por exemplo, uso indiscriminado delíngua (por exemplo, uso indiscriminado demaiúsculas/minúsculas)

� Ausência de marcas de fronteira de período frásico

� Recurso a caracteres especiais (por exemplo, :-D ou ;-)) e àpontuação “marcada” (por exemplo, “?!?!?!?!?!” ou“...............”) para exteriorização de emoções

20

CGU (UGC) CGU (UGC) –– ExemploExemplo

durão [durão] ADJ M S @SUBJ> fez [fazer] <fmc> V PS 3S IND VFIN @FMV muito [muito] <quant> DET M S @<ACC @>N bem [bem] <quant> ADV @<ADVL @>A em [em] PRP @<ADVL fugir [fugir] V INF @IMV @#ICL-P<de [de] PRP @<ADVS Portugal [Portugal] PROP M S @P< e [e] <co-fmc> <co-inf> KC @CO ir [ir] V INF @IMV ir [ir] V INF @IMV para [para] PRP @<ADVL um [um] <arti> DET M S @>N super [super] <*1> <n> ADJ M S @P< taxo [taxar] <fmc> <*2> V PR 1S IND VFIN @FMV em [em] <sam-> PRP @<ADVL a [o] <artd> <-sam> DET F S @>N UE [UE] PROP F S @P< . [.] PU <<<

Fragmento de um comentário à notícia «Líderes europeus apoiam recondução de Durão Barroso naComissão Europeia», publicada na edição online do Público, em 18.06.2009 . Texto processado peloPALAVRAS (http://beta.visl.sdu.dk/visl/pt/parsing/automatic/parse.php) 21

Construção de corporaConstrução de corpora

22

Construção semiConstrução semi--automática de um automática de um corpus anotado (experiência)corpus anotado (experiência)

� Colecção de 8.211 notícias extraídas do Público online e respectivoscomentários dos utilizadores a essas notícias (~250.000comentários, ~1 milhão de frases)

� Em média, cada comentário contém 4 frases

� Análise morfossintáctica dos comentários (POS, REM, polaridade)� Análise morfossintáctica dos comentários (POS, REM, polaridade)

� Aplicação de um pequeno conjunto de regras léxico-sintácticas paradetecção e classificação de opinião (4 padrões elementares)

� Propagação da polaridade às restantes construções do comentárioque mencionam a mesma entidade

“One sense per discourse” ... “uma polaridade por EM” ?

23

Construção semiConstrução semi--automática de um automática de um corpus corpus anotadoanotado (experiência)(experiência)

R1 [NE] [Vcop] [Artind] [Nhum] [A+/- ]

Sócrates é um político traiçoeiro

R2 [NE] [Vser] [Artind] [A+/- | N+/- ]

Menezes é um oportunista; MFL é uma desgraça

R3 [NE] [V ] [A+/-]

24

R3 [NE] [Vcop] [A+/-]

Sócrates está nervoso

R4 [Artdef] [A+/-] [do|da|dos|das] [NE]

O aldrabão do Sócrates

Negativos: ~ 90% precisão (692 casos) Positivos: ~ 60% precisão (364 casos)

Construção semiConstrução semi--automática de um automática de um corpus corpus anotadoanotado (experiência)(experiência)

25

Construção semiConstrução semi--automática de um automática de um corpus corpus anotadoanotado (experiência)(experiência)

Comer bem e dizer mal é manha de Portugal! “Todos os que por aqui dizem mal , talvez andem a "comer bem ". Mas , o que a Manuela e o PSD nãoesquece são aqueles que hoje em dia " não comemnada " porque têm sido esmagados pelas políticaspúblicas prosseguidas por um " encantador deserpentes " . A é uma técnica muito

26

serpentes " . A é uma técnica muitocompetente , não uma " encantadora de serpentes "que Vos encanta .”

Construção semiConstrução semi--automática de um automática de um corpus corpus anotadoanotado (experiência)(experiência)

Comer bem e dizer mal é manha de Portugal! “Todos os que por aqui dizem mal , talvez andem a "comer bem ". Mas , o que a e o PSD nãoesquece são aqueles que hoje em dia " não comemnada" porque têm sido esmagados pelas políticaspúblicas prosseguidas por um " encantador deserpentes " . A é uma técnica muito

27

serpentes " . A é uma técnica muitocompetente , não uma " encantadora de serpentes "que Vos encanta .”

Construção semiConstrução semi--automática de um automática de um corpus corpus anotadoanotado (experiência)(experiência)

28

IroniaIronia

Obrigado Sócrates por teres facilitado os despedimentos com essa "corajosa"revisão do Código do Trabalho! Qual Constituição qual quê?! Qual 25 de Abrilqual quê?! Sócrates, ajuda a que se façam mais despedimentos! ObrigadoConstâncio por teres o terceiro salário de Governador do Banco Central maiselevado do mundo! É isso que o Povo quer! Obrigado Sócrates por fazeresexactamente o contrário daquilo que pensa Manuel Alegre! Muito obrigado!Muito obrigado! Assinado: Bloco de Esquerda, CDU, CDS e PSD! Continua, OhSócrates a bater nos mais pobres e faz o favor de acabar com a classe média:ESSE GRANDE INVESTIMENTO NA TERCEIRA AUTO-ESTRADA LISBOA-PORTO,ESSE GRANDE INVESTIMENTO NA TERCEIRA AUTO-ESTRADA LISBOA-PORTO,SABENDO QUE AS OUTRAS DUAS TÊM UM TERÇO DOS CARROS A CIRCULARQUE PODIAM TER, É UMA JOGADA DE MESTRE! OBRIGADO JORGE COELHOPOR GERIRES TÃO BEM ESTES CONCURSOS DO TGV, AEROPORTO ETERCEIRA PONTE SOBRE O TEJO (QUE VAI SER TÃO FAVORÁVEL PARA OTRÁFICO DE DROGA ENTRE BARREIRO E CHELAS); OBRIGADO POR FAZERESDE LISBOA UM TERMINAL DE CONTENTORES POR ONDE ENTRARÁ GRANDEPARTE DA DROGA E DAS ARMAS! OBRIGADO POR AUMENTARES AS TARIFASDA LUZ (ONDE O PRESIDENTE É O SOCIALISTA PENEDOS); ÀGUA (MINISTRODO AMBIENTE); GASOLINA (GALP COM PINA+GOMES)

29

Pistas para detecção de ironiaPistas para detecção de ironia� Invocativo/Interpelação directa (ex. «Obrigado Sócrates», «Oh

Sócrates»)� Uso do demonstrativo na especificação da entidade (ex: «Acho que este

Constâncio ainda vai passar a ser arguido, se a Justiça funcionar.»)� Repetição de expressões (ex: «Muito obrigado! Muito obrigado!»)� Perguntas retóricas (ex: «Porque será que o PS se opõe ao sigilo

bancário? Afinal de que é que tem medo?»)� Formas diminutivas, tais como –(z)inho, -(z)ito, zeco, -óide (Ex: «Todos

juntinhos, miudinhos a quererem destruir a banca em Portugal»)juntinhos, miudinhos a quererem destruir a banca em Portugal»)� Aspas ou plicas para “conotar” um predicador potencialmente positivo

(ex: «Obrigado Sócrates por teres facilitado o despedimento com essa“corajosa” revisão do Código de Trabalho»)

� Uso de advérbios e outras expressões com carácter marcadamente

assertivo, tais como «obviamente», «claro está», «sim senhor»� Pontuação marcada (ex: «Qual Constituição qual quê?!»; Sócrates: não

desistas! Não te demitas!!!)� Emoticons e outras expressões indicativas de emoção (ex: LOL , ehehe)� Interjeições, tais como: Ah?!, Bem feito! Não diga? Como?!?!? Ora essa!

Ora! Livra! .... 30

Desafio...Desafio...

Não há como uma derrota eleitoral para que osdesçam à terra. A aterragem forçada tem efeitos psicológicosdevastadores, estando na origem de comportamentos políticosimprevisíveis e, por isso mesmo, surpreendentes.Quando perdeu as autárquicas de 2001, teveuma revelação. Descobriu o pântano, arrumou as malas e foipara casa.Dois anos depois aconteceu a mesma desgraça a ,Dois anos depois aconteceu a mesma desgraça a ,nas eleições europeias. Com a rapidez que o caracteriza,entendeu os sinais e zarpou para Bruxelas.O choque com a realidade, ou seja, com a derrota nas urnas,teve um efeito diferente em . Ganhou asas.

http://aeiou.expresso.pt/anjo-feroz=f52218531

ReferênciasReferências

Esuli, A., F. Sebastiani (2006) «Determining term subjectivity and term orientation for opinion mining». In Proceedings of the Conference of the European Chapter of the Association for Computational Linguistics (EACL’06), Trento, Italy.

Hatzivassiloglou, V., K. McKeown (1997) «Predicting the Semantic Orientation of Adjectives». In Proceedings of the 35th Annual Meeting of the Association for Computational Linguistics (ACL-97). Madrid, Spain.

Kim, S., E. Hovy (2006) «Extracting Opinions, Opinion Holders, and Topics Expressed in Online News Media Text». In Proceedings of ACL/COLING Workshop on Sentiment and Subjectivity in Text, Sydney, Australia.

Kim, S, E. Hovy (2007) «Crystal: Analyzing predictive opinions on the web». In Proceedings of the Joint Conference on Empirical Methods in Natural Language Processing and Computational Natural Language Learning.

Liu, B., M. Hu, J. Cheng «Opinion Observer: Analyzing and Comparing Opinions on the Web» In Proceedings of the 14th international World Wide Web conference (WWW-2005), May 10-14, 2005, in Chiba, Japan.

Morinaga, S., K. Yamanishi, K. Tateishi, T. Fukushima (2002) «Mining product reputations on the Web». In Proceedings Morinaga, S., K. Yamanishi, K. Tateishi, T. Fukushima (2002) «Mining product reputations on the Web». In Proceedings of the ACM SIGKDD Conference on Knowledge Discovery and Data Mining (KDD), 341–349.

Pang, B., L. Lee, S. Vaithyanathan (2002) «Thumbs up? Sentiment Classification Using Machine Learning Techniques». In Proceedings of the Conference on Empirical Methods in Natural Language Processing (EMNLP-2002), Philadelphia, USA.

Pang, B., L. Lee (2004). «A sentimental education: Sentiment analysis using subjectivity summarization based on minimum cuts». In Proceedings of the 42nd ACL, Barcelona, Spain.

Pang, B., L. Lee (2008) «Opinion Mining and Sentiment Analysis», In Foundations and Trends in Information Retrieval 2(1-2), pp. 1–135

Sarmento, L., P. Carvalho, M. Silva, E. Oliveira «Semi-automated Creation of a Reference Corpus for Opinion Mining in Social Meshes» [submetido: http://caai.cn:8080/nlpke09/]

Silva, M., P. Carvalho, L. Sarmento, E. Oliveira, P. Magalhães «The Design of OPTIMISM, an Opinion Mining System for Portuguese Politics». In Proceedings of EPIA’2009, Aveiro, Portugal, October, 12-15, 2009.

32

ReferênciasReferências

Riloff, E., J. Wiebe, W. Phillips (2005) «Exploiting Subjectivity Classification to Improve Information Extraction». In Proceedings of the 20th National Conference on Artificial Intelligence (AAAI-05), Pittsburgh, USA.

Thomas, M., B. Pang, and L. Lee (2006) «Get out the vote: Determining support or opposition from congressional floor-debate transcripts». In Proceedings of the Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 327–335.

Turney, P., M. Littman (2003) «Measuring praise and criticism: Inference of semantic orientation from association». In ACM Transactions on Information Systems, 21(4), 315-346.

Whitelaw, C., N. Garg, S. Argamon (2005) «Using Appraisal groups for sentiment analysis». In Proceedings of ACM SIGIR Conference on Information and Knowledge Management (CIKM 2005), Bremen, Germany.

Wiebe, J., R, Mihalcea (2006) «Word sense and subjectivity» In Proceedings of COLING/ACL’06, Sydney, AUS: Association for Computational Linguistics.Association for Computational Linguistics.

Wilson, T., J. Wiebe, P. Hoffmann (2009). Recognizing Contextual Polarity: an exploration of features for phrase-levelsentiment analysis. Computational Linguistics 35(3), pp. 1-34

Yu, H., V. Hatzivassiloglou (2003) «Towards answering opinion questions: Separating facts from opinions and identifying the polarity of opinion sentences». In Proceedings of EMNLP´03, Sapporo, Japan.

33