1
POCII - Métodos para Análise de Sentimentos Matheus Lima Diniz Araujo [email protected] Análise de Eventos no Twitter Todos os tweets de 2006 a 2009. (1.8 Bilhões) Eventos cobertos: Queda do AirFrance Inicio e Final das Olimpiadas Susan Boyle Eleições Americanas Virus H1N1 Harry Potter (Lançamento do último livro) “iFeel: A System that Compares and Combines Sentiment Analysis Methods” Araújo, Matheus and Gonçalves, Pollyanna and Benevenuto, Fabrício and Cha, Meeyoung. WWW, 2014. “Comparing and Combining Sentiment Analysis Methods”. Pollyanna Gonçalves, Matheus Araújo, Fabrício Benevenuto and Meeyoung Cha. COSN, 2013. “Measuring sentiments in online social networks”. Matheus Araújo, Pollyana Gonçalves, Fábricio Benevenuto. Webmedia, 2013. “Uma Abordagem Multilíngue para Análise de Sentimentos”. Julio Reis, Pollyanna Gonçalves, Matheus Araújo, Adriano Pereira, Fabricio Benevenuto Brasnam, 2015. Publicações Polaridade Média dos eventos no Twitter Datasets Rotulados iFeel 2.0 GoodBad News Prototype 2 4 Proposta de um Método Combinado Orientador: Fabrício Benevenuto Trabalhos Futuros Propor um novo método combinado, incorporando novas técnicas e Machine Learning. Explorar mais aplicações para análise de sentimentos: ○ Eleições Investimento Financeiro Análise de Torcidas Reality Shows 1 Aplicações Desenvolvidas Abordagem Multilíngue 6 7 Acesse o iFeel em: http://www.ifeel.dcc.ufmg.br 5 2 1 1 6 5 4 A tradução automática para a língua nativa do idioma é uma solução interessante. 13 Métodos Analisados 9 datasets de idiomas diferentes do inglês rotulados manualmente. ● Alguns métodos utilizando datasets traduzidos, superaram métodos nativos. iFeel 2.0: Utilizado por diversos pesquisadores da área. Analise de arquivos e textos em todos os métodos. Download de resultados em xml e xlsx. REST API, demonstração de uso em REST API em: http://www.ifeel.dcc.ufmg.br/api 7 Método Combinado Combina a saída de 8 diferentes métodos. Aproveita o melhor da acurácia e da cobertura dos métodos. Acima de 80% de precisão. Revisão e Comparação de 14 Métodos Necessidade de entender as abordagens e estabelecer bases de comparação. Busca por mais métodos existentes. Implementação e disponibilização de 14 métodos de análise de sentimentos no iFeel. Comparação em 20 diferentes datasets. Ranking based on Macro-F1 Vader 313 Opinion Lexicon 285 Stanford DM 221 SentiStrength 209 Emolex 185 Sentiment140 171 SASA 156 NRC Hashtag 156 SentWordNet 149 SenticNet 115 Happinness Index 111 Emoticons 53 PANAS-t 40 Comparação de Acurácia de 8 métodos 6 Datasets rotulados manualmente. Observa-se que os métodos são melhores em analisar mensagens positivas do que negativas. Falta de Emoticons

POC II [final]

Embed Size (px)

Citation preview

Page 1: POC II [final]

POCII - Métodos para Análise de Sentimentos Matheus Lima Diniz Araujo

[email protected]

Análise de Eventos no Twitter

Todos os tweets de 2006 a 2009. (1.8 Bilhões)Eventos cobertos:

○ Queda do AirFrance○ Inicio e Final das Olimpiadas○ Susan Boyle○ Eleições Americanas○ Virus H1N1○ Harry Potter (Lançamento do último livro)

“iFeel: A System that Compares and Combines Sentiment Analysis Methods”Araújo, Matheus and Gonçalves, Pollyanna and Benevenuto, Fabrício and Cha, Meeyoung.WWW, 2014.

“Comparing and Combining Sentiment Analysis Methods”.Pollyanna Gonçalves, Matheus Araújo, Fabrício Benevenuto and Meeyoung Cha.COSN, 2013.

“Measuring sentiments in online social networks”. Matheus Araújo, Pollyana Gonçalves, Fábricio Benevenuto. Webmedia, 2013.

“Uma Abordagem Multilíngue para Análise de Sentimentos”.Julio Reis, Pollyanna Gonçalves, Matheus Araújo, Adriano Pereira, Fabricio BenevenutoBrasnam, 2015.

Publicações

Polaridade Média dos eventos no Twitter Datasets Rotulados

iFeel 2.0 GoodBad News Prototype

2

4

Proposta de um Método Combinado

Orientador: Fabrício Benevenuto

Trabalhos Futuros● Propor um novo método combinado, incorporando

novas técnicas e Machine Learning.

● Explorar mais aplicações para análise de sentimentos:○ Eleições○ Investimento Financeiro○ Análise de Torcidas○ Reality Shows

1

Aplicações Desenvolvidas Abordagem Multilíngue

67

Acesse o iFeel em:http://www.ifeel.dcc.ufmg.br

521

16

5

4

A tradução automática para a língua nativa do idioma é uma solução interessante.

● 13 Métodos Analisados● 9 datasets de idiomas diferentes do inglês

rotulados manualmente.● Alguns métodos utilizando datasets

traduzidos, superaram métodos nativos.

iFeel 2.0:

● Utilizado por diversos pesquisadores da área.● Analise de arquivos e textos em todos os métodos. ● Download de resultados em xml e xlsx.● REST API, demonstração de uso em

REST API em:http://www.ifeel.dcc.ufmg.br/api

7

Método Combinado

● Combina a saída de 8 diferentes métodos.● Aproveita o melhor da acurácia e da cobertura dos métodos.● Acima de 80% de precisão.

Revisão e Comparação de 14 Métodos

● Necessidade de entender as abordagens e estabelecer bases de comparação. Busca por mais métodos existentes.

● Implementação e disponibilização de 14 métodos de análise de sentimentos no iFeel.

● Comparação em 20 diferentes datasets.

Ranking based on Macro-F1 Vader 313 Opinion Lexicon 285 Stanford DM 221 SentiStrength 209 Emolex 185 Sentiment140 171 SASA 156 NRC Hashtag 156 SentWordNet 149 SenticNet 115 Happinness Index 111 Emoticons 53 PANAS-t 40

Comparação de Acurácia de 8 métodos○ 6 Datasets rotulados manualmente.○ Observa-se que os métodos são melhores em

analisar mensagens positivas do que negativas.

Falta de Emoticons