2 ERC | III Conferência Anual, 2009 | António Salvador Ponto de Partida

2ERC | III Conferência Anual, 2009 | António Salvador

Ponto de Partida


Esta conclusão, do relatório em referência, remete

para uma questão inicial:

Qual a relevância das sondagens “políticas” no mundo

dos estudos de mercado e opinião?

Dinâmica criada pelas sondagens de opinião


O negócio das sondagens políticas e eleitorais

Para a maioria das empresas de estudos de mercado e opinião,

sobretudo as maiores, o negócio das sondagens “políticas” é

residual ou inexistente (em Portugal e em todo o mundo).

Não será este, no entanto, o caso de algumas empresas

credenciadas pela ERC (18, no total):

ERC e não APODEMO

APODEMO

Nº Empresas

Total Volume Facturação

(2008) (000€)

4.092 511

89.404

Empresas Credenciadas / Associadas

Média (000€)

8

29 3.083


E os inquéritos de opinião de cariz não eleitoral?

A Lei 10/2000, de 21 de Junho, limita a sua aplicação a sondagens e inquéritos relativos a assuntos de carácter eleitoral (mais do que político, como é habitual referir-se), o que empola a importância deste tipo de inquéritos de opinião.

Porquê?

É por ser necessário obter a informação sobre o peso

eleitoral dos candidatos de forma fidedigna e

inquestionável?


E os inquéritos de opinião de cariz não eleitoral?

Não faz sentido.

Neste caso, vai haver um

resultado nacional e

indesmentível na eleição.Porque não regular informação,

eventualmente importante para

a governação do país, sobre a

qual não vai existir informação

nacional e inquestionável?


Os resultados das sondagens influenciam o eleitor?

Só há uma explicação para a Lei 10/2000 limitar a sua aplicação a sondagens e inquéritos relativos a assuntos de carácter eleitoral: é para impedir que os resultados das sondagens possam influenciar, de forma distorcida, o voto dos eleitores.

Alguém alguma vez, incluindo a ERC, promoveu algum

estudo de carácter científico sobre a influência das

sondagens no comportamento eleitoral em Portugal?

Quanto mais não fosse, analisar o que lá fora se produziu de

científico sobre o assunto?



Aposto que a maioria dos políticos, jornalistas e demais comentadores acredita na tese do Bandwaggon (ter um score elevado nas sondagens faz ter mais votos).

Paulo Portas terá certamente sido, na sequência das eleições europeias, um dos grandes responsáveis pela existência desta comissão de diagnóstico sobre a situação das sondagens.



Também Santana Lopes parece seguir o mesmo raciocínio.



Mas só às vezes!


Como conhecer melhor o comportamento eleitoral?

Pegando neste célebre caso de Santana Lopes e João Soares,

não terá havido antes uma outra consequência, conhecida

como “abstenção por certeza de vitória”?

E o caso “Nuno Melo” nas eleições europeias, não poderia

ser um caso de underdog (o eleitor votar num candidato que

aparece demasiado fraco nas sondagens)?



Em princípio, devia ser fácil analisar estes fenómenos.

Vejamos, por exemplo, as eleições europeias.

Se o PS teve mais, em quase todas as sondagens, do que

veio a ter na eleição, deverá ter havido abstenção por

certeza de vitória.

No caso de Nuno Melo, era normal concluir-se por um caso

de underdog.

E podíamos analisar estas evoluções de cada vez que

houvesse eleições, se…



Se… estivéssemos a pensar bem.

Mas a generalidade da Comunicação Social, dos políticos e

dos demais intervenientes nestas temáticas perceberam

logo a verdadeira realidade. Afinal, não houve abstenções

por certeza de vitória nem underdogs, a verdadeira

explicação era bem menos sofisticada: eram as sondagens

que estavam todas erradas.

Porquê?


Sondagem e previsão

Porque a generalidade da Comunicação Social, dos políticos

e dos demais intervenientes nestas temáticas sabem muito

bem que a intenção de voto não varia nos quinze dias de

campanha eleitoral.

Logo, as sondagens deviam ter dado todas o PSD a ganhar e

Nuno Melo com os votos que veio a ter.

Os tipos das sondagens são uns brincalhões: só acertam nas

sondagens de boca-de-urna. Nas outras, andam a brincar

com o país.



Esta confusão entre sondagem e previsão é a verdadeira

razão porque estamos todos aqui.

E a maior fonte de prejuízo para a credibilidade das

empresas de sondagens.

Temos que nos entender: vamos começar por partir do

pressuposto de que, independentemente das hipotéticas

influências das sondagens sobre o comportamento eleitoral,

temos que proteger o eleitor de sondagens de má

qualidade?


Vamos proteger o eleitor

Partamos assim do pressuposto da protecção do eleitor. O que significa obrigar a que as sondagens sejam de qualidade.

Como se mede a qualidade de uma sondagem? Alguém sabe dizer? Sobretudo quando 6 empresas diferentes têm aproximadamente as mesmas metodologias e dão resultados diversos?

Só existe uma forma objectiva de avaliar uma sondagem: é através das sondagens de “boca-de-urna”.


Sondagens de “boca-de-urna”

in Correio da Manhã, 12 de Outubro 2009

O que, mesmo assim, parece nem sempre ser fácil….






PartidosSIC/Eurosondagem RTP/U. Católica TVI/Intercampus RESULTADOS

Previsão Desvio Previsão Desvio Previsão Desvio FINAIS

PSD 42,0 1,8 39,5 0,7 40,3 0,1 40,2

PS 37,4 0,4 38,5 0,7 38,0 0,2 37,8

PP 7,3 1,4 8,8 0,1 8,3 0,4 8,7

CDU 7,3 0,4 6,8 0,1 6,8 0,1 6,9

BE 2,7 0,0 3,5 0,8 2,9 0,2 2,7

4,0 2,4 1,0 média dos d.m.

Desv. Médio 0,8 0,5 0,2 0,5

Legislativas 2002



PSD 25,2 3,5 27,0 1,7 28,1 0,6 28,7

PS 48,8 3,7 47,0 1,9 46,2 1,1 45,1

PP 7,0 0,3 6,0 1,3 6,8 0,5 7,3

CDU 8,4 0,8 7,0 0,6 7,7 0,1 7,6

BE 7,0 0,6 7,0 0,6 6,4 0,0 6,4

8,9 6,1 2,3 média dos d.m.

Desv. médio 1,8 1,2 0,5 1,2

Legislativas 2005



Partidos

SIC/Eurosondagem RTP/U. Católica TVI/Intercampus RESULTADOS


PSD 28,8 0,3 27,0 2,1 28,3 0,8 29,1

PS 38,3 1,7 38,0 1,4 38,0 1,4 36,6

PP 8,8 1,7 10,0 0,5 10,1 0,4 10,5

CDU 7,6 0,3 8,5 0,6 7,5 0,4 7,9

BE 10,1 0,2 10,5 0,6 10,0 0,1 9,9

4,2 5,2 3,1 média dos d.m.

Desv. médio 0,8 1,0 0,6 0,8

Legislativas 2009



Europeias 2004

Partidos

SIC/Eurosondagem RTP/U. Católica TVI/Intercampus RESULTADOS


PS 46,0 1,5 45,0 0,5 44,7 0,2 44,5

PSD/PP 32,0 1,3 34,0 0,7 32,8 0,5 33,3

CDU 11,0 1,9 9,0 0,1 8,7 0,4 9,1

BE 6,0 1,1 5,0 0,1 5,8 0,9 4,9

5,8 1,4 2,0 média dos d.m.

Desv. médio 1,5 0,4 0,5 0,8



PSD 31,1 0,6 31,5 0,2 32,4 0,7 31,7

PS 29,6 3,0 30,5 3,9 26,1 0,5 26,6

PP 8,4 0,0 8,5 0,1 8,0 0,4 8,4

CDU 10,4 0,3 10,5 0,2 11,2 0,5 10,7

BE 12,5 1,8 10,5 0,2 11,3 0,6 10,7

5,7 4,6 2,7 média dos d.m.

Desv. médio 1,1 0,9 0,5 0,9

Europeias 2009



Autárquicas 2009CONCELHO PARTIDO SIGLA PARTIDO

Resultados oficiais

SIC RTP TVI

Lim

mínimoLimite

MáximoPM DV

Lim mínimo

Limite Máximo

PM DVLim

mínimoLimite

MáximoPM DV

LISBOA Lisboa com Sentido PPD/PSD.CDS-PP.MPT.PPM 38,7 36,9 41,1 39,0 -0,3 34,0 38,0 36,0 -2,7 34,7 40,3 37,5 1,2

110600 B.E. B.E. 4,6 3,9 6,1 5,0 -0,4 3,0 5,0 4,0 -0,6 3,0 5,6 4,3 0,3

CDU PCP-PEV 8,1 6,6 8,8 7,7 0,4 8,5 10,5 9,5 1,4 7,1 10,7 8,9 -0,8

PS PS 44,0 41,2 45,4 43,3 0,7 44,0 48,0 46,0 2,0 42,8 48,4 45,6 -1,6

1,8 6,7 3,9

PORTO B.E. B.E. 5,0 3,9 5,7 4,8 -0,2 4,0 6,0 5,0 0,0 3,3 6,9 5,1 0,1

131200 CDU PCP-PEV 9,8 7,9 10,1 9,0 -0,8 8,5 10,5 9,5 -0,3 7,8 11,4 9,6 -0,2

O Porto em Primeiro PPD/PSD.CDS-PP 47,5 43,3 47,1 45,2 -2,3 45,0 49,0 47,0 -0,5 44,9 50,5 47,7 0,2

PS PS 34,7 35,5 39,3 37,4 2,7 33,0 37,0 35,0 0,3 31,2 36,8 34,0 -0,7

6,0 1,1 1,2

MATOSINHOS Matosinhos merece Melhor PPD/PSD.CDS-PP 17,1 13,0 16,0 14,5 -2,6 11,9 16,5 14,2 2,9

130800 B.E. B.E. 2,7 2,0 4,0 3,0 0,3 1,4 4,0 2,7 0,0

PS PS 42,3 38,0 42,0 40,0 -2,3 38,0 43,6 40,8 1,5

CDU PCP-PEV 4,4 4,0 6,0 5,0 0,6 2,6 5,2 3,9 0,5

Narciso Miranda Matosinhos Sempre I 30,7 32,0 36,0 34,0 3,3 32,2 37,8 35,0 -4,3

9,1 9,2

OEIRAS MAIS OEIRAS PPD/PSD.CDS-PP.PPM 16,4 13,0 16,0 14,5 1,9 14,2 18,8 16,5 0,1

111000 Isaltino, Oeiras mais à Frente I 41,5 41,0 45,0 43,0 -1,5 40,0 45,6 42,8 1,3

B.E. B.E. 3,9 3,0 5,0 4,0 -0,1 2,4 5,0 3,7 -0,2

PS PS 25,8 25,0 29,0 27,0 -1,2 23,3 28,9 26,1 0,3

CDU PCP-PEV 7,3 6,0 8,0 7,0 0,3 5,0 8,6 6,8 -0,5

5,0 2,4

Média 4 concelhos

21,9 16,7

5,5 4,2

Média de 2 concelhos

7,8 7,8 5,1

3,9 3,9 2,6

Abstenção 41,0 36,3 39,9 38,1 -2,9 36,0 41,0 38,5 -2,5 38,0 43,0 40,5 -0,5



No caso das sondagens pré-eleitorais, vamos partir do

pressuposto que é possível avaliar a qualidade de uma

sondagem (chamem-lhe o que quiserem: precisão,

exactidão) através da comparação do seu resultado com o da

eleição 8 ou 15 dias mais tarde?

Aparentemente, toda a gente acha que sim.



Infelizmente, até o relatório da ERC agora proposto acha que

sim:



O próprio relatório em referência, em vários momentos,

estuda os “desvios” das sondagens face aos resultados

verificados, como se, de previsões se tratasse. E, para

cúmulo, sem cuidar de analisar o timing de realização do

trabalho de campo, comparando trabalhos de campo

realizados antes e depois do inicio da campanha eleitoral.

Fazer uma previsão (só conheço um caso em Portugal,

efectuado pelo Pedro Magalhães) é antecipar o resultado de

uma eleição, independentemente do que vier a acontecer

durante a campanha eleitoral. À semelhança de autores

americanos, PM fê-lo cerca de seis meses antes da eleição.



O que é muito diferente da medição da intenção de voto num

determinado momento (que é o objectivo das sondagens

pré-eleitorais).

As chamadas sondagens pré-eleitorais não podem ser um

bom avaliador da qualidade das sondagens, e quando

analisadas ou comparadas, deverão ser com base em

resultados brutos (sem ponderações por voto anterior,

redistribuição de indecisos, ou outros procedimentos que as

aproximam do conceito de previsão).



Sistematicamente, são

realizados “rankings”

para a melhor

sondagem (pré-

eleitoral) com base

nas menores

diferenças face ao

resultado efectivo

(o que, em teoria,

significaria que a

melhor sondagem pré-

eleitoral seria a que

não tivesse desvios…).



Conceitos

Fala-se muito, e o próprio relatório contribui para essa

confusão, sobre se os resultados com anulação de indecisos

são, ou não, uma “previsão”.

Distinguiria 3 conceitos diferentes:

1. Intenção de voto no momento – resultados brutos da

sondagem (com indecisos); diz o que se passa no momento;

2. Previsão – trabalho de modelização, de carácter científico, que pode ter, ou não, sondagens de intenção de voto na sua base; diz o que vai acontecer no futuro;


Conceitos

3. Extrapolação – resultados da sondagem (sem indecisos –

qualquer que seja o método); a não ser que se assuma que

se trata de uma previsão, esta extrapolação permite

comparar intenções de voto com um número diferente de

indecisos. Com efeito, para contornar esse problema, pode

anular-se os indecisos e compararmos só os votos expressos.

Há quem defenda que se trata “do resultado que teria

existido se as eleições fossem nesse dia”. O que já é mais

inteligente do que pensar que se trata do resultado que vai

acontecer daí a 10 dias.


Conceitos

No entanto, nem isso é verdade.

Porque se a eleição tivesse sido nesse dia, as pessoas

indecisas tinham pensado, pelo menos nas horas anteriores,

em como iriam votar. O que não fizeram, por não adivinhar

que o entrevistador lá ia a casa.

Supor que os indecisos não votam, ou que o seu voto se

repartirá como o dos “decididos”, pode implicar distorções

que são de evitar.


O erro

A margem de erro constante na ficha técnica, e

obrigatoriamente difundida pelos OCS, também não ajuda

nada.

Com efeito, a apresentação do erro não faz sentido. Por

várias razões:

1. Porque estamos a falar de um erro (de amostragem) que

não se pode aplicar às amostras que utilizamos.


O erro

Com efeito,

(a) parte da amostragem praticada não é probabilística (e o

erro de amostragem só se pode calcular nestes casos);

(b) mesmo nas amostras ditas “probabilísticas”, o erro só se

devia calcular se não houvesse recusas; o que é

virtualmente impossível.

2. Porque estamos a falar de um erro (de amostragem) que

não é o verdadeiro erro em que toda a gente pensa: o desvio

possível em relação aos valores apresentados.


O erro

Com efeito, quem é que entende o que é o erro de

amostragem? Ninguém, as pessoas pensam num erro global.

Ora, o erro global é o somatório do erro de amostragem e do

erro de medida. E este, não só é normalmente muito

superior ao primeiro, como não é mensurável.

Não é estar a levar as pessoas ao engano?


Amostra e erros de medida

“Aconselhar” as empresas a “reduzir os erros sistemáticos”

parece partir do pressuposto de que esses erros são fácil e

consensualmente detectáveis e elimináveis e que há assim

“erros” que as empresas de sondagens poderiam

facilmente detectar. E a verdade é que não são.


Erros de medida

Há dois aspectos especialmente importantes na realização de uma

sondagem de intenção de voto:

1. O modo como a pergunta é formulada

2. O local onde a pergunta é colocada


O erro

No entanto, o próprio relatório em referência continua a fazer

questão da presença deste elemento nocivo, quer por

cientificamente não fazer qualquer sentido, quer por reforçar

a ideia de previsão.


Conclusão

Terminaria, dizendo que estou convencido de que tem

havido omissão das questões essenciais e tem sido dada

demasiada importância ao acessório.

Como é o caso da enorme dificuldade, seguramente

reconhecida por todos, em medir a abstenção.

A questão da abstenção, embora crítica, não pode ser vista

como sendo possível de estimar através de uma sondagem.

Só com métodos previsionais (sondagem + modelo

cientifico). Mais uma vez, onde estão esses modelos?


Conclusão

(…)

(…)

No entanto, mais uma vez, o próprio relatório em referência

continua a fazer questão em prolongar as dificuldades


Conclusão

E como é o caso das casas decimais dos resultados.


Conclusão

O que, em nossa opinião, pode aumentar ainda mais a

confusão.

Por exemplo, no caso dos pequenos partidos, uma diferença

de 0,01% pode criar diferenças que não serão de todo

insignificantes.

Partido X

Partido Y

Dia d Dia d+7

4,49 % 4 % 4,5%

(+1) 4,50 % 5 % 4,49%

5 %

4 %

(+1)


Conclusão

Termino com uma sugestão.

Vamos usar as sondagens pré-eleitorais para conhecer

melhor o comportamento dos eleitores portugueses. Ou seja,

para estudar.

E não para criticar o que desconhecemos e não

compreendemos, ou, o que ainda é mais grave, para usar o

trabalho tão exigente de pessoas honestas com o objectivo

de proceder a manobras e jogos políticos – normalmente

oriundos dos políticos perdedores – que não contribuem em

nada para o desenvolvimento deste país.


Documents

2 ERC | III Conferência Anual, 2009 | António Salvador Ponto de Partida