REVISÃO DO MODELO DE GESTÃO DA QUALIDADE · Entidade Aferidora da Qualidade: O modelo de coleta de dados por meio de uma entidade independente, nos moldes atuais, traz dificuldades

REVISÃO DO MODELO DE GESTÃO DA QUALIDADE

Planejamento Estratégico

837ª Reunião do Conselho Diretor

Igor Vilas Boas de Freitas

Histórico sobre Gestão da QualidadeFixo - STFC

� Resolução Nº 30, de 1998 - Plano Geral de Metas de Qualidade – PGMQ 1.

� Resolução N.º 217, de 2000 - Regulamento de Indicadores de Qualidade – RIQ 1.

� Resolução N.º 341, de 2003 – Plano Geral de Metas de Qualidade – PGMQ 2.

� Resolução N.º 417, de 2005 – Regulamento de Indicadores de Qualidade – RIQ 2.

� Resolução nº 605, de 2012 - Regulamento de Gestão de Qualidade – RGQ.

TV por Assinatura - STVA

� Resolução nº 411, de 2005 - Plano Geral de Metas de Qualidade – PGMQ.

Móvel - SMP

� Resolução nº 317, de 2002 - Plano Geral de Metas de Qualidade – PGMQ.

� Resolução nº 575, de 2011 - Regulamento de Gestão da Qualidade – RGQ.

Banda Larga Fixa - SCM

� Resolução nº 574, de 2011 - Regulamento de Gestão da Qualidade – RGQ.

Modelo Atual• Variedade de indicadores, com metas únicas, consolidados por CN e UF;

• Prestadoras calculam e enviam resultados à Anatel (em geral), com certificaçãopor Organismo Certificador Credenciado;

• Nos indicadores de banda larga a EAQ mede, calcula e envia à Anatel, com baseem um modelo estatístico de probes (medidores);

• Os resultados são acompanhados mensalmente e publicados trimestralmente;

• Interrupções relevantes devem ser comunicadas à Agência e ao público e deveser feito o ressarcimento aos consumidores de todos os eventos;

• Todos os descumprimentos de metas e demais obrigações são apurados emProcesso de Apuração de Descumprimento de Obrigações – PADO;

• Pesquisas de satisfação e de qualidade percebida são realizadas e publicadas,em paralelo.

Regulamentação – Indicadores Tel. Móvel

Aplicabilidade: Prestadoras autorizadas com mais de 50 mil acessos, em localidades com mais de 180 dias de operação comercial. 9autorizadas.

Página da Qualidade no Site da Agência

Dados > Qualidade > Indicadores de Qualidade

� Informações sobre os regulamentos, indicadores e metas;

� Ranking de resultados de cumprimento de metas, nacional e por UF;

� Relatórios analíticos de resultados anuais;

� Relatório histórico de resultados, por serviço, empresa, indicador, região, mês.

Regulamentação – Indicadores Tel. Móvel

Aplicabilidade: Prestadoras autorizadas com mais de 50 mil acessos, em localidades com mais de 180 dias de operação comercial. 9autorizadas.

� Mapa e nº de ERBs por Município � Resultados da fiscalização mensal nos 5.570 municípios:

� Ranking dos Indicadores� Relatório histórico oficial

+ 350 milDownloads

Android, iOS, Windows Phone

www.anatel.gov.br > Dados > Qualidade > Telefonia Móvel

Página da Qualidade e Aplicativo “Anatel Serviço Móvel”

Medida Cautelar com prazos para patamares mínimos na telefonia móvel por município:

6 meses p/ município com uma prestadora; 9 meses município com duas; 15 meses, em todos

Despachos publicados no DOU em 29/04/2015

Resultados das medidas excepcionais

Compromissos de Abrangência

Exemplo dos conceitos de município, distritos, distrito sede e área urbana do distrito sede:

Russas – CE.

BASES DO PROCESSO

1

Subsídios� Experiência com o modelo atual, inclusive com ações recentes

� Pesquisa de Satisfação e Qualidade Percebida/ Reclamações

�Discussões com operadoras, entidades privadas de soluções de aferições, EAQ atual, Minicom, MPF, Senacom, TCU e CDUST

� Experiência de servidores em empresas de telecomunicações

� Recomendações TCU, audiências públicas / relações institucionais

� Recomendações UIT

� Consultoria contratada junto à UIT / Benchmark

� Experiências Aneel

� Estudos sobre a Teoria da Regulação Responsiva

DiagnósticoGranularidade: Os indicadores de qualidade são agregados por áreas que reúnem diversos municípios (CN, UF, área de atuação), o que acaba por dar maior peso às capitais e municípios com maior uso dos serviços em detrimento dos municípios com menor representação. Assim, os resultados de um determinado indicador podem não representar a experiência de uso dos usuários de municípios menores.Periodicidade: A periodicidade mensal de coleta e publicação dos indicadores mostrou-se inadequada para registrar variações reais nos patamares de qualidade, geradora de elevado custo operacional e insuficiente para possibilitar que as ações corretivas de mitigação dos ofensores surtam efeito.Quantidade, atualidade, uniformidade entre os serviços e foco dos indicadores de qualidade: A quantidade de indicadores (ao todo 53, considerando todos os serviços) não se encontra adequada. Dentre as razões que fundamentam este constatação entendemos que existem indicadores que com o decurso de tempo ou ficaram obsoletos ou não mais refletem a atual experiência de uso dos consumidores e nem sempre são compreendidos pelos usuários dos serviços. Além disso, apresentam inconsistências de um serviço para outro, por exemplo, com o estabelecimento de metas diferentes para indicadores idênticos, definições diferentes para um mesmo indicador dependendo do serviço, entre outras, carentes, portanto de uniformização.(...)Ausência de definições relativas às interrupções de serviço: A regulamentação vigente estabelece obrigações de comunicação e ressarcimento de interrupções. Contudo, não há uma uniformidade de regras de caracterização dos eventos de interrupções para os serviços, o que dificulta o acompanhamento e o entendimento dessas regras pelos consumidores.Comparabilidade dos dados: Os métodos de coleta, cálculo e consolidação dos atuais indicadores, em virtude de sua complexidade de composição, podem ocasionar interpretações diversas quanto à implementação desses mecanismos, necessitando, por isso, atualização e uniformidade para viabilizar melhor comparabilidade entre os resultados das prestadoras.Entidade Aferidora da Qualidade: O modelo de coleta de dados por meio de uma entidade independente, nos moldes atuais, traz dificuldades ao acesso aos resultados brutos das medições pela Anatel. Além disso, o atual modelo de coleta de dados baseado em sondas, probes e medidores, mostrou-se oneroso e limitado em termos de representatividade estatística e abrangência geográfica. Além disso, a dependência do atual modelo no voluntariado traz impactos à validade estatística das amostras devido à dificuldade de retenção dos voluntários.Modelo de comando e controle: Entende-se que a aplicação de sanções pecuniárias é ferramenta importante à disposição da Agência, mas sua aplicação como principal medida coercitiva não traz imediato impacto positivo aos consumidores. Ao contrário, pode vir a ocasionar o desvio do foco dos problemas para os ritos legais, gerando postergação do poder executório deste instrumento punitivo. Tanto que não se pode observar correlação entre o alto montante de sanções aplicadas e a melhoria da qualidade ao longo dos últimos anos.Comunicação com o consumidor final: Publicações difusas, com grande número de indicadores e a ausência de conclusões sobre a qualidade das empresas, dificultam sua compreensão pelos consumidores e suas ações posteriores.

Modelos Regulatórios

Viéstécnico/

detalhista atual

Viésexperiência/

princípios

Atuação baseada em riscos e evidênciasEmpoderamento dos consumidores

SLAs individuais nos contratosExperiência dos usuários

Atuação pré-estabelecida (regulamentada)Comando e controleEstabelecimento de metas/sançõesIndicadores técnicos

Fonte: Anatel, Consórcio ADVISIA

Desenhos teóricos da UIT e confirmados na avaliação prática, no Benchmark

Análise de Impacto Regulatório

Fonte: Anatel, Consórcio ADVISIA

Mon

itora

men

to e

con

trol

e

Ger

enci

a-m

ento

Foco da regulação

Relação individual

Qualidade geral do setor

Tipos de indicadores

Técnico (rede/exp)

Percepção

Híbrido

Composi-ção

Tratamento independente

Utilização da combinação

Dem

anda

s co

nsum

eris

tas

S/ receb. demandas individuais

Ouvidoria das operadoras

Anatel

Recepção das demandas

Entidade(s) comum(ns) ao setor

Foc

o do

s in

dica

dore

s

Forma

Controle e sancionamento

Híbrido (de acordo c/ critério)

Acomp. e publicação dados

Comp. de conflitos individuais

Consequência das demandas

Sanção

Divulgação de indicadores

Diretriz para ação regulatória

Foco do regulador

Conflitos individuais

Capacidade resp. da prestadora

Motivação das reclamações

Custeio do atendimento

Anatel

Prestadoras

Operadora

Regulador (coleta própria)

Por nível de competição

Por região

Entidade terceira

Por tamanho de empresa

Coleta e envio de dados

Critérios de aplicação das

regras

Semestral

Trimestral

Anual

Forma de avaliação

Frequência de consolidação e

publicação

Indicador a indicador

Desempenho global

Mensal

Forma de aplicação

Consequências automáticas

Conforme processo adm.

Híbrido

Híbrido

Foco do enforcement

Estímulo

Punição

Responsivo

Se estímulo

Acompanhamento flexível

Publicação de rankings

Híbrido

Se punição

Advertência-multa-suspensão

Compensação ao consumidor

Híbrido

A B

C D

D E

A B C D E

A B

D E

C

A B

C D E

A

B

C D

E

A E

B C D

D

E

A B C

A

B C D E

A B

C D E

A B C D

B D E

D

E

C D

B

A

A B

E

C D

D E

A B

C

E

A

B C D

B

D E

C

A B

D

C

DEBATE CONCEITUAL DO MODELO

2

O que é Qualidade?

Qualidade RequeridaQualidade Requerida

Qualidade Ofertada

Qualidade Ofertada

Qualidade Entregue

Qualidade Percebida

ITU-T Rec. G.1000 (11/2001)

Requerida: É uma declaração do nível de qualidadenecessário às aplicações de usuários ou consumidoresde um serviço.

Oferecida: É uma declaração do provedor de serviçossobre o nível de qualidade que se espera entregar aoconsumidor.

Entregue: É uma declaração do nível de qualidadeefetivamente entregue ao consumidor pelo provedor deserviços.

Percebida: É uma declaração do nível de qualidade queos consumidores acreditam ter experimentado.

UIT e ISSO 8402: “A totalidade de características de uma prestadora que lhe conferem sua habilidade de satisfazer necessidades explícitas e implícitas de seus consumidores”.

Modelo de Medição da Qualidade

Existem variáveis não mensuráveis.

Outros fatores além da qualidade influem na satisfação (preço, por ex.).

Comentários da Equipe:


Literatura: Cadeia de uso dos serviços pelos consumidores. * com variações/tradução livre.

Fontes: Maksen; MetricNet; Talkdesk; IFC; ICMI, ITU-T E.803; E.804

Rede

Relaciona-mento

Cobertura

Disponibilidade

Acessibilidade

Retenção

Integridade

Venda

Instalação e Reparo

Cobrança

Atendimento

Cancelamento

Qualidade do Serviço

Como medir a qualidade do serviço?Referência:

� Critérios para seleção de indicadores objetivos:

• Confiabilidade / Comparabilidade• Uso no mercado / Essencialidade• Inteligibilidade aos consumidores• Capacidade de diagnóstico/diferenciação


Modelo de Medição da QualidadeRede

Relacio_ namento

Cobertura Disponibilidade Acessibilidade Retenção Integridade

Venda Instalação e Reparo Cobrança Atendimento Cancelamento

Cobertura Disponibilidade Eficiência de Chamadas

Conexão de Dados

Cump. Vel. Contratada

Latência

Var de Latência (Jitter)

Perda de Pacotes

Velocidade Média

Experiência Aplicativos

Tempo Médio

Reclamações na Anatel

Tempo Méd. Espera

Tratamento Recl. Anatel

Não há Não há Não há


Como medir?

Indicadores InformativosÍndice de Qualidade do Serviço (IQS)

IND1 Reclamações na Anatel

IND2 Eficiência de Chamadas

IND3 Conexão de Dados

IND4 Cump. Veloc. Contratada

IND5 Latência

IND6 Var. de Latência (Jitter)

IND7 Perda de Pacotes

IND8 Disponibilidade

INF6 Mapa de CoberturaIND9 Cumprim. de Prazo

INF2 Tempo Espera Atendim

INF4 Velocidade Média

INF5 Exper Uso Aplicativos

INF3 Tratamento Recl. Anatel

Índice de Qualidade Percebida (IQP)

Reparo e Instalação

Canais de Atendimento

Atendimento Telefônico

Funcionamento

Cobrança e Recarga

Oferta e Contratação

Capacidade de Resolução

Medição Subjetiva Via Pesquisa com consumidores

Responsáveis: Prestadoras, via EAQ

Medição objetivaRelatórios de sistemas

Responsáveis: Prestadoras, via EAQ

Granularidade: UF, Periodicidade: AnualManual de Aplicação

Granularidade: Município, Periodicidade : SemestralManual Operacional (MOP) editado por GTQUAL

IND10 Disp. TUP Exclusivo

INF1 Tempo Inst/Rep/Mudanç

Produtos das medições

� Índice de Qualidade de Serviço dos Municípios com detalhamento dos resultados dos indicadores

� Índice de Qualidade Percebida das Ufs, com detalhamentos


� Mapa comparativo de cobertura (predição + medições reais dos consumidores) e de velocidade de conexões


� Informações técnicas transformadas para forma amigável aos consumidores, informando a qualidade para uso aplicações cotidianas

DIFERENTES PRESTADORAS

Como avaliar?� Ciclos Semestrais: avalia-se o conjunto da prestação: IQS municipal;� Cada INDx terá um valor mínimo, abaixo do qual se considera crítica e

inaceitável a qualidade do serviço. Portanto, haverá um IQS mínimo, idêntico para todo o País, acima do qual se formam faixas de conformidade por categoria do PGMC (1 a 4);

� Os limites mínimo e máximo das Faixas de Conformidade do IQS poderão variar de acordo com a categoria do PGMC, por questões técnicas e econômicas;

� Dentro da faixa a prestadora opera sem sanção ou bonificação;� A ação regulatória progressiva se inicia se uma prestadora apresenta IQS

abaixo da faixa de conformidade ou se qualquer INDX for registrado abaixo do valor mínimo;

� A prestadora será bonificada no município se ficar acima da faixa de conformidade da respectiva classe por 2 Ciclos Avaliativos consecutivos: deixa de ser acionada progressivamente durante 2 Ciclos Avaliativos consecutivos, mantendo a bonificação se voltar a apresentar IQS acima da faixa no Ciclo seguinte.

� Qualquer INDX abaixo do mínimo impede o alcance da bonificação;

Categorias de Municípios - SCM

Como avaliar?

� O IQS é calculado por município, por prestadora e para cada serviço

Cálculo do IQS

Notação Descrição Peso (wi ) Serviço

�� Reclamações na Anatel 1/8, 1/7, 1/3 e 1/3

SMP, SCM, STFC e TV

�� Eficiência de Chamadas (Acesso e Queda) 1/8 SMP

�� Conexão de Dados Medida na Rede de Acesso 1/8 SMP

�� Cumprimento da Velocidade Média Contratada 1/8 e 1/7 SMP e SCM

�� Latência da Conexão de Dados 1/8 e 1/7 SMP e SCM

�� Variação de Latência da Conexão de Dados 1/8 e 1/7 SMP e SCM

�� Perda de Pacotes da Conexão de Dados 1/8 e 1/7 SMP e SCM

�� Disponibilidade 1/8, 1/7, 1/3 e 1/3

SMP, SCM, STFC e TV

�� Cumprimento de Prazo de Instalação, Reparo e Mudança de Endereço

1/7, 1/3 e 1/3

SCM, STFC e TV

� Indicadores que fazem parte do cálculo do IQS

��

��

�� , �� ∈ ��,

�� , �� ∈ ��;

�� 10 !"#��

�$� �� ,

Cálculo do IQS

• Equação matemática

Onde: wi são são os pesos, e E( INDi ) é a função de escalonamento (normalizadora)

� Representação

Op. 1 Op. 2 ... Op. x

92% 84% 93% 96%

93% 85% 82%

89% 97% 97% 99%

97% 83% 84% 86%

95% 87% 84%

86% 90% 94% 96%

95% 92% 87% 80%

94% 93% 90%

94% 92% 88%

82% 93% 85% 84%

88% 92% 93% 86%

90% 83% 92%

81% 83% 77%

91% 92% 85% 86%

84% 85% 83%

89% 84% 88%

99%

77%

Indicador 8

Operadora

SMP

Op. 1 Op. 2 ... Op. x Op. 1 Op. 2 ... Op. x Op. 1 Op. 2 ... Op. x

Município 1 Classe 1 2% 13% 7% 3% 87% 85% 100% 97% 88% 95% 97% 93%

Município 2 Classe 1 8% 3% 10% 85% 91% 94% 88% 85% 86%













. . . Classe 4 20% 5% 12% 93% 82% 89% 81% 84% 75%

Município 5.570 Classe 4 18% 24% 22% 76% 80% 89% 80% 83% 83%

Valor mínimo

Valor máximo 99%

75%

24%

1%

100%

74%

Município ClasseOperadora

Indicador 1 Indicador 2

Operadora

Indicador 8

Operadora

Município 1 Classe 1














. . . Classe 4

Município 5.570 Classe 4

Valor mínimo

Valor máximo

Município Classe

Por ex.: SMP

Cálculo do IQS

• Passo 1 – normalizar todos os indicadores – transformar para a mesma escala de medida(entre 0 e 1) utilizando a função de escalonamento

� Cálculos dos IQS´s

��

�

��

�� , �� ∈ ��,

�� , �� ∈ ��;

Passo 1

Normalizar



Município 2 Classe 1 70% - 91% 61% 42% - 65% 77% 54% - 42% 46%



Município 5 Classe 2 65% 65% 91% - 85% 46% 65% - 42% 33% 29% -




Município 9 Classe 3 - 26% 70% 43% - 46% 77% 42% - 50% 33% 38%






. . . Classe 4 - 17% 83% 52% - 73% 31% 58% - 25% 38% 0%

Município 5.570 Classe 4 26% 0% - 9% 8% 23% - 58% 21% 33% - 33%

Valor mínimo

Valor máximo

0%

100% 100% 100%

0% 0%

Indicador 8

Operadora


Município ClasseOperadora Operadora















. . . Classe 4

Município 5.570 Classe 4

Valor mínimo

Valor máximo

Município ClasseOp. 1 Op. 2 ... Op. x

54% 83% 92% 75%

54% - 42% 46%

58% 71% 54% 42%

100% 58% 63% 71%

42% 33% 29% -

92% 29% 79% 8%

96% 79% 42% 79%

75% - 58% 25%

- 50% 33% 38%

83% 42% 25% 63%

88% 58% 63% 8%

83% 71% 38% -

25% - 33% 29%

42% 33% 25% 75%

- 25% 38% 0%

21% 33% - 33%

0%

100%

Indicador 8

Operadora

Passo 1

Normalizar










Município 9 Classe 3 - 26% 70% 43% - 46% 77% 42% - 50% 33% 38%






. . . Classe 4 - 17% 83% 52% - 73% 31% 58% - 25% 38% 0%

Município 5.570 Classe 4 26% 0% - 9% 8% 23% - 58% 21% 33% - 33%

Valor mínimo

Valor máximo

0%

100% 100% 100%

0% 0%

Indicador 8

Operadora


Município ClasseOperadora Operadora

Cálculo do IQS

• Passo 2 – Com a base de indicadores normalizada, calcular o IQS por municípios e operadora �� 10 !"#�

�

�$� �� ,

Passo 2

Calcular IQS por município e prestadora

Op. 1 Op. 2 ... Op. x

Município 1 Classe 1 70% 64% 76% 74%

Município 2 Classe 1 72% - 59% 65%



Município 5 Classe 2 62% 50% 55% -




Município 9 Classe 3 - 55% 51% 53%






. . . Classe 4 - 37% 44% 48%

Município 5.570 Classe 4 46% 27% - 53%

IQS

� Cálculos dos IQS´s (cont.)

Mediana

Passo 3Encontrar a mediana

para cada CLASSE

Classe 1 59%

Classe 2 55%

Classe 3 52%

Classe 4 46%

Cálculo do IQS

• Passos 3 – Calcular a mediana por classe utilizando todos os municípios da respectiva classe

Metas por classe

� Definição das metas por município e prestadora e posterior classificação

Passo 2

Calcular IQS por município e prestadora

Op. 1 Op. 2 ... Op. x









Município 9 Classe 3 - 55% 51% 53%






. . . Classe 4 - 37% 44% 48%

Município 5.570 Classe 4 46% 27% - 53%

IQS

Cálculo do IQS

• Proposta para estabelecimento das metas para os primeiros ciclos de medições:

� Definir um “base line” – limite técnico de condições mínimas de funcionamento do serviço;

� Estabelecer Faixa (2 limites) – por exemplos, 1º e 3º quartis, e não único ponto (mediana);

� A meta a ser estabelecida poderá dar direito a uma “bonificação” – por cada IQS que superá-la;

� Entraria no estágio de acompanhamento os IQS´s abaixo do 3º quartil, por exemplo.

� Definição das metas por município e prestadora e posterior classificação

1ºQ

3º Q

Mediana

Distribuição dos IQS´s da Classe 1




Região de conformidade

Região de acompanhamento



Classe 1 Classe 2 Classe 3 Classe 4Base line





O que fazer para promover os resultados?

� Foco na recuperação, ao invés do litígio

3Compensação em crédito x 3

Divulgação das Medidas Compensatórias3

Compensação em crédito x 3

Divulgação das Medidas Compensatórias

2Compensação em crédito x 2

Divulgação das Medidas Compensatórias2

Compensação em crédito x 2


1Compensação em crédito E Divulgação das

Medidas Compensatórias1

Compensação em crédito


Publicação de Ranking Publicação de Ranking Publicação de Resultados

A não recuperação, nos municípios, após o ciclo 3 e/ou o não cumprimento das Medidas Compensatórias configuram infração (Sanção)

Avaliação do Desempenho Global - UFAvaliação do Desempenho Municípios com

competição adequada (1 e 2 - PGMC)

Avaliação do Desempenho Municípios sem

competição adequada (3 e 4 - PGMC)

CONDIÇÕES DE CONFORMIDADE:

1

Avaliação entre (i) Suspensão de

vendas nos municípios com

competição adequada na UF; (ii)

Proposição de TAC de Ofício para

correção das causas

Manter IQS dentro da Faixa de Conformidade E Nenhum INDX abaixo do valor mínimoCumprir o IQS em XX% dos municípios

da UF.

Nota do IQP - Qualidade Percebida na UF acima de xx dá salvaguarda de 1 ano contra a Medida 1 na respectiva UF.

Outros mecanismos

� O não alcance do IQS no município será considerado descumprimento de obrigação contratual:

Art. 58. Rescindido o Contrato de Prestação de Serviço antes do final do prazo de permanência, a

Prestadora pode exigir o valor da multa estipulada no Contrato de Permanência, a qual deve ser

proporcional ao valor do benefício e ao tempo restante para o término do prazo de permanência.

.............................................................................................................................................................

“§ 2º. O não alcance dos itens de conformidade municipais estabelecidos no Regulamento de Qualidade dos Serviços de Telecomunicações – RQUAL - configura o descumprimento de obrigação contratual firmado entre prestadora e seus consumidores do respectivo município. (NR)”

� A Anatel mantém todas as suas prerrogativas de fiscalização e sancionamento advindas da Lei, podendo, inclusive, fazer uso de medidas cautelares.

Outros temas

� Proposta a obrigação de ter atendimento de 2º nível: Ouvidoria;

� Às Prestadoras de Pequeno Porte é facultado:

� Não observar as regras do novo modelo; � Observar plenamente (participa do GTQUAL, EAQ, incorre em todas as

obrigações e participa das publicações e ranking);� Observar parcialmente (calcula próprios resultados, não participa do GTQUAL,

EAQ, não tem as obrigações e não participa das publicações e ranking).

OBRIGADO A TODOS!!

BOA SORTE, ANATEL!!

Documents

REVISÃO DO MODELO DE GESTÃO DA QUALIDADE · Entidade Aferidora da Qualidade: O modelo de coleta de dados por meio de uma entidade independente, nos moldes atuais, traz dificuldades