NOTA TÉCNICA INTERGERENCIAL Nº 03/2017 RESPOSTA ÀS ... · audiência pública nº 18/2017 com fase presencial ocorrida em 09 de outubro de 2017. O objetivo da audiência pública

NOTA TÉCNICA INTERGERENCIAL Nº 03/2017

RESPOSTA ÀS CONTRIBUIÇÕES DA AUDIÊNCIA PÚBLICA N° 18/2017 REFERENTE AO PROJETO SUNSHINE (ProSun)

Gerência de Informações Economias (GIE) Coordenadoria Técnica de Regulação e Fiscalização Econômico-Financeira (CRE)

Gerência de Informações Operacionais (GIO)

Coordenadoria Técnica de Regulação Operacional e Fiscalização dos Serviços (CRO)

22 de dezembro de 2017

Agência Reguladora de Serviços de Abastecimento de Água e de Esgotamento Sanitário do Estado de Minas Gerais

2

PROCESSO GIE Nº 2015/13 Arsae-MG. Rod. Papa João Paulo II, nº 4001, Edifício Gerais, 12º andar. CEP 31630-901 - Belo Horizonte - MG

Tel.: (31) 3915-8133 / 3915-8119 / 3915-8112. Site: www.arsae.mg.gov.br

Diretoria Colegiada Gustavo Gastão Corgosinho Cardoso Gustavo Cunha Gibson Coordenadoria Técnica de Regulação e Fiscalização Econômico-Financeira (CRE) Rodrigo Bicalho Polizzi Coordenadoria Técnica de Regulação Operacional e Fiscalização dos Serviços (CRO) Raphael Castanheira Brandão Equipe técnica Gerência de Informações Economias (GIE) Samuel Alves Barbi Costa (Gerente) Luiza Vilela De Souza Lopes (Analista Fiscal e de Regulação) Ricardo Luiz Vilela de Castro (Analista Fiscal e de Regulação) Gerência de Informações Operacionais (GIO) Gizele Araújo Borba da Fonseca (Gerente) Misael Dieimes de Oliveira (Analista Fiscal e de Regulação)


3



SUMÁRIO

1 ANTECEDENTES ..................................................................................................................... 4

2 CONTRIBUIÇÕES RECEBIDAS NA SEÇÃO PRESENCIAL ............................................................... 4

2.1 Transparência na disponibilização dos dados do estudo ...................................................... 5

2.2 Mudança no grupamento dos municípios e nas variáveis explicativas em cada ciclo ......... 5

2.3 Fragilidade nos indicadores IN023 e IN024 para mensurar percentuais de atendimento ... 7

2.4 Defasagem temporal nos dados dos Snis .............................................................................. 7

2.5 Critérios para avaliação dos indicadores............................................................................... 8

3 CONTRIBUIÇÕES RECEBIDAS POR MEIO ELETRÔNICO .............................................................. 8

Proposta nº 1: Pré-divulgação aos prestadores .............................................................................. 9

Proposta nº 2: Modalidades de premiação e realização de auditoria .......................................... 10

Proposta nº 3: Inclusão do indicador IN058 .................................................................................. 11

Proposta nº 4: Inclusão do indicador Ph5 ..................................................................................... 13

Proposta nº 5: Substituição do indicador IN049 pelo IN051 ......................................................... 14

Proposta nº 6: Mudança de critérios de avaliação dinâmica ........................................................ 16

Proposta nº 7: Avaliação dinâmica do indicador IN082 ................................................................ 19

Proposta nº 8: Procedimentos de auditoria e de certificação ...................................................... 19

Proposta nº 9: Alteração do agrupamento do indicador IN009 .................................................... 21

Proposta nº 10: Alteração de terminologia ................................................................................... 23

Proposta nº 11: Inclusão de relatórios de avaliação individuais ................................................... 23

Proposta nº 12: Divulgação dos modelos de relatórios ................................................................ 25

Proposta nº 13: Alteração no indicador IN023 .............................................................................. 26



Proposta nº 16: Esclarecimentos sobre o indicador IN084 ........................................................... 31


Proposta nº 18: Alteração do agrupamento do indicador IN049 .................................................. 34

Proposta nº 19: Alteração na meta do indicador IN011 ............................................................... 37

Proposta nº 20: Alteração no plano de comunicação ................................................................... 38

4 CONSIDERAÇÕES FINAIS ...................................................................................................... 40

5 RECOMENDAÇÃO ................................................................................................................ 40

EQUIPE RESPONSÁVEL ................................................................................................................ 40

APÊNDICE A – Transcrição das contribuições recebidas na audiência pública ................................ 41


4



1 ANTECEDENTES A Agência Reguladora de Serviços de Abastecimento de Água e de Esgotamento Sanitário do Estado de Minas Gerais (Arsae-MG) realizou, no período de 23 de setembro de 2017 a 24 de outubro de 2017, audiência pública nº 18/2017 com fase presencial ocorrida em 09 de outubro de 2017. O objetivo da audiência pública foi dar transparência e colher contribuições sobre a metodologia de avaliação de municípios e de prestadores no âmbito do Projeto Sunshine (ProSun): Regulação por Exposição. A ideia essencial desse projeto é facilitar o acesso dos usuários, do poder público e dos demais interessados a informações sobre a qualidade dos serviços, promovendo um entendimento mais simplificado sobre questões que envolvem o setor de saneamento e incentivando a participação em discussões sobre o tema. Com a implementação da metodologia de avaliação pretende-se prover os usuários e demais interessados de um instrumento para avaliar os serviços prestados. A Nota Técnica Intergerencial nº 01/2017 teve por objetivo apresentar a metodologia de avaliação dos prestadores de serviços de abastecimento de água e de esgotamento sanitário regulados pela Arsae-MG por meio de indicadores e de metas de desempenho. Essa metodologia, também conhecida como Regulação Sunshine, visa elevar a transparência e o controle social sobre os serviços de abastecimento de água e de esgotamento sanitário no estado de Minas Gerais, traduzindo os resultados de uma lista de indicadores selecionados em sinais de simples interpretação. Esta Nota Técnica Intergerencial nº 03/2017 apresenta as contribuições recebidas pela Arsae-MG seguidas das respectivas respostas. As contribuições recebidas na seção presencial estão descritas no item 2 e aquelas recebidas pelo endereço eletrônico no item 3.

2 CONTRIBUIÇÕES RECEBIDAS NA SEÇÃO PRESENCIAL A fase presencial da audiência pública foi realizada em nove de outubro de 2017, às 14 horas, no plenário do 9º andar do Edifício Gerais, situado na Cidade Administrativa de Minas Gerais (Rodovia Papa João Paulo II, nº 4001, Belo Horizonte). Os pontos chave de cada contribuição recebida foram analisados e respondidos individualmente ao longo dos itens 2.1 a 2.5. Em cada item foi feita a remissão aos autores das sugestões, questionamentos ou reclamações. As manifestações e as respostas da Arsae-MG estão transcritas na íntegra no APÊNDICE A – Transcrição das contribuições recebidas na audiência pública. A gravação de áudio da audiência pública será disponibilizada no site da Arsae-MG. As contribuições recebidas na audiência pública estão resumidas no Quadro 1.


5



Quadro 1: Contribuições recebidas na audiência pública nº 18/2017

Proponente Instituição Assunto Item com a análise

Parecer da Arsae-MG

Maristela Soranço Miranda

Cesama Transparência na disponibilização da nota técnica e material audiovisual

apresentados. 2.1

Respondido durante a

audiência pública

Elisângela Martins de

Oliveira Copasa

Mudança no grupamento dos municípios e seleção de variáveis

explicativas em cada ciclo. 2.2


audiência pública

Ronaldo de Melo César

Júnior Copasa

Fragilidade nos indicadores IN023 e IN024 para mensurar percentuais de

atendimento. 2.3


audiência pública

Raquel Lara Braga

Prefeitura de Belo

Horizonte

Defasagem temporal nos dados do Snis.

2.4 Respondido durante a

audiência pública

Raquel Lara Braga

Prefeitura de Belo

Horizonte

Critérios para avaliação dos indicadores por municípios.


audiência pública

Raquel Lara Braga

Prefeitura de Belo

Horizonte

Avaliação dos indicadores IN023 e IN024 em municípios com dupla

concessão. 2.3


audiência pública

Raquel Lara Braga

Prefeitura de Belo

Horizonte

Critérios para avaliação dos indicadores.


audiência pública

Denise Helena França

Marques Maia

Fundação João

Pinheiro

Fragilidade nos indicadores IN023 e IN024 para mensurar percentuais de

atendimento. 2.3


audiência pública

2.1 Transparência na disponibilização dos dados do estudo Será disponibilizado pela Arsae-MG, em seu sítio eletrônico www.arsae.mg.gov.br, a Nota Técnica nº 01/2017, o arquivo referente à apresentação durante a audiência pública e a base de dados utilizada no processo metodológico. Essa base de dados contemplará os valores de cada indicador, grupos de avaliação e a classificação do município na categoria satisfatório, insatisfatório ou moderado.

2.2 Mudança no grupamento dos municípios e nas variáveis explicativas em cada ciclo O 1º Ciclo de Avaliação dos serviços de abastecimento de água e de esgotamento sanitário de prestadores/municípios do estado de Minas Gerais corresponde a um período de quatro anos, fundamentado nos dados do Sistema Nacional de Informações sobre Saneamento (Snis) amostrados no período de 2015 a 2018 e publicados de 2017 a 2020, respectivamente. As etapas desse 1º ciclo de avaliação estão dispostas na Figura 1. As regras de formação de grupos de municípios e as metas de cada um dos oito indicadores serão mantidas fixas durante o 1º ciclo de avaliação. Entretanto, é possível que alguns municípios sejam realocados para outros grupos, com outras metas. Isso ocorrerá caso as condições de contexto para determinado indicador sejam alteradas. Caso as condições de contexto tornem-se mais favoráveis a um bom desempenho em determinado indicador, é possível que um município seja realocado para um grupo com metas mais rígidas, por exemplo. Da mesma forma, caso as condições de contexto tornem-se menos favoráveis, o município pode ser realocado para um grupo com metas mais flexíveis. Porém, em ambas as situações, nem o ponto de corte para definição dos grupos nem as metas serão alteradas.

http://www.arsae.mg.gov.br/


6



Figura 1: Etapas do 1º Ciclo de Avaliação (quadriênio 2017-2020)

Considere como exemplo o índice de perdas na distribuição (indicador IN049) de um município que no primeiro ano de avaliação (dados de 2015) se enquadre no grupo G1A. Esse município possui população urbana atendida com abastecimento de água (AG026) menor que 22.360 habitantes e declividade média (AR015) menor que 7,97%. Se futuramente a população urbana atendida deste município aumentar e ultrapassar 22.360 habitantes (condição menos favorável para redução do índice de perdas), ele será enquadrado automaticamente no grupo G2A. Consequentemente, as metas a serem alcançadas serão atualizadas para as do G2A (mais flexíveis). No Quadro 2 são apresentadas as regras para a formação dos grupos para o indicador IN049 durante o 1º ciclo de avaliação do Prosun. Quadro 2: Regras de agrupamento de municípios/prestadores para o indicador IN049

Primeira variável de agrupamento Limite de

corte Segunda variável de agrupamento

Limite de corte Grupo

AG026: População urbana atendida com abastecimento de água (habitantes)

< 22.360 AR015: Declividade (%) < 7,97 G1A

AR015: Declividade (%) ≥ 7,97 G1B

AG026: População urbana atendida com abastecimento de água (habitantes)

≥ 22.360 AR015: Declividade (%) < 11,49 G2A

AR015: Declividade (%) ≥ 11,49 G2B

As metas propostas para o indicador IN049 são apresentadas no Quadro 3. Quadro 3: Metas propostas para o indicador IN049

Grupos

Metas segundo categoria de avaliação estática

Insatisfatório Moderado Satisfatório

Grupo 1A > 23% > 17% e ≤ 23% ≤ 17% Grupo 1B > 27% > 21% e ≤ 27% ≤ 21% Grupo 2A > 34% > 28% e ≤ 34% ≤ 28% Grupo 2B > 41% > 33% e ≤ 41% ≤ 33%

A partir de 2020, com o término do 1º Ciclo de Avaliação, as “regras do jogo” poderão ser revistas, ou seja, novas metas e regras de agrupamentos poderão ser definidas.


7



2.3 Fragilidade nos indicadores IN023 e IN024 para mensurar percentuais de atendimento Foram expostos dois vieses em relação aos indicadores de atendimento de água e de esgotamento sanitário IN023 e IN024, respectivamente. O primeiro deles diz respeito aos indicadores de atendimento considerarem apenas o percentual da população realmente atendida com o serviço, desconsiderando os usuários que têm a rede de abastecimento de água ou coletora de esgoto disponível e que, por motivos diversos, não se conectaram, diminuindo, portanto, o percentual de atendimento. O segundo viés diz respeito à forma de cálculo desses dois indicadores no Snis. Em ambos, o denominador considera a população urbana total do município estimada pelo Instituto Brasileiro de Geografia e Estatística (IBGE) (informação código POP_URB). Esta informação considera todo o município e não apenas a área urbana sob concessão do prestador. Como resultado, quando há dois ou mais prestadores no mesmo município, a população urbana (denominador) é superestimada e o indicador é subestimado. No entanto, deve-se considerar que a utilização de indicadores oriundos de uma base de dados aberta, disseminada e reconhecida em todo o setor de saneamento e cujos critérios de criação dos indicadores são idênticos, torna a comparabilidade dos estudos do Prosun mais justa. Além disso, a Arsae-MG não dispõe de dados dos outros prestadores para ajustar o cálculo dos indicadores IN023 e IN024, e assim não distorcer o resultado da análise. A Arsae-MG reitera que foi realizada sugestão ao Ministério das Cidades para que o Sistema Nacional de Informações Sobre Saneamento Básico (Sinisa) inclua informações que caracterizem apenas a população na área de concessão, e assim permitir o cálculo de indicadores desagregados. Também foi sugerida a inclusão de informações que quantifiquem ligações factíveis (com rede à disposição, mas sem conexão). Enquanto isso não ocorre, a Arsae-MG optou por não realizar avaliação dos indicadores IN023 e IN024 quando forem identificados casos de múltipla prestação de serviços nos dados do Snis para que os prestadores não sejam avaliados injustamente.

2.4 Defasagem temporal nos dados dos Snis O Prosun é um projeto que se baseia na metodologia conhecida como Regulação Sunshine, que visa elevar a transparência e o controle social sobre os serviços de abastecimento de água e de esgotamento sanitário no estado de Minas Gerais, traduzindo os resultados de uma lista de indicadores obtidos através de uma base de dados única e de acesso livre a toda a população (SNIS), em sinais de simples interpretação. A utilização de indicadores oriundos de uma base de dados aberta, disseminada e reconhecida em todo o setor e cujos critérios de criação dos indicadores são idênticos, torna a comparabilidade dos estudos do Prosun mais justa. Por isso, a coleta de informações próprias do prestador inviabilizaria o propósito desse projeto. A Arsae-MG reconhece a defasagem temporal nos dados do Snis, contudo, estima-se que com a implantação do Projeto Acertar (projeto de certificação e auditoria de informações) nos próximos quatro ou cinco anos mitiguem esse problema no âmbito do Sinisa. Ademais, o uso dos dados de Snis, uma fonte pública de informações de saneamento, permite a realização de benchmarking interno entre as várias regiões do país e até externamente. Essa possibilidade vem sendo estudada pelos integrantes do Prosun que visam ampliar as fronteiras de estudo desse projeto.


8



2.5 Critérios para avaliação dos indicadores Para garantir níveis mínimos de precisão e de exatidão na avaliação do Prosun, os indicadores IN049 (índice de perda na distribuição) e IN084 (incidência das análises de coliformes totais fora do padrão) possuem pré-requisitos específicos para melhor avaliar o valor dos indicadores do Snis. Para o indicador IN049 considerou-se que somente será avaliado o indicador nos casos em que os prestadores/municípios apresentarem, simultaneamente, valores de IN009 (Índice de hidrometração) e de IN011 (índice de macromedição) maiores ou iguais a 90%. Esse critério foi utilizado para garantir que os níveis de perda informados no Snis apresentem maiores chances de representar a realidade dos municípios devido ao alto nível de micromedição e macromedição dos serviços. Mesmo quando o município/prestador informar o indicador IN049 e apresentar IN009 e/ou IN011 menor que 90%, o indicador de perdas não será avaliado. Em relação ao IN084 observou-se que na avaliação da qualidade de água segundo a Portaria do Ministério da Saúde, além de valores máximos, também são estabelecidos números mínimos de amostras para aferição do seu cumprimento. Para evitar que o indicador IN084 seja avaliado com base em um número de análises muito aquém do exigido, considerou-se o indicador IN084 só será avaliado quando o indicador “IN085: Índice de conformidade da quantidade de amostras - coliformes totais” for igual ou maior que 100%. Caso o valor de IN085 seja inferior, o município/prestador não será avaliado (categoria branca).

3 CONTRIBUIÇÕES RECEBIDAS POR MEIO ELETRÔNICO O período de contribuições da audiência pública ocorreu no período de 23 de setembro a 24 de outubro de 2017, por meio do endereço eletrônico [email protected]. Os pontos chave de cada contribuição recebida foram analisados e respondidos individualmente. Um resumo das contribuições é apresentado no Quadro 4. As contribuições foram provenientes de dois proponentes. O primeiro grupo refere-se a contribuições realizadas por Rita Cavaleiro de Ferreira, coordenadora do Projeto de Eficiência Energética em Sistemas de Abastecimento de Água (ProEESA), e por André Braga Galvão Silveira, Analista de Infraestrutura do Departamento de Planejamento e Regulação – Secretaria Nacional de Saneamento Ambiental / Ministério das Cidades. Na sequência, foram recebidas contribuições de João Henrique Soares do Couto, Superintendente de Faturamento e Regulação da Companhia de Saneamento Básico de Minas Gerais (Copasa).

mailto:[email protected]


9



Quadro 4: Contribuições recebidas durante o período de consulta pública Proponente Proposta Parecer da Arsae-MG

ProEESA Proposta nº 1: Pré-divulgação aos prestadores Deferida parcialmente ProEESA Proposta nº 2: Modalidades de premiação e realização de auditoria Indeferida ProEESA Proposta nº 3: Inclusão do indicador IN058 Indeferida ProEESA Proposta nº 4: Inclusão do indicador Ph5 Indeferida ProEESA Proposta nº 5: Substituição do indicador IN049 pelo IN051 Indeferida ProEESA Proposta nº 6: Mudança de critérios de avaliação dinâmica Indeferida ProEESA Proposta nº 7: Avaliação dinâmica do indicador IN082 Indeferida ProEESA Proposta nº 8: Procedimentos de auditoria e de certificação Indeferida ProEESA Proposta nº 9: Alteração do agrupamento do indicador IN009 Deferida ProEESA Proposta nº 10: Alteração de terminologia Deferida ProEESA Proposta nº 11: Inclusão de relatórios de avaliação individuais Indeferida ProEESA Proposta nº 12: Divulgação dos modelos de relatórios Indeferida Copasa Proposta nº 13: Alteração no indicador IN023 Deferida parcialmente Copasa Proposta nº 14: Alteração no indicador IN024 Deferida parcialmente Copasa Proposta nº 15: Alteração no indicador IN016 Deferida Copasa Proposta nº 16: Esclarecimentos sobre o indicador IN084 Deferida Copasa Proposta nº 17: Alteração no indicador IN082 Indeferida Copasa Proposta nº 18: Alteração do agrupamento do indicador IN049 Indeferida Copasa Proposta nº 19: Alteração na meta do indicador IN011 Indeferida Copasa Proposta nº 20: Alteração no plano de comunicação Deferida

Proposta nº 1: Pré-divulgação aos prestadores

Texto original

§ 3º A avaliação dos dados do ano de 2015 será realizada como uma etapa de teste, sendo os resultados divulgados em duas etapas. § 4º Na primeira etapa os resultados serão divulgados apenas entre os prestadores regulados que foram avaliados; § 5º Na segunda etapa os resultados serão divulgados de forma irrestrita;

Redação proposta

§ 4º Na primeira etapa os resultados serão divulgados apenas entre os prestadores regulados que foram avaliados, que poderão manifestar-se em relação à avaliação e aos dados fornecidos que conduziram a essa avaliação. § 5º O regulador poderá reavaliar as avaliações seguido de novos elementos, desde que devidamente justificados. § 6º Na segunda etapa os resultados serão divulgados de forma irrestrita;

Observações

Considera-se que os prestadores de serviço devem ter um conhecimento prévio das avaliações resultantes da informação prestada, assim como a possibilidade de manifestar discordâncias (Contraditório). Este diálogo promove um melhor apuramento dos dados no próximo ciclo e também constitui um momento importante de participação no processo.


10



Avaliação da Arsae-MG A divulgação restrita dos resultados apenas para os prestadores de serviços na primeira etapa de avaliação dos dados de 2015 foi prevista para discutir o produto final e ajustar detalhes na forma de apresentação da avaliação dos indicadores. Porém, o envio, pelos prestadores, de contribuições sobre o relatório final de avaliação para apreciação da Arsae-MG não foi exposto na minuta de resolução. Por isso será incluído. Já a possibilidade de manifestação em relação aos dados fornecidos será vedada a fim de se evitar alterações nos dados fornecidos ao Snis. Logo, o relatório final de poderá abarcar considerações sobre o método e resultados da avaliação, mas não justificativas específicas (de municípios ou de prestadores) sobre os dados reportados ao Snis. Conclusão: deferida parcialmente. Proposta nº 2: Modalidades de premiação e realização de auditoria

Texto original

Art. 4º A Arsae-MG poderá estabelecer procedimento de avaliação comparativa entre municípios para a divulgação e reconhecimento das melhores práticas na sua área de atuação, segundo metodologia descrita em nota técnica específica. Parágrafo único. Adicionalmente, poderá ser instituído sistema de premiação por desempenho.

Redação proposta

§ 1º Adicionalmente, poderá ser instituído sistema de premiação por desempenho, levando em consideração:

a. Os municípios mais bem posicionados considerando o conjunto de indicadores avaliados. b. O maior salto quantitativo com base na avaliação dinâmica, a partir do segundo ciclo.

§ 2º Os municípios melhor posicionados deverão ser necessariamente auditados na categoria premiada em relação à qualidade dos dados.

Observações

É comum os prestadores com bons desempenhos se manterem bons. Para não ganhar sempre o mesmo prestador que já está com uma boa qualidade de serviço, pode ser premiado também o prestador que realizou o maior salto quantitativo. Assim surge maior dinamismo na premiação e maior interesse por parte dos prestadores de serviço. A qualidade dos dados dos candidatos tem de ter necessariamente algum tipo de verificação sob pena de premiar uma entidade com dados menos bons do que outra onde ocorreu um salto quantitativo menor.

Avaliação da Arsae-MG A Arsae-MG realizou estudos simulando o ranqueamento dos municípios/prestadores de acordo com os resultados obtidos nas avaliações estática e dinâmica. Porém, decidiu-se que a minuta de resolução e a respectiva nota técnica deveriam abranger apenas as metodologias de agrupamento dos municípios e avaliação dos indicadores. A inclusão do ranqueamento e mecanismos de premiação irá depender dos impactos (positivos e negativos) advindos da publicação dos resultados do 1º ciclo de avaliação, da repercussão sobre os prestadores, titulares e usuários e do nível de desenvolvimento dos estudos de ranqueamento. Por isso, a proposta de alteração do artigo 4º será incorporada a esses estudos, mas não será detalhada na minuta de resolução em questão. Caso o ranqueamento e a premiação sejam aplicados, a Arsae-MG publicará regramento específico, em momento oportuno.


11



Conclusão: indeferida. Proposta nº 3: Inclusão do indicador IN058

Texto original

Quadro 5

Redação proposta

Dimensão – Eficiência – IN058 – Índice de consumo especifico de energia elétrica (kWh/m3)

Observações

Recomenda-se incluir na “Dimensão Eficiência” a avaliação do Indicador IN058, por ser um indicador relevante nos custos de operação do prestador de serviço e por ser um fator altamente gerenciável pelo prestador de serviço. Também faz sentido aplicar a mesma restrição usada para avaliação do IN49: “O indicador IN58 só é avaliado se IN011 – Índice de macromedição for igual ou superior a 90%” As informações de energia (kWh) são fáceis de obter pelo prestador e muito fáceis de auditar. Para este indicador se propõe realizar apenas a avaliação dinâmica, que garante julgamentos justos. Adicionalmente, e em uma modalidade de teste, pode ser interessante a abordagem estatística dentro do estado de MG aplicando a metodologia Cart. Como primeira variável de agrupamento se poderia usar a declividade e como segunda variável (se a informação estiver disponível) a origem dos volumes de água - superficial ou subterrâneo. O ProEESA está disponível para contribuir para essa análise caso seja oportuno. É possível fazer um levantamento das cotas das origens de água cruzando dados de Google Earth com dados de localização de captações disponíveis na ANA e informações de captações municipais/ estatais.

Avaliação da Arsae-MG O indicador IN058 não havia sido considerado no escopo do Projeto Sunshine por não estar contemplado na lista de indicadores recomendados pela Câmara Técnica de Saneamento da Abar. No entanto, para avaliar a viabilidade de inclusão deste indicador, foram realizadas modelagens com o método Cart e discutida a sua relevância sob a perspectiva do usuário e da qualidade do serviço. Inicialmente foram enumerados fatores que provavelmente estão associadas a alterações (aumento ou redução) no indicador IN058. A lista abrangeu as seguintes variáveis:

Altura manométrica das linhas de recalque;

Extensão das adutoras;

Extensão da rede;

Número de unidades de recalque;

Potência dos conjuntos moto-bomba;

Eficiência dos conjuntos moto-bomba. A única variável disponível nos bancos de dados disponíveis na Arsae-MG foi a extensão da rede de água (AG005). Por apresentarem comportamento similar e expressar o porte dos sistemas, também foram incluídas na simulação Cart as variáveis volume de água produzido (AG006) e população urbana atendida com abastecimento de água (AG026). Outra variável incluída e que poderia guardar relação com a altura manométrica foi a declividade média (AR015). Por fim, para avaliar a relação entre a


12



verticalização e a densidade de ligações nas regiões abastecidas com o consumo específico de energia elétrica, foram consideradas a densidade de economias de água por ligação (IN001) e a extensão da rede de água por ligação (IN020), respectivamente. Não há informações disponíveis que possam ser relacionadas a potência ou eficiência dos conjuntos moto-bomba ou ao número de unidades de recalque. Além disso, a hipótese de relação da altura manométrica com a declividade (AR015) é frágil, uma vez que a segunda foi determinada para toda a área urbana em vez de se limitar aos trechos de adutoras. O método Cart não identificou nenhuma variável com relação significativa com o indicador IN058. Foram utilizados os valores padrão de número mínimo de 100 observações em cada grupo formado e máximo quatro agrupamentos. O método gerou agrupamentos somente quando o parâmetro de complexidade (denominado “cp”) foi reduzido de 5% para 1%. O resultado seria a divisão em três grupos, conforme a Figura 2. A divisão estaria de acordo com as perspectivas técnicas, demonstrando uma ramificação inicial conforme a declividade (alta amplitude conduz a maior uso de energia) e uma segmentação adicional em relação a extensão de rede de água por ligação (maior IN020 amplia kWh/m³). Porém, como nas simulações de todos os outros indicadores do projeto foi utilizado o cp de 5%, a divisão por grupos resultante foi considerada abaixo dos parâmetros de significância estatística desejados para o ProSun. Figura 2. Box-plot para os grupos identificados no modelo Cart para o indicador IN058

Sob a perspectiva do usuário e da qualidade do serviço, o indicador expressa principalmente a eficiência dos equipamentos (especialmente os conjuntos moto-bomba) que compõem o sistema de abastecimento. Assim, o uso do indicador consumo de energia elétrica é voltado para a avaliação de processos enquanto que os indicadores selecionados para o Projeto Sunshine são característicos da avaliação de resultados. Mesmo que o consumo de energia elétrica seja considerado, deveria abranger


13



os horários de operação dos equipamentos e respectivas tarifas, fatores que aumentam os custos e implicam em aumento dos preços cobrados dos usuários dos serviços de abastecimento. Em resumo, devido a inclusão de um indicador fora do escopo da Câmara Técnica de Saneamento da Abar, da dificuldade de cobrir os potenciais fatores de contexto que afetam o valor do indicador, do resultado inconclusivo com o uso do método Cart e da ausência de vínculo direto com os serviços prestados aos usuários, optou-se por não incluir o indicador IN058 neste momento. Todavia, serão realizados estudos mais detalhados para avaliar sua inclusão no próximo ciclo do Projeto Sunshine. Conclusão: indeferido. Proposta nº 4: Inclusão do indicador Ph5

Texto original

Quadro 5

Redação proposta

Dimensão – Eficiência – Ph5 – Índice de consumo especifico de energia elétrica normalizado [kWh/(m3x100m)]

Observações

Entendemos que os indicadores selecionados são dentre da coleção do atual SNIS, no entanto, para efeitos sunshine o indicador Ph5 da IWA é bastante apropriado e foca o aspecto da eficiência de modo inequívoco. Este indicador é usado pelo regulador português desde 2004 e posteriormente foi aplicado também a esgotamento sanitário. Este indicador é adequado para comparar prestadores de serviço, municípios independentemente das suas condições orográficas e em escala mais operacional também conjuntos moto-bombas. As faixas de referência são conhecidas e iguais para todas as situações. Entre 0,27 e 0,40, correspondente a eficiências entre 68% e 100% Entre 0,40 e 0,54, correspondente a eficiências entre 68% e 50% Inferiores a 0,54, correspondente a eficiências inferiores a 50% A título de informação, em Portugal, todos os prestadores de serviço regionais e concessionarias souberam calcular o indicador desde o início (2004). Em 2011 o indicador foi estendido às cerca de 300 autarquias municipais e ainda existem alguns municípios que estão na curva de aprendizado. Nesses municípios o indicador ainda consta como “não calculado”.

Avaliação da Arsae-MG O ProSun utilizou como base de dados prioritária o Snis, partindo do grupo de indicadores proposto na Nota Técnica nº 01/2014 da Câmara Técnica de Saneamento da Associação Brasileira de Agências de Regulação (ABAR, 20141). A referida nota estabeleceu o grupo piloto de informações e de indicadores do Snis que será submetido aos procedimentos de auditoria e certificação e que exporão os níveis de confiabilidade e exatidão dos dados. Devido à dificuldade de obter informações diretamente dos prestadores não regulados pela agência, e assim proceder a análises comparativas, indicadores com potencial de utilização como o Ph5 foram 1 ASSOCIAÇÃO BRASILEIRA DE AGÊNCIAS DE REGULAÇÃO (ABAR). Câmara Técnica de Saneamento. Nota Técnica CTSan-Abar nº 01/2014: Informações e Indicadores de Água e de Esgoto no Contexto Regulatório. Brasília: ABAR, 2014. (Relatório interno)


14



desconsiderados do escopo do Prosun. Além disso, o uso do indicador Ph5: Índice de consumo especifico de energia elétrica normalizado [kWh/(m3x100m)] é dependente da coleta e organização de dados sobre volume bombeado e altura manométrica em todas as estações elevatórias para cálculo do fator de uniformização e do indicador, rotina esta que ainda não foi consolidada pela Arsae-MG. A necessidade de implantação de procedimento para coleta de novas informações impede que este indicador seja utilizado no 1º ciclo de avaliação do Prosun. Todavia, no decorrer da implementação desse ciclo, serão aprimorados os procedimentos de coleta, registro e gerenciamento de informações. Assim, há possibilidade de realização de novos estudos, inclusive em conjunto com o ProEESA, para a inclusão do indicador Ph5 no 2º ciclo de avaliação, daqui a quatro anos. Conclusão: indeferida. Proposta nº 5: Substituição do indicador IN049 pelo IN051

Texto original

IN049: Índice de perdas na distribuição (...) O modelo Cart adotado é apresentado na Figura 7. De acordo com os resultados, o estabelecimento de grupos seguirá os seguintes critérios: a) Grupo 1A: prestadores/municípios com AG026 menor que 22.360 habitantes e AR015 menor que 7,97%; (...)

Redação proposta

IN051: Índice de perdas na distribuição (L/lig.dia) (...) O modelo Cart adotado é apresentado na Figura 7. De acordo com os resultados, o estabelecimento de grupos seguirá os seguintes critérios: a) Grupo 1A: prestadores/municípios com x ligações por km de rede menor que xx e AR015 menor que xxx%; b) Grupo 1B: prestadores/municípios com x ligações por km de rede menor que xx e AR015 maior ou igual a xxx%; c) Grupo 2A: prestadores/municípios com x ligações por km de rede maior que xx e AR015 menor que yyy%; d) Grupo 2B: prestadores/municípios com x ligações por km de rede maior ou igual a xxxx e AR015 maior ou igual a yyyy%.

Observações

Os indicadores IN49 (5) e IN051 (L/lig.dia) medem perdas de água, no entanto o IN051 (L/lig.dia) está mais correlacionado com a atuação do prestador de serviço e, por esse fato, está mais próximo de medir um regime de eficiência. Alterações vegetativas anuais nos consumos (crescimento populacional, densificação populacional, verticalização de zonas urbanas, ou êxodo populacional, aumentos ou redução no percapita) mascaram os esforços dos prestadores de serviço no combate a perdas se forem medidos em % de volume. Os consumos comerciais e industriais (dependentes do crescimento ou decaimento económico) também interferem nos valores do IN049 (%) e são independentes da atuação do prestador de serviço. Estes fatores não influenciam a eficiência do prestador de serviço no aspecto de perdas de água se a unidade utilizada for a do IN051 (L/lig.dia). Por esta razão se considera IN51 mais adequado para efeitos de avaliação dinâmica (e também estática). IN049 (%) é apenas um indicador volumétrico orientativo, mas que se verifica injusto


15



quando se compraram municípios com padrões de consumo diferentes (comportamento dos usuários, industrias). Diversos especialistas recomendam abandonar o indicador percentagem de volume: http://www.leakssuite.com/kpis-fit-for-purpose/pros-abandon-percents-of-siv/ http://www.iwa-network.org/reliable-operational-performance-indicators-are-critical-to-address-water-losses/ Entendemos que o indicador em porcentual comunica melhor ao público leigo e é coerente com os documentos nacionais de referência (v.g. Plansab). Dessa forma, sugerimos (i) a adição do indicador IN 051 em l/lig.dia ou (ii) a substituição do IN049 pelo IN051.

Avaliação da Arsae-MG Para investigar que variáveis de contexto estão associadas à alteração do indicador IN049, foram considerados fatores como população urbana atendida (AG026), extensão de rede por ligação (IN020), consumo médio de água por economia (IN053), declividade (AR015), índice de economias atingidas por paralisações (AR010), consumo total de energia elétrica por metro cúbico produzido (AR013), abrangência do prestador (X001), natureza jurídica do prestador (X100) e ano de referência. Como resultado, as variáveis que apresentaram maior poder explicativo para alterações no IN049 foram a população abastecida (AG026) e a declividade (AR015). Não foi possível avaliar o efeito dos volumes consumidos por economias de categorias residencial e industrial sobre o indicador IN049, uma vez que tais informações não estão contempladas no Snis. Logo, também não seria possível avaliar a influência desse tipo de variável sobre o indicador IN051. Conforme mencionado na proposta, dada a coerência do indicador IN049 com as metas de curto, médio e longo prazos do estabelecidas no Plano Nacional de Saneamento Básico (Plansab), a facilidade de compreensão pela sociedade e por se tratar de um indicador de uso difundido, optou-se por mantê-lo no escopo do Prosun. Por não estar contemplado no rol de indicadores recomendados pela Abar e a fim de evitar o uso de dois indicadores para avaliar o mesmo aspecto, optou-se por não incluir o indicador IN051. Conclusão: indeferida.

http://www.leakssuite.com/kpis-fit-for-purpose/pros-abandon-percents-of-siv/

http://www.iwa-network.org/reliable-operational-performance-indicators-are-critical-to-address-water-losses/

http://www.iwa-network.org/reliable-operational-performance-indicators-are-critical-to-address-water-losses/


16



Proposta nº 6: Mudança de critérios de avaliação dinâmica

Texto original

2.7.2 Avaliação dinâmica Nesta avaliação o valor mais recente para o indicador é comparado com o do ano anterior e recebe uma classificação que pode variar de acordo com quatro categorias de tendência: a) Melhora: o indicador melhorou em relação ao ano anterior; b) Estabilidade: o valor do indicador manteve-se igual ao do ano anterior; c) Piora: o indicador piorou em relação ao ano anterior; d) N/D: dados não disponíveis ou não avaliados.

Redação proposta

2.7.2 Avaliação dinâmica Nesta avaliação se verifica o desempenho do indicador no período de referência e recebe uma classificação que pode variar de acordo com quatro categorias de tendência: a) Melhora: o indicador melhorou no período de avaliação dinâmico de modo consistente; b) Estabilidade em nível satisfatório: o valor do indicador manteve-se igual ao do ano anterior e no nível satisfatório; c) Estabilidade: o valor do indicador manteve-se igual no período de avaliação dinâmico; d) Piora: o indicador piorou no período de avaliação dinâmico de modo consistente; e) N/D: dados não disponíveis ou não avaliados. (...)

Observações

Cada indicador tem um período de avaliação próprio. Esse período tem em conta o quão rápido é possível realizar melhorias e se estas têm uma trajetória consistente. Variações elevadas interanuais poderão conduzir a interpretações com pouca segurança. Nesses casos não será avaliado o indicador na modalidade dinâmica. Considera-se que pode ser útil uma nova classe de avaliação: Estabilidade em nível satisfatório, para os prestadores que estão em níveis satisfatórios e mantém esse nível. Os prestadores classificados na avaliação dinâmica “com estabilidade” devem considerar alguma tolerância para ser acomodar pequenas vicissitudes interanuais. O valor desta tolerância deve ser diferente para cada indicador. e) N/D: dados não disponíveis ou não avaliados. – Situações de “não avaliação” podem ser: tendência não conclusiva. Alteração na metodologia de levantamento dos dados.

Tabela de avaliação dinâmica

Indicador Período de avaliação

Avaliação positiva Melhoria

Avaliação positiva Estabilidade

Estabilidade Avaliação negativa

Piora

IN023: Índice de atendimento urbano de água (%)***

3 anos Melhorias superiores a x% no período de avaliação dinâmica

Valores satisfatórios consecutivos no período de

avaliação dinâmica

Variação interanual deve ser inferior a +/-3% da média dos valores desse município

no período de avaliação

Agravamentos superiores a y% no período de avaliação

dinâmica

IN024: Índice de atendimento urbano de esgoto referido aos municípios

atendidos com água (%)*** 3 anos

Melhorias superiores a x% no de avaliação

dinâmico






dinâmica

IN016: Índice de tratamento de esgoto (%)

3 anos Melhorias superiores a x% no de avaliação

dinâmico



Variação interanual deve ser inferior a +/-xx% da média dos valores desse município



dinâmica

IN084: Incidência das análises de coliformes totais fora do padrão (%) *


dinâmico



Variação interanual deve ser inferior a +/-xx% da média dos valores desse município



dinâmica

IN082: Extravasamentos de esgotos por extensão de rede

(extravasamentos/km) 3 anos


dinâmico




no período de avaliação2


dinâmica

IN058 Consumo específico de Energia (kWh/m3)


dinâmico (não aplicável)




dinâmica

IN049: Índice de perdas na distribuição (%) **

(l./lig.dia) 4 anos


dinâmico






dinâmica

IN009: Índice de hidrometração (%) 2 anos 3 Melhorias superiores a x% no de avaliação

dinâmico






dinâmica

IN011: Índice de macromedição (%) 1 ano 4 Melhorias superiores a 15% no de avaliação

dinâmico





Agravamentos superiores a 5% no período de avaliação

dinâmica

2 Em Portugal existe a experiência num indicador semelhante, que os fenômenos pluviais interferem nos valores obtidos. Em anos mais chuvosos a probabilidade de haver um extravasamento é superior. Para a avaliação dinâmica, propomos uma tolerância superior para ser considerado” estabilidade”. (+- 10%). 3 Pois a fórmula do indicador já inclui dois anos. Assim a avaliação para o período engloba 3 anos, com peso maior no ano anterior. 4 Um ano constitui um período adequado para medidas de instalação de macromedidores.


18



Avaliação da Arsae-MG A avaliação da tendência de aumento, redução ou estabilidade é de fato mais efetiva quando são considerados três ou mais anos. Porém, os dados mais recentes disponíveis no Snis (de 2012 a 2015) são resultado da operação dos sistemas de abastecimento de água e de esgotamento sanitário em uma condição em que não havia a regulação por exposição. Se a análise de tendência englobar anos anteriores, é possível que seja afetada por um contexto legal, de mercado, político e ambiental discrepante do atual, aumentando o risco de conclusões precipitadas. A Arsae-MG considera que, para que a avaliação de tendência abranja mais de um ano e assim seja mais robusta, é necessário um período de adaptação dos prestadores ao regime de regulação por exposição. Assim o desconhecimento dos valores de referência e a ausência de instrumentos de incentivo não seriam usados como justificativa para o desempenho insatisfatório que por ventura venha a ser detectado em alguns municípios. Por isso, optou-se por manter a avaliação dinâmica no horizonte de tempo de dois anos (ano corrente e ano anterior) e adotar períodos maiores quando as regras do 1º ciclo de avaliação do Prosun forem revistas, daqui quatro anos. Com relação à criação de uma nova categoria para a avaliação dinâmica (estabilidade em nível satisfatório), observa-se claramente nos indicadores IN024, IN016, IN082 e IN049 que mesmo atingindo a categoria de desempenho satisfatório na avaliação estática, é possível que os indicadores sejam melhorados. Assim, a classificação em uma de bom desempenho (“estabilidade em nível satisfatório”) na avaliação dinâmica poderia desestimular a buscar por melhorias. A Arsae-MG reconhece que há situações em que os indicadores IN023, IN011 e IN009 dos municípios encontram-se próximos da universalização e não há possibilidade de melhoria contínua (categoria de melhora na avaliação dinâmica). Todavia, a apreciação das vantagens e desvantagens do uso de três e quatro categorias na avaliação dinâmica apontou para menor impacto na avaliação dos serviços quando indicadores próximos dos níveis máximos são tachados como “piora” do que quando indicadores próximos de um desempenho intermediário (mas ainda satisfatório) são tachados como “estabilidade em nível satisfatório”. O exame da proposta dos limites de tolerância apontou para dois contextos de avaliação com resultados incoerentes e duvidosos. Na primeira situação, haveria indicadores com variações anuais que implicam em mudança de categoria na avaliação estática (de insatisfatório para satisfatório, por exemplo) mas com alteração menor que a faixa de detecção da avaliação dinâmica. Ou seja, ao comparar resultados de anos consecutivos, seriam observadas mudanças de categoria estática de indicadores considerados “estáveis” na avaliação dinâmica. Numa segunda situação, apesar de menos contestável, haveria indicadores com incremento ou queda anual constante ao longo dos quatro anos e que, por estar dentro do limite de estabilidade, não se caracterizariam como “melhora” ou “piora”, respectivamente. Conhecidas estas duas suposições, optou-se por não utilizar faixar de fatores para a definição do comportamento estável. Conclusão: indeferida.


19



Proposta nº 7: Avaliação dinâmica do indicador IN082

Texto original

Dentre as variáveis explicativas apresentadas no Quadro 18, aquela que se mostrou mais adequada para a diferenciação de grupos de prestadores/municípios foi a densidade de economias de esgoto por ligação de esgoto (AR014). De acordo com a hipótese explicativa, municípios mais verticalizados (maior AR014) tendem a maiores volumes médios de esgoto por ligação, podendo ensejar em maior número de extravasamentos de esgoto por extensão de rede (maior IN082). Essa expectativa foi confirmada pelos resultados da modelagem.

Redação proposta

Observações

Em Portugal existe a experiência num indicador semelhante, que os fenômenos pluviais interferem nos valores obtidos. Em anos chuvosos a probabilidade de haver um extravasamento é superior e não dá para concluir que o município melhorou ou piorou. Os valores de referência para avaliação obtidos são razoáveis. Para a avaliação dinâmica, propomos uma tolerância superior para ser considerado estabilidade. (+- 10%). Eventualmente pode fazer sentido adaptar anualmente os valores de referência na avaliação estática se houver condições extremas de pluviosidade registrada.

Avaliação da Arsae-MG Em teoria, a variável precipitação acumulada no ano pode sim afetar os valores do indicador IN082. Porém, a dificuldade de acesso a dados de precipitação acumulada anual em todos os 853 municípios do estado de Minas Gerais impede que esta variável explicativa seja avaliada na modelagem estatística Cart. Por isso optou-se-por desconsiderar a precipitação. O uso de uma faixa de valores para a categoria “estabilidade” na avaliação dinâmica foi discutida na Proposta nº 6. Conclusão: indeferida. Proposta nº 8: Procedimentos de auditoria e de certificação

Texto original

2.3. Seleção de Indicadores

Redação proposta

Observações

Acreditamos que a certificação das informações e as auditorias através da metodologia preconizada pelo Projeto ACERTAR é um mecanismo poderoso de estruturação e de organização interna dos prestadores de serviço. Consideramos também que a auditoria preconizada pelo ACERTAR é uma atividade intensiva em recursos humanos e de tempo por parte do regulador, o que pode constituir uma barreira na celeridade de implementação. Como solução intermédia, se propõe uma atuação gradual enquanto a auditoria não é universal junto dos regulados.


20



Sugere-se que os prestadores de serviço devem acompanhar as informações com quadros explicando a origem das informações. Considera-se que esta informação adicional, constitui uma atividade de organização e sistematização interna e que facilitará em fase posterior a auditoria e certificação da informação por parte do regulador. Os quadros explicativos são um passo intermédio. Para os municípios que não forem auditados, os quadros autodeclaratórios constituem uma opção para que o regulador possa consultar a origem dos dados em caso de dúvidas e solicitar esclarecimentos adicionais. Os quadros autodeclaratórios constituem um mecanismo de melhorar a qualidade dos dados. Estamos à disposição para elaborar planilhas equivalentes visando a validação de dados adoptando o máximo possível a metodologia preconizada no Projeto ACERTAR (em especial em relação aos dados relativos à eficiência energética). Estamos também disponíveis para auditar alguns municípios, caso seja desejado, nos dados de água e energia. Dá-se especial ênfase ao balanço hídrico porque importantes indicadores assentam nas premissas assumidas. Verifica-se com frequência que em muitos municípios os valores históricos do indicador de perdas têm variações de amplitude significativa. A principal origem dessa variância está associada a técnicos diferentes que carregam os dados, com percepções subjetivas e abordagens diferentes. Com o registro dos procedimentos do balanço hídrico encorajamos os municípios para que no próximo ano consultem, estimem os volumes com a mesma abordagem. Naturalmente as metodologias podem evoluir para metodologias mais confiáveis, mais ajustadas à realidade. São evolutivas. É certo que pode causar algumas descontinuidades resultantes de melhores dados, mas com os procedimentos registrados os saltos não são tão erráticos. Alterações às metodologias devem ser registradas, escritas. Um técnico deve conseguir ler os procedimentos e chegar ao mesmo valor que calculado por outro técnico. O Balanço hídrico deve ser replicável sendo realizado por dois técnicos diferentes dentro de um mesmo prestador de serviço. Em suma, os procedimentos do balanço hídrico cada componente e subcomponente do indica os responsáveis por cada componente, o modo de cálculo e a origem da informação. A título de exemplo deve ser registrada a metodologia para aferir o volume relativos a consumos ilícitos, fraudes, não medidos, submedição de hidrômetros, corpo de bombeiros, regas de jardins públicos etc., assim como o método para estimar quando há falhas na série de volumes macro medidos. Prestadores de serviço com metodologias maior detalhamento terão maior confiabilidade, prestadores com métodos mais simplificados terão BH mais simples.

Avaliação da Arsae-MG A base de dados utilizada no Prosun é o Snis, gerido pela Secretaria Nacional de Saneamento Ambiental (SNSA). Os dados coletados no estado de Minas Gerais são publicados com defasagem de pouco mais de um ano. Ou seja, no 1º ciclo de avaliação serão avaliados os dados do período de 2015 a 2018 que forem publicados entre 2017 e 2020, provavelmente. Logo, a adoção de quadros explicativos com a origem das informações e do balanço hídrico no início do ano de 2018 traria poucos benefícios para 1º ciclo de avaliação.


21



Apesar de relacionados, o Projeto Sunshine e o Projeto Acertar possuem escopos independentes e estão em diferentes estágios de desenvolvimento na Arsae-MG. Por isso, procedimentos de auditoria e de certificação de informações não foram inclusos na minuta de resolução e na nota técnica. Tais aspectos serão tratados futuramente em instrumentos específicos e com a expectativa de que seus resultados possam contribuir para o 2º ciclo de avaliação do Projeto Sunshine. Conclusão: indeferida. Proposta nº 9: Alteração do agrupamento do indicador IN009

Texto original

Este indicador expressa o percentual de ligações ativas de água que são micromedidas pelo prestador de serviço. Sua análise é importante para permitir procedimentos de faturamento e mensuração de perdas mais precisos, elevando a confiabilidade dos mesmos. A metodologia Cart se mostrou efetiva para o agrupamento de prestadores/municípios em grupos mais homogêneos. Para tal, o modelo aplicado contou com as variáveis explicativas apresentadas no Quadro 25. (...)

Redação proposta

Este indicador expressa o percentual de ligações ativas de água que são micromedidas pelo prestador de serviço. Sua análise é importante para permitir procedimentos de faturamento embasados no consumo medido e mensuração de perdas mais precisos, elevando a confiabilidade dos mesmos. A metodologia Cart se mostrou efetiva para o agrupamento de prestadores/municípios em grupos mais homogêneos. Para tal, o modelo aplicado contou com as variáveis explicativas apresentadas no Quadro 25. Quadro 26: Grupo único: Avaliação insatisfatória inferior a x% Avaliação moderada entre x% e 99% Avaliação satisfatória superior ou igual a 99%

Observações

Para a avaliação do nível de hidrometração o agrupamento por natureza jurídica de prestadores de serviço transmite uma mensagem inoportuna, parecendo que há obrigações diferentes conforme a sua natureza da entidade. Propõe-se a adoção de metas únicas (valores de referência) para definição das categorias satisfatório, moderado e insatisfatório, visando e mensuração de perdas, elevando a confiabilidade, e a faturação dos volumes realmente consumidos. Usando uma classe única, estaríamos numa situação parecida com o caso adoptado na IN023 – atendimento de água. Parece injusto que autarquias, privados e sociedades de economia mista com, por exemplo, 60% de hidrometração sejam avaliadas como insatisfatório e Administração pública direta e públicos com os mesmos 60% sejam avaliados como moderado.


22



A justificação usada para agrupar por natureza jurídica é que os prestadores da administração pública têm níveis de gestão menos desenvolvidos. Há uma distinção pouco clara entre “causa/variável explicativa” e “efeito”. A origem do problema e a consequência do problema. A causa (gestão menos desenvolvida) e o efeito (baixa hidrometração) O objetivo é avaliar o efeito (nível de hidrometração) Se passa a mensagem de que a gestão de Administração pública direta e públicos é menos desenvolvida e que por isso têm maior tolerância. Fazendo algumas analogias, para evidenciar melhor a injustiça desta tolerância: Bombas operando em autarquias funcionam insatisfatoriamente, mas se mudarem de regimento já são classificadas com funcionamento moderado. Baixo nível de cobrança em autarquias é insatisfatório, mas se mudarem de regimento já é considerado moderado.

Avaliação da Arsae-MG Os argumentos apresentados na proposta são claros e não há justificativa suficiente para manter a subdivisão dos grupos de acordo coma natureza jurídica (X100). Apesar da associação entre a variável explicativa e o indicador IN009 ter sido identificada como significativa, provavelmente há outras variáveis de contexto, não listadas no Snis, cujo uso poderia ser mais coerente. O método Cart aplicado ao indicador IN009, desconsiderando a variável natureza jurídica, não apresentou resultados satisfatórios que permitissem o agrupamento de municípios/prestadores. Por isso optou-se por não adotar nenhuma regra de agrupamento. As novas metas estão apresentadas no Quadro 5. Os valores de IN009 maiores ou iguais 99%foram inseridos na categoria “satisfatório”. Para os valores restantes (abaixo da meta satisfatória), calculou-se a mediana e os valores acima desta foram inseridos na categoria “moderado”. Os valores restantes, abaixo da mediana calculada na etapa anterior, foram categorizados como “insatisfatório”. Quadro 5: Metas propostas para o indicador IN009 Metas

Grupos Insatisfatório Moderado Satisfatório

Grupo 1A < 95% ≥ 95% e < 99% ≥ 99%

Conclusão: deferida.


23



Proposta nº 10: Alteração de terminologia

Texto original

Quadro xxx : Metas propostas para o indicador INxxx

Redação proposta

Quadro xxx : Valores de referência para avaliação do indicador INxxx

Observações

Sugerimos a alteração da terminologia. Metas são valores propostos a atingir para indicadores num dado horizonte temporal. Podem ser de curto, médio ou longo prazo. A meta é o valor-alvo do indicador. Valores de referência são um valor ou intervalo de valores que permite fazer um julgamento qualitativo dos resultados obtidos. (Exemplo: bom, mediano, insatisfatório, ou regular, grave)

Avaliação da Arsae-MG A redação proposta torna mais claro o aspecto em questão, prescindindo de justificativas que impeçam a alteração. Conclusão: deferida. Proposta nº 11: Inclusão de relatórios de avaliação individuais

Texto original

A Arsae-MG dará ampla divulgação aos resultados da avaliação, preferencialmente, por meio do seu sítio eletrônico. Anualmente serão disponibilizados, no mínimo, os seguintes produtos: a) Bases de dados do Snis utilizadas, com a identificação dos grupos de enquadramento de cada município e categorias alcançadas nas avaliações estática e dinâmica; b) Relatórios com análise geral dos resultados para o universo dos municípios regulados. É importante ressaltar que o 1º Ciclo de Avaliação será interpretado como um período de adaptação dos prestadores e da agência à metodologia, de forma que serão estudadas junto aos prestadores e sociedade formas de divulgação desses resultados que permitam um acesso direto e simplificado das partes interessadas às informações. Ao fim do 1º Ciclo está prevista a revisão da metodologia de avaliação e a consolidação das estratégias de divulgação.

Redação proposta


24



a) Bases de dados do Snis utilizadas, com a identificação dos grupos de enquadramento de cada município e categorias alcançadas nas avaliações estática e dinâmica; b) Relatórios com análise geral dos resultados para o universo dos municípios regulados. c) Relatórios de avaliação individuais dirigidos a distintos públicos-alvo O primeiro ciclo prevê as seguintes comunicações: Relatório de avaliação individual (estática e dinâmica) dirigida ao prestador de serviço dirigida ao titular de serviço Relatório de ranking, média do setor por indicador (avaliação estática) dirigida ao prestador de serviço dirigida ao titular de serviço É importante ressaltar que o 1º Ciclo de Avaliação será interpretado como um período de adaptação dos prestadores e da agência à metodologia, de forma que serão estudadas junto aos prestadores e sociedade formas de divulgação desses resultados que permitam um acesso direto e simplificado das partes interessadas às informações. Ao fim do 1º Ciclo está prevista a revisão da metodologia de avaliação e a consolidação das estratégias de divulgação. O 3º ciclo prevê as seguintes comunicações adicionais: informativo com avaliação individual (estática e dinâmica) dirigida ao utilizador final junto com a conta da água Relatório de ranking, média do setor por indicador (avaliação estática) dirigida à mídia

Observações

Os relatórios individuais devem ser gerados automaticamente, com base em algoritmos, reduzindo o trabalho manual por parte dos técnicos dos reguladores. Consideramos importante uma comunicação direta com os envolvidos (titulares, prestadores, usuários, outras autoridades), para garantir que esses stakeholders tenham informação suficiente e pertinente que lhes permita formar opiniões e expressar-se ativamente através dos mecanismos de participação social. O fato de que o prestador de serviço ter conhecimento prévio a quem se destina a informação promove um cuidado adicional no fornecimento da informação. Para o usuário final, sugerimos pequena inserção na conta de água indicando a posição do prestador no ranking, informando também o sítio eletrônico para informações mais detalhadas.

Avaliação da Arsae-MG No decorrer do desenvolvimento do Projeto Sunshine, a elaboração de relatórios individuais para municípios foi prevista como uma possibilidade. Porém, as regras de avaliação, os métodos de agrupamento de municípios, o número de indicadores e os valores de referência ainda estavam sendo discutidos até o período da audiência pública. Por isso não foi possível dimensionar o esforço necessário para a produção dos relatórios individuais. A Arsae-MG não conta com sistema eletrônico de informações para gerenciamento de dados. Todas as operações de processamento, avaliação e produção de resultados são realizadas com os programas Microsoft Excel (incluindo linguagem VBA) e R. Apenas após a fixação das regras de avaliação será possível conhecer a viabilidade de emissão de relatórios para cada um dos cerca de 640 municípios regulados.


25



Com relação aos relatórios individuais por prestador, acredita-se que o relatório final de resultados globais será suficiente para cobrir a maior parte das demandas dos cinco prestadores. Relatórios específicos não agregariam informações adicionais suficientes para justificar sua elaboração. Apesar de possível, esse tipo de produto não será previsto formalmente na resolução. Conforme comentado na avaliação da Proposta nº 2, não há previsão de divulgação de ranqueamento dos municípios ou dos prestadores. Esta etapa, bem como os procedimentos de agregação dos indicadores por municípios e por prestador, ainda não foi aprovada na Arsae-MG. Por isso não há previsão para este tipo de produto. Já as comunicações propostas para o 3º ciclo de avaliação são pertinentes, mas fogem do escopo da minuta e da nota técnica, que visam regulamentar apenas o 1º ciclo. A inserção de resultados na conta d'água ainda não foi discutida com os prestadores, por isso não será incluída na resolução, mas está dentre as estratégias de divulgação a serem avaliadas. Conclusão: indeferida. Proposta nº 12: Divulgação dos modelos de relatórios

Texto original

Introdução 2017/II - Avaliação teste de 2015 • Avaliação dos dados de 2015 do Snis com base na metodologia pré-definida; • Liberação dos resultados para os prestadores; • Ajustes no relatório de resultados; • Publicação dos resultados.

Redação proposta

Observações

Poderia ser interessante mostrar os templates dos relatórios previstos. O modo de transmitir essa informação (para os 2 públicos diferentes) facilita para o prestador de serviço visualizar a sua exposição. Público 1 – prestadores e titulares do serviço (relatório individual) Público 2 – usuário final (na conta da água) Público 3 – Mídia

Avaliação da Arsae-MG Os modelos de relatório geral de resultados e de relatório individual, por municípios, encontram-se em desenvolvimento. Todavia, como as regras de avaliação, os métodos de agrupamento de municípios, o número de indicadores e os valores de referência ainda estavam sendo discutidos até o período da audiência pública, não foi possível consolidar e disponibilizá-los. Outra preocupação foi direcionar a etapa de audiência pública apenas para a discussão da metodologia e não dos resultados. Os relatórios de avaliação contendo os resultados serão disponibilizados aos prestadores assim que publicadas a minuta de resolução e a respectiva nota técnica. Conclusão: indeferida.


26



Proposta nº 13: Alteração no indicador IN023

“O índice de atendimento urbano de água expressa o percentual da população residente na área urbana do município, atendido por determinado prestador, que se beneficia dos serviços públicos de abastecimento de água potável. As metas propostas foram estabelecidas a partir do Plano Nacional de Saneamento Básico (Plansab). No referido plano o atendimento com abastecimento de água é avaliado a partir do indicador A2: Percentual de domicílios urbanos abastecidos por rede de distribuição ou por poço ou nascente com canalização interna, o qual possui metas específicas para a região sudeste para os anos 2010, 2018, 2023 e 2033 (BRASIL, 2014, p. 147). Comparando os indicadores IN023 e A2, a unidade de análise e a caracterização do serviço aparentam ser diferentes. O indicador do Snis é calculado com base na população e o indicador do Plansab com base no número de domicílios. Porém, a população da maioria dos municípios de Minas Gerais é estimada pelos prestadores com base no número de economias para reporte ao Snis, sendo razoável equiparar o número de domicílios ao número de economias. Logo, considerou-se que as unidades de análise do Snis e do Censo 2010 do IBGE (Plansab) são equivalentes.”

Considerações COPASA O conceito “Domicílios abastecidos por rede” adotado no PLANSAB difere de “domicílios efetivamente conectados à rede”, adotado para o cálculo do indicador IN023. Para o indicador IN023, ao considerar os domicílios efetivamente conectados à rede, são desconsiderados os domicílios não conectados à rede por questões situacionais como falta de pagamento, ou a próprio pedido do cliente, por estar o imóvel vazio durante um período, por exemplo. Além disso, são desconsiderados fatores como não adesão à rede por existência de fonte alternativa ou outros motivos. Assim, entendemos que são indicadores com conceitos distintos, o que não justifica a adoção da meta definida no PLANSAB para o indicador A2, como meta para o indicador IN023. Além disso, no SNIS, o cálculo do indicador IN023 tem como denominador a população urbana do município estimada pelo IBGE (POP_URB), enquanto o numerador (população atendida) é calculado mensalmente para avaliação interna, a partir de uma estimativa de população urbana total e a relação habitante por domicílio que difere da publicada posteriormente pelo IBGE anualmente. Para evitar estas distorções causadas pelas situações pontuadas anteriormente, sugerimos a adoção pelo SNIS, do percentual de cobertura com rede de abastecimento a partir da avaliação do número de economias residenciais (imóveis) ativas em relação ao total de economias residenciais existentes em cada município na área de concessão de cada prestador. Avaliação da Arsae-MG A Arsae-MG está ciente das fragilidades do uso do indicador IN023, principalmente referentes à desconsideração de conexões factíveis, de usuários cobertos, mas desconectados por inadimplência, desconexão temporária de imóveis e da área de concessão com prestação obrigatória de serviço. Diante disso, a Arsae-MG enviou sugestões ao Ministério das Cidades para inclusão no Sinisa de informações que tratam do número de economias residenciais com rede de abastecimento de água e coletora de esgoto à disposição (“economias factíveis”) e número de economias residenciais com potencial de serem atendidas localizadas na área de concessão dos prestadores. Essa proposta tem como objetivo ajustar o cálculo dos indicadores de atendimento para considerar apenas as áreas sobre as quais há contrato para a prestação do serviço e, desse modo, permitir a


27



análise desagregada de indicadores por prestador em municípios nos quais há mais de um operador. Em segundo lugar, é de interesse especial de prestadores e da Arsae-MG o uso de indicadores que mensuram a cobertura da prestação dos serviços, principalmente nos casos em que mais graves de ociosidade de redes. No entanto, ressalta-se que as sugestões da Arsae-MG carecem de apreciação técnica do Ministério das Cidades, e não implicam necessariamente em acatamento imediato das contribuições. Enquanto as modificações não forem realizadas, o Prosun deixará de avaliar os municípios em que ocorrem os casos de dupla concessão dos serviços, tanto de água quanto de esgoto, detectadas no banco de dados do Snis. Em termos conceituais, não foram observadas diferenças consideráveis entre os indicadores A2 do Plansab e IN023 do Snis que impeçam a equivalência das metas. Observou-se que o indicador do Plansab é calculado com base na razão entre o número de domicílios particulares permanentes com abastecimento de água da rede geral (V012) ou com poço ou nascente na propriedade (V013) e o número total de domicílios particulares permanentes (V002)5. Por isso, o percentual estimado da população atendida pelas modalidades poço ou nascente, de 2,1%, foi subtraído da meta do Plansab, resultando na meta final de 97%. Conclusão: deferida parcialmente. Proposta nº 14: Alteração no indicador IN024

“O índice de atendimento urbano de esgoto referido aos municípios atendidos com água expressa o percentual da população urbana do município, atendido por determinado prestador, que se beneficia dos serviços públicos de esgotamento sanitário (conectada à rede coletora de esgoto). As metas propostas para cada grupo foram estabelecidas a partir do Plansab. No referido plano o atendimento com esgotamento sanitário é avaliado a partir do indicador E2: Percentual de domicílios urbanos servidos por rede coletora ou fossa séptica para os excretas ou esgotos sanitários, o qual possui metas específicas para a região sudeste para os anos 2010, 2018, 2023 e 2033 (BRASIL, 2014, p. 148). Comparando os indicadores IN024 e E2, a unidade de análise e a caracterização do serviço também aparentam ser diferentes. O indicador do Snis é calculado com base na população e o indicador do Plansab com base no número de domicílios. Porém, a população da maioria dos municípios de Minas Gerais é estimada pelos prestadores com base no número de economias para reporte ao Snis. Logo, na parametrização considerou-se que as unidades de análise do Snis e do Censo do IBGE (Plansab) são equivalentes.”

Considerações COPASA O conceito “Domicílios urbanos servidos por rede coletora” adotado no PLANSAB difere de “domicílios efetivamente conectados à rede coletora”, adotado para o cálculo do indicador IN024. Para o indicador IN024, ao considerar os domicílios efetivamente conectados à rede, são desconsiderados os domicílios não conectados à rede por questões situacionais como falta de pagamento, ou a próprio pedido do cliente, por estar o imóvel vazio durante um período, por exemplo. Além disso, são desconsiderados fatores como não adesão à rede por existência de lançamento indevido em rede de águas pluviais ou 5 INSTITUTO BRASILEIRO DE GEOGRAFIA E ESTATÍSTICA (IBGE). Base de informações do Censo Demográfico 2010: Resultados do Universo por setor censitário. Rio de Janeiro: IBGE, 2011. Disponível em: <http://www.ipea.gov.br/redeipea/images/pdfs/base_de_informacoess_por_setor_censitario_universo_censo_2010.pdf>. Acesso em: 16 mai. 2016.

http://www.ipea.gov.br/redeipea/images/pdfs/base_de_informacoess_por_setor_censitario_universo_censo_2010.pdf

http://www.ipea.gov.br/redeipea/images/pdfs/base_de_informacoess_por_setor_censitario_universo_censo_2010.pdf


28



córregos. Assim, entendemos que são indicadores com conceitos distintos, o que não justifica a adoção da meta definida no PLANSAB para o indicador A2, como meta para o indicador IN023. Assim como ocorre no cômputo do indicador IN023, o cálculo do indicador IN024 tem como denominador a população urbana do município estimada pelo IBGE (POP_URB), enquanto para acompanhamento mensal, os prestadores de serviço calculam o numerador (população atendida) a partir de uma estimativa de população urbana total a relação habitante por domicílio que difere da estimada posteriormente pelo IBGE. Além destes pontos, destacamos que para o cálculo da meta e para fins de comparação e desempenho entre municípios, é necessário levar em consideração a idade de implantação da infraestrutura de esgoto e a influência de estrutura antiga de esgoto estático, onde o cliente não percebe a necessidade de aderir ao sistema dinâmico. Paralelamente não há legislação municipal que o obrigue a se conectar ao sistema dinâmico. Semelhante ao apresentado para o indicador IN023, para evitar distorções causadas pelas situações pontuadas anteriormente, sugerimos a adoção pelo SNIS, do percentual de cobertura com rede coletora, a partir da avaliação do número de economias residenciais (imóveis) ativas em relação ao total de economias residenciais existentes em cada município. Avaliação da Arsae-MG A avaliação desta proposta incorreu em conclusões semelhantes àquelas da Proposta nº 13:

Reconhecimento das fragilidades do uso do indicador IN024;

Envio de sugestões ao Ministério das Cidades para inclusão no Sinisa de informações que permitam o cálculo de indicadores de cobertura e de atendimento na área de concessão;

Não avaliação de municípios em que ocorrem os casos de dupla concessão dos serviços detectadas no banco de dados do Snis;

Não observância de diferenças consideráveis entre os indicadores E2, do Plansab, e IN024, do Snis, que impeçam a equivalência das metas;

O percentual estimado da população atendida por fossa séptica, de 2,3%, foi subtraído da meta do Plansab, resultando na meta final de 92%.

Conclusão: deferida parcialmente.


29



Proposta nº 15: Alteração no indicador IN016

“O índice de tratamento de esgoto expressa o percentual do volume de esgoto coletado no município, atendido por determinado prestador, que é tratado.”

Considerações COPASA Conforme contribuições apresentadas pela COPASA para o tema “Indicadores para Contratos de Programa”, o indicador IN016 – Percentual de esgoto tratado é adotado internamente, não utilizando apenas os mesmos conceitos de esgoto importado ou exportado. Quando o esgoto de um município é tratado em outro o percentual de tratamento é avaliado no município que gerou o esgoto coletado, independentemente do local de tratamento. A respeito da resposta da ARSAE: “A prática da Companhia está em desacordo com os glossários do SNIS, os quais serão avaliados no âmbito do Projeto Acertar. Este projeto visa a auditoria das informações providas pelos prestadores ao SNIS. Portanto, a ARSAE-MG recomenda que a Companhia ajuste seus procedimentos às práticas nacionais de registro dessas informações; assim, irá atender de forma satisfatória aos dois projetos que estão em desenvolvimento.” Esclarecemos que no entendimento da COPASA, a forma de cálculo adotada continua expressando o percentual do volume de esgoto coletado no município, que é tratado. Além disso, tal situação ocorre especialmente nas Regiões Metropolitanas, onde se adota, de maneira semelhante ao sistema integrado de distribuição e água, soluções de tratamento de esgoto que atendem mais de um município. Nestes casos, adota-se interceptores interligando os sistemas, sem que haja um medidor do esgoto bruto que é transportado de um município a outro. A medição acontece na chegada da Estação de Tratamento. Portanto, não entendemos que a prática esteja em desacordo com os glossários do SNIS. Avaliação da Arsae-MG Em nova avaliação do indicador IN016 e da proposta da Copasa, a Arsae-MG reviu seu posicionamento frente o indicador. A agência entende que o cálculo do indicador seria mais coerente caso as informações volume de esgotos bruto importado (ES013) e volume de esgoto importado tratado nas instalações do importador (ES014) fossem desconsideradas da equação. Atualmente, o indicador do Snis é calculado da seguinte forma:

IN016 =(ES006 + ES014 + ES015)

(ES005 + ES013)×100

Sendo:

ES005: Volume de esgotos coletado (1.000 m³/ano);

ES006: Volume de esgotos tratado (1.000 m³/ano);

ES013: Volume de esgotos bruto importado (1.000 m³/ano);

ES014: Volume de esgoto importado tratado nas instalações do importador (1.000 m³/ano);

ES015: Volume de esgoto bruto exportado tratado nas instalações do importador (1.000 m³/ano). A informação ES013 dá a entender que a responsabilidade de tratamento do esgoto importado é do importador. No entanto, a agência considera que esta parcela deve ser contabilizada apenas pelo exportador (como esgoto gerado) e não pelo município/prestador importador (como esgoto bruto que deve ser tratado). Ou seja, deve-se contabilizar o esgoto gerado apenas na “fonte”, independentemente de ser direcionado para outro município.


30



Sobre a informação ES014, a agência entende que deve ser contabilizado apenas o tratamento do esgoto gerado na região de interesse. Caso seja considerado o volume de esgoto bruto importado e tratado na região de interesse, isso pode enviesar a análise, principalmente no caso de municípios de grande porte populacional que possuem estações de tratamento de esgoto localizadas em outros municípios. No exemplo do Quadro 6 são considerados dois municípios fictícios com portes distintos. O município A coleta e trata todo o esgoto gerado dentro de seus limites territoriais. Já o município B, envia metade do esgoto coletado para tratamento dentro dos limites do município A. Por sua vez, o município A consegue tratar 60% do volume de esgoto bruto que recebe de B. Quadro 6. Simulação dos volumes de esgoto coletado, tratado, importado e exportado de dois

municípios Parcela de esgoto Município A Município B

ES005: Volume de esgotos coletado (1.000.000 m³/ano); 10 100 ES006: Volume de esgotos tratado (1.000.000 m³/ano); 10 0 ES013: Volume de esgotos bruto importado (1. 000.000 m³/ano); 50 0 ES014: Volume de esgoto importado tratado nas instalações do importador

(1. 000.000 m³/ano); 30 0

ES015: Volume de esgoto bruto exportado tratado nas instalações do importador (1. 000.000 m³/ano).

0 30

De acordo com a equação do Snis, o cálculo do indicador IN016, para cada município, dar-se-ia da seguinte forma:

IN016A =(ES006 A+ ES014 A+ ES015A)

(ES005 A+ ES013A)×100 =

(10 + 30 + 0)

(10 + 50)×100 = 67%

IN016B = (ES006 B+ ES014 B+ ES015B)

(ES005 B+ ES013B)×100 =

(0 + 0 + 30)

(100 + 0)×100 = 30%

Apesar de tratar todo o esgoto que coleta, o indicador do município A não atinge o valor de 100% por não ser capaz de tratar todo o esgoto que é importado do município B. Por isso a Arsae-MG defende que seja avaliado apenas o volume de esgoto bruto coletado na área de interesse, sem considerar importação ou exportação, e que seja contabilizado todo o volume de esgoto tratado, independentemente do local de tratamento. O indicador utilizado pela Arsae-MG diferirá do indicador IN016, do Snis, e utilizará o código AR018 para defini-lo. O cálculo dar-se-á da seguinte forma:

AR018A=(ES006 A+ ES015A)

(ES005A)×100=

(10 + 0)

(10)×100 = 100%

AR018B=(ES006 B+ ES015B)

(ES005B)×100=

(30 + 0)

(100)×100 = 30%

De fato, o indicador do Snis considera os volumes de esgoto exportados por um município – e importados por outro – no cálculo do IN016 de ambos, o que torna o resultado agregado do indicador enviesado. No exemplo acima, o valor agregado do IN016 para os dois municípios deveria ser de 36,4% (40/110), que é exatamente o valor da média dos dois valores do AR018 (100% e 30%), ponderada pelo volume coletado (10 e 100). Por outro lado, o resultado agregado do IN016 difere de 36,4%, independentemente da ponderação, comprovando o viés de sua análise agregada.


31



Desta forma, o indicador AR018 foi calculado para as bases completa e enxuta. Nesta última, não houve diferença entre os valores calculados de AR018 e de IN016. As simulações com o método Cart foram refeitas e resultaram em variáveis explicativas, valores de corte e grupos idênticos aos previstos para o indicador IN016 do Snis. As metas também se mantiveram iguais às definidas inicialmente. Conclusão: deferida. Proposta nº 16: Esclarecimentos sobre o indicador IN084

“Este indicador expressa a qualidade da água distribuída para consumo humano a partir da avaliação da presença de coliformes totais. Os requisitos referentes a este e aos demais parâmetros de qualidade são estabelecidos na Portaria 2.914/2011, do Ministério da Saúde (BRASIL, 2011). Na Portaria há metas diferenciadas para o indicador de acordo com a população abastecida no município, conforme apresentado a seguir: a) em sistemas com população abastecida de até 5 mil habitantes, devem ser coletadas no mínimo 10 amostras mensais de água, sendo permitido, no máximo, um resultado em desconformidade com os padrões da Portaria. Ou seja, um percentual de 10% de violação é aceitável para esse grupo; b) em sistemas com população abastecida entre 5 mil e 20 mil habitantes, deve ser realizada uma análise para cada 500. Assim, o número de amostras pode variar de 10 a 40. Já o número de análises não conformes aceitas é fixo, de uma por mês. Com isso, o percentual aceito de não conformidades pode variar de 2,5% (1/40) a 10% (1/10) ao mês; c) em sistemas com população abastecida superior a 20 mil habitantes, o percentual aceitável de amostras não conformes é fixo e igual a 5%, independentemente do número de análises. ”

Considerações COPASA Quanto as metas propostas para este indicador, não ficou claro qual a fundamentação para que os municípios classificados como 2A tenham metas mais exigentes daquelas propostas para os municípios do grupo 2B. Além disso, o valor de meta considerada satisfatória para os municípios do Grupo 2A está diferente comparando-se os Quadro 15 e 17, conforme destacado a seguir. Quadro 15: Metas propostas para o indicador IN084 Metas

Grupos Insatisfatório * Moderado * Satisfatório *

Grupo 1A ≥ 6,7% < 6,7% e > 0,8% ≤ 0,8% Grupo 1B ≥ 3,7% < 3,7% e > 0,5% ≤ 0,5% Grupo 2A ≥ 2,8% < 2,8% e > 0,7% ≤ 0,7% Grupo 2B ≥ 3,9% < 3,9% e > 2,1% ≤ 2,1%

Quadro 17: Comparação entre as metas estabelecidas na Portaria 2.914/2011 e as adotadas no ProSun para o indicador IN084

Critérios da Portaria 2.914/2011 Critérios do ProSun

AG026: População urbana atendida com abastecimento

de água (habitantes) 1

N° de análises requeridas por

mês 1

Valor máximo de violações permitidas 2 Meta Grupo Metas

< 5 mil 10 1 10% G1A 6,7% e 0,8% ≥ 5 mil e < 20 mil 10 a 40 1 10% a 2,5% G1B 3,7% e 0,5%

≥ 20 mil e < 250 mil 40 a 155 5% 5% G2A 2,8% e 0,5% ≥ 250 mil 155 a 1.000 5% 5% G2B 3,9% e 2,1%

(1) Faixas conforme anexo XIII; (2) limites conforme anexo I (BRASIL, 2011).

Avaliação da Arsae-MG


32



As metas de cada grupo foram determinadas de modo que permitissem avaliar, com nível de confiança de 95%, o cumprimento ou descumprimento das metas mensais da Portaria nº 2.914/2011 do Ministério da Saúde. De acordo com as metas definidas com a simulação de Monte Carlo, municípios classificados como satisfatórios (cor verde) têm, no mínimo, 95% de probabilidade de terem atendido à portaria em todos os 12 meses do ano. Já os municípios classificados como insatisfatórios (cor vermelha) têm, no mínimo, 95% de probabilidade de terem descumprido a portaria em ao menos um dos doze meses. A definição das metas anuais, as quais são aplicadas às categorias de avaliação estática, depende de três fatores: do valor das metas mensais estipuladas na portaria, do nível de confiança desejado e do número de amostras requerido em cada grupo. Mantidas constantes as demais condições, quanto maior o número de análises requeridas (grupo G2B), maior a “certeza” do cumprimento ou do descumprimento da meta mensal, e mais flexíveis podem ser as metas anuais (2,1% e 3,9%). De outro modo, quanto menor o número de análises (grupo G2A), menor a “certeza” do cumprimento ou do descumprimento da meta mensal, e mais rígidas devem ser as metas anuais (0,7% e 2,8%). Em termos estatísticos, o grupo G2B oferece maior número de observações do que o grupo G2A. Isso incorre em menor variância da média e intervalo de valores mais flexível para o indicador IN084 neste grupo. Esta relação já não fica clara com os grupos G1A e G1B, porque além do número de análises, as metas mensais requeridas também são diferentes para cada um, impossibilitando uma associação direta entre número de análises requeridas e magnitude das metas. Em relação à meta do grupo G2A, apresentada no Quadro 17 da Nota Técnica Intergerencial nº 01/2017, pg. 27, o valor correto é 0,7%.

Critérios da Portaria 2.914/2011 Critérios do ProSun

AG026: População urbana atendida com abastecimento

de água (habitantes) 1

N° de análises requeridas por

mês 1

Valor máximo de violações permitidas 2 Meta Grupo Metas

< 5 mil 10 1 10% G1A 6,7% e 0,8% ≥ 5 mil e < 20 mil 10 a 40 1 10% a 2,5% G1B 3,7% e 0,5%

≥ 20 mil e < 250 mil 40 a 155 5% 5% G2A 2,8% e 0,7% ≥ 250 mil 155 a 1.000 5% 5% G2B 3,9% e 2,1%

Conclusão: deferida. Proposta nº 17: Alteração no indicador IN082

“No Diagnóstico do Snis 2014 (BRASIL, 2016a, p. 65), o extravasamento de esgoto é definido como fluxo indevido de esgotos ocorrido nas vias públicas, nos domicílios ou nas galerias de águas pluviais, como resultado do rompimento ou obstrução de redes coletoras, interceptores ou emissários de esgotos. O indicador IN082 expressa o número desses extravasamentos ocorridos por quilômetro de rede de esgoto. Ao contrário de indicadores como IN023, IN024 e IN016, não foram encontrados indicadores similares ao IN082 no Plansab ou em leis específicas. Por isso optou-se pelo emprego de estatísticas descritivas para a definição das metas em cada grupo. As metas receberam os seguintes valores limite:

a) Valores de IN082 menores ou iguais ao percentil 25%, em cada grupo, são categorizados como “satisfatório”; b) Valores de IN082 maiores que o percentil 25% e menores ou iguais ao percentil 75%, em cada grupo, são categorizados como “moderado”;


33



c) Valores de IN082 maiores que o percentil 75%, em cada grupo, são categorizados como “insatisfatório”. “


34



Considerações COPASA As variáveis explicativas testadas não levaram em consideração parâmetros como a idade da rede e sua complexidade, devido às características como maior ocorrência de ocupações irregulares e aglomerados urbanos ou municípios constituídos em localidades ribeirinhas. Dessa forma, o critério puramente estatístico utilizado para a definição de metas deste indicador, não leva em consideração estes fatores. Há que se considerar ainda que, identificado o desempenho insatisfatório dos índices de extravasamento existentes, o tempo de atuação envolve principalmente ações de longo prazo de substituição da malha de rede. Além disso, deve-se levar em conta a dificuldade de se identificar e atuar junto ao cliente na eliminação de águas pluviais lançadas indevidamente no sistema de esgotamento sanitário. Muitas das vezes, as ações dependem de posturas municipais específicas (existência de legislação e fiscalização municipal e vigilância sanitária). Outro ponto a se considerar, para comparar o desempenho entre municípios e prestadores, é que pode haver diferentes interpretações e falta de padronização para registro das ocorrências de extravasamentos de esgoto, dependendo da forma de controle das manutenções realizadas no sistema de esgotamento sanitário. A COPASA considera como Extravasamento as ocorrências registradas em seu sistema comercial pelos códigos: 315 – Vazamento de esgoto e 326 – Refluxo no Interior do Imóvel, enquanto outros prestadores podem adotar outro critério. Avaliação da Arsae-MG Para simular a divisão de municípios/prestadores em grupos, foram testadas sete variáveis de contexto com o método Cart. É possível que as variáveis propostas (idade e complexidade da rede, ocorrência de ocupações irregulares, existência de localidades ribeirinhas) também afetem a ocorrência de extravasamentos de esgoto. Porém, não foram localizadas bases de dados que contenham esse tipo de informação e que abranjam todos os municípios do estado. Por isso, a princípio, tais variáveis não puderam ser incorporadas ao escopo deste trabalho. Com relação às intervenções no sistema de esgotamento sanitário, a agência reconhece que algumas ações do envolvimento do titular do serviço e podem demandar mais tempo do que as associadas a outros indicadores. Por isso, o Prosun não pretende vincular sanções ou penalidades ao prestador devido a desempenho insatisfatório. Devido ao caráter interinstitucional, os resultados da avaliação de desempenho serão divulgados nas três grandes esferas de atuação da regulação: prestadores de serviços, titulares e usuários. Espera-se, desse modo, criar oportunidades para discussão conjunta das mudanças necessárias para melhorias nos serviços. Por fim, o conceito de extravasamento de esgoto ainda carece de definição no glossário de informações do Snis. Como esta base de dados não é gerenciada pela Arsae-MG, será encaminhada ao Ministério das Cidades a sugestão de incluir no glossário definição. Conclusão: indeferida. Proposta nº 18: Alteração do agrupamento do indicador IN049

“O índice de perdas na distribuição expressa a proporção do volume de água distribuído que não é consumido pelos usuários, seja por aspectos físicos da operação dos sistemas (vazamentos), comerciais (ligações clandestinas e outras fraudes) ou ainda por problemas de medição (macromedição e hidrometração deficientes e imprecisão inerente aos dispositivos).


35



Dentre as variáveis explicativas apresentadas no Quadro 22, aquelas que se mostraram mais adequadas para a diferenciação de grupos de prestadores/municípios foram a população urbana atendida com abastecimento de água (AG026) e a declividade (AR015). De acordo com a hipótese explicativa, quanto maior a população urbana atendida (maior AG026), maiores os índices de perdas (maior IN049). Em um segundo particionamento, quanto maior a declividade (maior AR015), maior o índice de perdas (maior IN049). O modelo Cart adotado é apresentado na Figura 7. De acordo com os resultados, o estabelecimento de grupos seguirá os seguintes critérios:

a) Grupo 1A: prestadores/municípios com AG026 menor que 22.360 habitantes e AR015 menor que 7,97%; b) Grupo 1B: prestadores/municípios com AG026 menor que 22.360 habitantes e AR015 maior ou igual a 7,97%; c) Grupo 2A: prestadores/municípios com AG026 maior ou igual a 22.360 habitantes e AR015 menor que 11,49%; d) Grupo 2B: prestadores/municípios com AG026 maior ou igual a 22.360 habitantes e AR015 maior ou igual a 11,49%.”

Considerações COPASA Embora a avaliação estatística tenha balizado o agrupamento dos municípios entre maior ou menor que 22.360 habitantes, entendemos que municípios com características de polo regional, com maior complexidade da malha urbana, ocorrência de ocupações irregulares e aglomerados urbanos deveriam ter uma avaliação específica em razão da influência destas outras características nos resultados de perdas. Portanto sugerimos a criação de pelo menos mais um grupo de municípios com mais de 50 mil ligações de água, para que a comparação de desempenho reflita as diferenças existentes. Quanto ao item volume de serviço previsto no glossário do SNIS, que trata de volume de água para atividades operacionais, para atividades especiais e volume de água recuperado, podem ser adotados critérios distintos pelos diferentes prestadores de serviço. A COPASA adota, para o indicador IN049, um percentual de volume de água de serviço em relação ao volume distribuído total de 0,5%, já que não há medição para todos os usos previstos como atividades operacionais, especiais e volume recuperado. Avaliação da Arsae-MG Na etapa de agrupamento com o método Cart, procurou-se evitar a divisão em muitos grupos e a formação de grupos com poucos municípios. Por isso foi estabelecido previamente que o número máximo de grupos, em cada indicador, seria de quatro (considerando duas partições completas) e que o número mínimo de observações em cada grupo formado seria 100 (34 municípios ao longo de 3 anos). Portanto, mesmo que haja outras variáveis explicativas com associação significativa com o indicador, essas serão ignoradas para garantia do número máximo de quatro grupos. As variáveis explicativas testadas foram:

AG026: População urbana atendida com abastecimento de água

Ano: Ano de referência

AR015: Declividade

AR010: Índice de economias atingidas por paralisações

AR013: Consumo total de energia elétrica nos sistemas de abastecimento por metro cúbico produzido

IN020: Extensão de rede por ligação


36



IN053: Consumo médio de água por economia

X001: Abrangência do prestador

X100: Natureza jurídica do prestador Para avaliar se havia associação significativa com o índice de perdas (IN049), o porte do município poderia ser expresso pela população urbana atendida com abastecimento de água (AG026) e pela quantidade de ligações ativas de água (AG002). Como as hipóteses para as duas variáveis são semelhantes (existência de mais aglomerados urbanos desordenados, dificuldade de monitoramento de vazamentos e de realização de leituras) e há uma correlação forte entre elas, optou-se por utilizar apenas uma, a variável AG026. Caso houvesse diferença considerável no indicador de perdas (IN049) entre municípios abaixo e acima de 50 mil ligações (AG002), isso repercutiria na divisão por população atendida (AG026) próximo de 160 mil habitantes (considerando uma média de 3,2 habitantes por ligação, por exemplo). Como isso não ocorreu, podemos inferir que a divisão por grupos no ponto de corte de 22.360 habitantes está associada a maior diferença entre os dois grupos de municípios do que se fosse empregado um ponto de corte próximo de 160 mil habitantes (50 mil ligações). Em segundo lugar, em cada subgrupo formado pela divisão por população, o indicador de perdas (IN049) está mais associado à variação na declividade (AR015) do que à variação na população atendida (AG026) ou, caso testado, no número de ligações (AG002). Caso este ponto de corte de 50 mil ligações fosse mesmo muito significativo para alterar o resultado do IN049, o modelo Cart teria dividido os municípios pelo AG026 novamente no segundo nó, em vez da declividade. Como isto não ocorreu, acredita-se que o modelo escolhido se mostra mais eficaz na separação de grupos homogêneos. Outro aspecto importante é que os agrupamentos não deverão sofrer a influência de análises subjetivas para adição ou remoção de grupos ou ainda alteração dos pontos de corte identificados pela metodologia Cart. Tal ação descaracteriza o uso de uma análise fundamentada em preceitos estatística e optaria por uma análise subjetiva, mais frágil, questionável e, muitas vezes, particular. Na Figura 3 são apresentados lado a lado o ponto de corte adotado pela Arsae-MG e o proposto pela Copasa. Os valores de população atendida (AG026) estão em escala logarítmica, a fim de facilitar a visualização. De acordo com os dados do Snis de 2012 a 2014, a razão entre AG026 e AG002 é de 3,19 habitantes. Logo, o valor de corte proposto de 50.000 ligações (AG002) equivale a 159.500 habitantes (em termos de AG026).


37



Figura 3: Distribuição dos resultados do Cart vs. Proposta da Copasa

Na Figura 3, a linha vermelha, ponto de corte sugerido pela Copasa (50 mil ligações), gera um grupo à direita do gráfico com exatamente 36 observações (12 municípios em 3 anos). Portanto, um resultado do Cart inválido, haja vista que o número mínimo de observações em cada grupo deveria ser 100 (34 municípios). Quanto à definição do volume de água de serviço (AG024) para atividades operacionais, o Projeto Acertar avaliará diferentes metodologias para determinação dessa variável. Porém, no escopo do Projeto Sunshine não há possibilidade de alteração das informações oriundas do Snis. Apenas o encaminhamento de sugestões ao Ministério das Cidades e à Secretaria nacional de saneamento Ambiental. Ademais, acredita-se que a informação volume de água de serviço (AG024) tem contribuição pequena no índice de perdas, não só no caso da Copasa (de 0,5%), mas também para outros prestadores. Conclusão: indeferida. Proposta nº 19: Alteração na meta do indicador IN011

“O índice de macromedição expressa a proporção do volume distribuído que é macromedido, considerando-se exportações e importações de água tratada entre sistemas produtores de diferentes municípios. No Snis é considerado como macromedido o volume de água registrado por meio de macromedidores permanentes na saída das estações de tratamento de água (ETA), unidades de tratamento simplificado (UTS), poços e pontos de entrada de água tratada importada, caso existam.”

Considerações COPASA Considerando a forma de avaliação do indicador, a partir do volume macromedido, há casos em que, apesar da existência de equipamento medidor na saída do tratamento, paralisações momentâneas por fatores externos, como falta de energia, representam um percentual de volume sem medição superior a 1%.

0

10

20

30

40

50

60

70

1 2 3 4 5 6 7

IN0

49

: Ín

dic

e d

e p

erd

as n

a d

istr

ibu

ição

(%

)

Log (AG026: População urbana atendida)

Dados SNIS 2012 a 2014

Resultado Cart: log(AG026=22.360)=4,35

Proposta Copasa: log(AG026=159.500)=5,2


38



A maioria dos sistemas possuem apenas um ou dois equipamentos na saída do tratamento, desse modo, sua indisponibilidade temporária para reparos impacta sensivelmente nos resultados do indicador. Assim, percebemos que pequenos impactos no funcionamento do equipamento de medição geram um impacto representativo no indicador, incompatível com a adoção de metas da ordem de 99%. Avaliação da Arsae-MG É improvável que paralisações momentâneas reduzam o valor do indicador em mais de um ponto percentual. Para que isso ocorresse, os macromedidores deveriam ficar inoperantes durante um por cento do tempo. Considerando um ano, isso equivaleria a um total de 3 dias e 16 horas, ou a uma média de 7 horas e 20 minutos por mês. A menos que ocorram paralisações semanais ou diárias, o valor do indicador não deve ser afetado de forma considerável. Nos casos de interrupção do fornecimento de energia elétrica, por exemplo, se a unidade de recalque também for afetada, não haverá prejuízo no processo de macromedição. Se as paralisações nos dispositivos macromedidores forem frequentes, é recomendável que o prestador adquira fontes alternativas de energia elétrica (baterias, por exemplo) para que a operação dos macromedidores não seja interrompida. Conforme as estatísticas descritivas do indicador IN011 da base enxuta (apenas municípios que informaram dados de 2012 a 2014), apresentadas no Quadro 7, 72,56% dos valores analisados são maiores ou iguais a 99%. Apenas 5% dos valores estão abaixo de 70% de macromedição. Com isso a adoção de uma meta de 99% se torna razoável para a massa de dados em estudo. Quadro 7: Distribuição de frequência dos valores da base enxuta do indicador IN011

Intervalo Número de

observações Percentual de

observações (%) Percentual acumulado

de observações (%)

0 |- 10 15 0,79 0,79

10 |- 20 13 0,68 1,47

20 |- 30 11 0,58 2,05

30 |- 40 10 0,53 2,58

40 |- 50 10 0,53 3,10

50 |- 60 16 0,84 3,94

60 |- 70 20 1,05 4,99

70 |- 80 43 2,26 7,26

80 |- 90 96 5,05 12,30

90 |- 95 120 6,31 18,61

95 |- 98 100 5,26 23,87

98 |- 99 68 3,58 27,44

99 |- 100 130 6,83 34,28

= 100 1.250 65,72 100,00

Total 1.902 100,00

Conclusão: indeferida. Proposta nº 20: Alteração no plano de comunicação

“A Arsae-MG poderá estabelecer procedimento de avaliação comparativa e classificatória entre municípios, com o objetivo de conferir premiação pelo reconhecimento das melhores práticas identificadas. Porém, caso o projeto alcance este nível de desenvolvimento, a metodologia de classificação será descrita em nota técnica e resolução específicas para essa finalidade.”


39



Como um dos objetivos da proposta de Avaliação dos Prestadores Regulados é a comparação do desempenho entre municípios e consequentemente prestadores de serviço, reiteramos os pontos que merecem avaliação para possibilidade de interpretações e critérios distintos entre os prestadores de serviço de diferente natureza. Como exemplo, para a situação sugerida para os indicadores IN023 e IN024, de adoção pelo SNIS, do percentual de cobertura com rede de abastecimento a partir da avaliação do número de economias residenciais (imóveis) ativas em relação ao total de economias residenciais existentes em cada município, há que se considerar que depende do cadastro confiável de economias que sequer são atendidas pelos prestadores. Para o indicador IN016 – Percentual de esgoto tratado, a comparação não é restrita a existência ou não de medidor para avaliação do volume tratado, o que também permite subjetividade na forma de apuração do volume entre diferentes prestadores. Quanto ao indicador IN082 – Extravasamento de esgoto por extensão de rede, conforme já destacado, pode haver diferentes interpretações e falta de padronização para registro das ocorrências de extravasamentos de esgoto, dependendo da forma de controle das manutenções realizadas no sistema de esgotamento sanitário. A COPASA considera como Extravasamento as ocorrências registradas em seu sistema comercial pelos códigos: 315 – Vazamento de esgoto e 326 – Refluxo no Interior do Imóvel, enquanto outros prestadores podem adotar outro critério. Da mesma forma, para o indicador IN049 – Índice de perdas na distribuição, para comparar o desempenho de prestadores é preciso avaliar o critério adotado para o item volume de serviço, que trata de volume de água para atividades operacionais, para atividades especiais e volume de água recuperado, que podem não ser os mesmos critérios para diferentes prestadores. A COPASA adota um percentual de volume de água de serviço em relação ao volume distribuído total de 0,5%, já que não há medição para todos os usos previstos como atividades operacionais, especiais e volume recuperado. Avaliação da Arsae-MG Conforme já apresentado na Nota Técnica Intergerencial nº 01/2017, o objetivo do Prosun é apresentar de forma clara, transparente e simples a avaliação de alguns dos indicadores disponíveis no Snis. A necessidade de aprimoramentos nesse banco de dados vem sendo discutida junto ao Ministério das Cidades à medida em que são detectadas oportunidades de melhora. Para evitar a ocorrência de vieses na interpretação dos resultados, principalmente para os indicadores citados (IN023, IN024, IN016, IN082 e IN049), as particularidades pertinentes a cada um serão apresentadas no relatório final de resultados. Acredita-se que tais fatores não inviabilizam a regulação por exposição, mas sobre os quais cabem esclarecimentos. Conclusão: deferida.


40



4 CONSIDERAÇÕES FINAIS As contribuições recebidas pela Arsae-MG no âmbito da Audiência Pública nº 18/2017 foram analisadas e consolidadas nesta Nota Técnica Intergerencial nº 03/2017. As propostas indeferidas foram devidamente justificadas. Já as propostas deferidas resultaram na modificação da Nota Técnica Intergerencial nº 01/2017 e na minuta de resolução. Ressalta-se que algumas adequações textuais não mencionadas na presente nota técnica foram realizadas com o intuito de esclarecimento e não implicam em mudança na metodologia de avaliação e de divulgação dos resultados proposta originalmente. As versões finais dos documentos estão disponíveis no site da agência, no endereço www.arsae.mg.gov.br.

5 RECOMENDAÇÃO Recomenda-se à Diretoria Colegiada da Arsae-MG a apreciação desta Nota Técnica Intergerencial e da respectiva Minuta de Resolução à luz das contribuições recebidas na Audiência Pública nº 18/2017 e da análise da equipe técnica.

EQUIPE RESPONSÁVEL Belo Horizonte, 22 de dezembro de 2017.

Luiza Vilela De Souza Lopes Analista fiscal e de regulação

MASP nº 1.371.634-5

Misael Dieimes de Oliveira Analista fiscal e de regulação

MASP nº 1.367.103-7

Ricardo Luiz Vilela de Castro Analista fiscal e de regulação

MASP nº 1.371.488-6

Gizele Araújo Borba da Fonseca Gerente de Informações Operacionais

MASP nº 1.369.714-9

Samuel Alves Barbi Costa Gerente de Informações Econômicas

MASP nº 1.267.170-7

De acordo:

Raphael Castanheira Brandão Coordenador Técnico de Regulação e

Fiscalização Econômico-Financeira MASP nº 1.288.895-4

Rodrigo Bicalho Polizzi Coordenador Técnico Operacional

de Regulação e Fiscalização MASP nº 1.130.651-1

http://www.arsae.mg.gov.br/


41



APÊNDICE A – Transcrição das contribuições recebidas na audiência pública

Contribuição nº 1 (ver item 2.1) Maristela – Cesama - Juiz de Fora “Boa tarde a todos. Meu nome é Maristela sou da Cesama de Juiz de Fora. Não é bem uma dúvida é você vai disponibilizar essa nota aí para a gente, para a gente se enquadrar, os slides?“ “A gente teve até uma dúvida aqui, onde que a gente vai se encontrar ali naqueles índices de tratamento de esgoto na variável explicativa. A dúvida foi mais uma interpretação do que dúvida mesmo. Aí no final você colocou um resumo, né falando o que que é. Então assim, é só para a gente não ter dúvida.“ Resposta Arsae-MG durante audiência: Misael – Analista de informações operacionais da Arsae-MG “Sim. Os slides vão ser disponibilizados juntamente com a nota técnica sim.“ Samuel – Gerente de Informações Econômicas da Arsae-MG “Maristela, só complementando, a gente vai disponibilizar também no site a base de dados. Aí na base de dados já tem também a classificação do município. Vai ter lá tipo assim: cada variável, ou seja, cada indicador com agrupamento que ele está dada a variável de contexto e na base de dados você vai conseguir enxergar também a variável de contexto.” __________________________________________________________________________________ Contribuição nº 2 (ver item 2.2) Elisângela Martins de Oliveira - Copasa “Elisângela Martins de Oliveira, Copasa. Em relação as variáveis explicativas e aos agrupamentos. Isso vai ser dinâmico quando a gente tiver avaliando o resultado de todos esses grupos podem mudar ou ele vai ficar estático nessa posição que vocês avaliaram de 2012 a 2014? ” Resposta Arsae-MG durante audiência: Samuel – Gerente de Informações Econômicas da Arsae-MG “A ideia é que a gente mantenha ele estático, mas é porque dependendo da variável ela pode mudar ao longo do tempo então você pode mudar agrupamento. O que que eu quero dizer: o município hoje tem 22.359 hab. aí no ano que vem ele aparece com 22.361 hab. Então quer dizer que a nota de corte não muda por 04 anos, ou seja, até a avaliação de 2018. Mas, se a categorização dele mudar por alterações nas condições de contexto aí ele é avaliado de forma diferente. ” __________________________________________________________________________________ Contribuição nº 3 (ver item 2.3) Ronaldo de Melo César Júnior - Copasa “Ronaldo de Melo César Júnior da Copasa eu queria fazer uma pergunta a respeito do (indicador) IN023 e IN024. Ele no SNIS se refere a ligações conectadas à rede e hoje nós temos uma realidade na água começando a acontecer com mais frequência, até por causa da crise econômica, e no esgoto já é muito relevante de ligações com disponibilidade de rede, mas que não tem interesse em lançar, por alguns motivos né: por motivos financeiros, não está disposto a pagar a conta entre outros e na hora que a gente, que dizer que o indicador considera conectado. Será que na meta talvez esse percentual teria que ser utilizado? Por que senão o que acontece: você passa a discutir o atendimento só do cliente


42



está conectado e as vezes o cliente tem a disponibilidade, mas não está conectado. É uma coisa que a gente tinha que pensar. “ Resposta Arsae-MG durante audiência: Samuel – Gerente de Informações Econômicas da Arsae-MG “Acho muito pertinente a colocação a gente vai avaliar isso com cuidado se você puder até formalizar a contribuição para a gente. Porque a gente sabe que tem os usuários factíveis, que são aqueles que não estão conectados de fato a rede. A dificuldade é que no SNIS essa variável a gente não tem acesso a ela. A gente está no processo de migração do SNIS para o SINISA. Então eu acho que é muito importante, não sei se vocês colocaram na consulta pública que saiu recentemente do SINISA, mas é interessante colocar esse questionamento lá. A gente chegou a atribuir alguma coisa em relação, por exemplo, a própria população na área de concessão. A gente acha que seria muito interessante ter a informação de população na área de concessão até para poder recalcular esses indicadores de maneira mais precisa. Se eu pego Copasa e Copanor, por exemplo, a COPASA atende uma parte do município Copanor atende outra. Se eu for olhar o indicador da Copanor ele pode ser, por exemplo, 20% só que na verdade ele pode cobrir 100% da sua área de concessão. Então isso foi um questionamento que gente colocou. A gente está muito próximo do pessoal do Ministério das Cidades e do SINISA e a gente está fazendo esses questionamentos e colocando junto para eles. Eu não sei se nessa etapa do SINISA eles vão apreciar isso. Como contribuição foi, mas como a gente está limitado de certa forma ao SINISA nesse primeiro ciclo eu não sei até que ponto que a gente vai conseguir fazer ajuste em relação a isso, porque talvez a gente teria o dado da Copasa, teria o dado as vezes dos nossos prestadores regulados, mas não teria o dado de outros prestadores para a gente poder definir a meta, porque a meta está comparativa a todos os municípios. Mas algum tipo de ajuste pode ser que a gente consiga considerar nesse sentido. Então formaliza isso para a gente, para a gente avaliar com cuidado. ” __________________________________________________________________________________ Contribuição nº 4 (ver item 2.4) Raquel Lara Braga – Prefeitura de Belo Horizonte Item 01: “Raquel Lara Braga – Prefeitura de Belo Horizonte. “ Eu não sei se sua resposta agora ao Ronaldo respondeu um pouco. Primeiro eu queria dar os parabéns trabalho muito legal muito interessante e fazer umas perguntas tirar umas duvidas aqui. Seria possível utilizar os indicadores do SNIS, mas obter as informações diretas do prestador para evitar essa defasagem essa desatualização dessas informações? ” Item 02: “A outra dúvida é com relação ao índice de perdas. Não corre o risco de não ser avaliado, vocês têm uma noção da quantidade de municípios que não possuem esses 90% de macromedição? ” Item 03: “Mais ou menos nessa linha com relação ao indicador de cobertura de água e esgoto né que que não será avaliado prometo que tiver mais de um prestador não sei se eu também vou falar bobagem, mas a COPASA mais atende mais sedes né, então tem muito município que não vai ser avaliado né, também tem essa. “ Item 04: “Agora é só uma é porque no papel que eu imprimi que está no site fala que o indicador in084 – incidência de coliformes – ele só será avaliado se o IN085 for igual a 100% só que não tem IN085 aqui, isso aqui ainda está valendo? ” Resposta Arsae-MG durante audiência: Samuel – Gerente de Informações Econômicas da Arsae-MG Item 01: “Em relação as informações direto do prestador é porque a gente só consegue ter as informações direto do prestador daqueles prestadores que a gente regula. Então qual o problema na verdade: como as informações são comparativas a gente está usando uma base para comparação e exposição se a gente adotar alguma coisa que a gente só tem informação do prestador que a gente regula ele perde um pouco do propósito. Porque, vamos supor, que a Copasa é a melhor empresa de saneamento. Se ela for a melhor e a gente estiver estabelecendo meta com base nela mesmo, ótimo.


43



Mas vamos supor que a Copasa não seja tão boa assim, e a gente tenha outras referências muito melhores nacional e/ou internacionalmente. A nossa ideia é conseguir comparar esses dados para que a gente possa trazer essa fronteira para cá. E a gente possa avaliar ela a luz dos resultados de outros prestadores. Nesse primeiro ciclo a gente está usando só MG, mas a ideia é que a gente possa ampliar isso. A ideia é ir descolando aos poucos de só de MG e pegar referências no resto do país e futuramente internacionais. Por isso, que a gente não está usando necessariamente informações do prestador. Mas a gente está trabalhando com o Projeto Acertar que é aquele que certifica as informações e a ideia que com o andamento desse projeto dentro dos próximos 04 ou 05 anos a gente consiga já ter uma redução nessa defasagem de dados para dentro do SINISA, que vai ser o novo sistema nacional. Então a ideia é que a gente comece agora meio que engatinhado e chegue nesse nível que você está falando um pouco mais para a frente. “ Misael – Analista de informações operacionais da Arsae-MG Item 02: “Nós fizemos essa simulação considerando o seguinte: adotando essas metas hoje, com os dados publicados em 2015 nós fizemos essa simulação para ver qual seria o resultado, quantos municípios ficariam na categoria verde, amarelo, vermelho e quantos municípios não seriam avaliados. Então nós fizemos isso para esse e para outros indicadores também para a gente acabar não dando um tiro no escuro. Então nós já temos uma noção de como seria o comportamento dos resultados. Nós só não apresentamos nessa etapa de audiência pública para esta minuta de resolução, porque a gente queria discutir estritamente a metodologia e não resultado. Nós estamos fazendo simulações para averiguar qual seria o resultado adotando essa metodologia proposta até o momento. “ Samuel – Gerente de Informações Econômicas da Arsae-MG Item 03: “Na verdade, a gente tem esse problema sim. São acho que cerca de 80 municípios, 80 e poucos municípios, que estão na situação de dupla concessão de serviço. A ideia é que a gente apresente um número, mas não apresente a cor. Entendeu, então no caso de dupla prestação, o que é que teria que ser feito uma análise agregada. No nível do município a gente teria como agregar o município e não avaliar o prestador, mas avaliar o conjunto de prestadores que operam naquele município. Então, se você pegar por exemplo acho que São Joao del Rei tem esse caso de dupla prestação, mas é com o próprio município. Então o que é que vai acontecer. Vários municípios vão se encontrar nessa situação mais ou menos uns 80. Se você pegar a avaliação você vai ver um prestador e você pode selecionar todos os prestadores do município você vai ver um prestador, vai ver outro prestador e aí você pode também olhar o município no nível agregado. Então no nível agregado você vai ter de certa forma uma avaliação dos índices de cobertura. Tem outros que não vão conseguir ser agregados. “ Misael – Analista de informações operacionais da Arsae-MG Item 04: “Isso está valendo ainda. Assim como o indicador de perdas o pré-requisito para se avaliar o indicador in084 de coliforme totais é ser cumprido o número mínimo de analises requeridas. Como por exemplo, para esse indicador a gente tem uma meta que só vai ser verde se estiver abaixo de 10%. Agora para um município que tem que fazer no mínimo 50 análises se ele fizer só 10 ele pode estar correndo o risco de ele estar separando aquelas 10 análises que deram resultados em conformidade. Então a gente com o monitoramento consistente nós estamos avaliando o indicador só quando o plano de amostragem é cumprido. Isso está valendo. O indicador de qualidade só vai ser avaliado quando o plano de amostragem para todo o município for cumprido. “ ____________________________________________________________________________ Contribuição nº 5 (ver item 2.5) Denise Helena França Marques Maia - Pesquisadora da Fundação João Pinheiro


44



Item 01: “Meu nome é Denise Helena França Marques Maia e eu sou pesquisadora da Fundação João Pinheiro eu queria saber como é que você se chama, a Raquel ela fez a pergunta sobre quando você tem mais de um prestador né no município e aí vocês falaram mesmo que não vai ser calculado né aí você falou agora Samuel, que pode ser calculado esse percentual de cobertura né, mas que você não vai classificar, mas qual denominador que você vai usar para cada prestador? Item 02: “Eu só queria chamar atenção e depois vocês dão uma olhada conforme a Fundação João Pinheiro quando a gente foi calcular o grau de cobertura de serviços a gente teve que dar uma olhada na população. E aí nós fizemos uma comparação desse grau de cobertura a gente acabou fazendo uma projeção de domicílios porque se usa a economia como proxy de domicílio e tal e aí nós fomos comparar com dados dessa população urbana atendida com abastecimento de água que o SNIS fornece e o número ficou muito diferentes do nosso e aí a gente foi olhar a metodologia deles. Então assim, parece que eles fixam uma densidade domiciliar e mantém essa (densidade). É um pressuposto muito forte porque a gente sabe que se você tem uma densidade de domicílios e ela está diminuindo né porque a população ela está diminuindo e tal então é só para levar isso em consideração, porque um dos pontos que a gente vai discutir lá na Fundação João Pinheiro, pensando nessa questão dos indicadores do qual que vai ser o futuro da pesquisa de saneamento que a fundação operacionaliza, um dos pontos é esse em que a gente estava olhando também os dados do Snis e aí surgiu quando a gente foi comparar os nossos dados né que a gente extrapolou população e calculou o número de domicílios e tal e com a população atendida urbana do SNIS deu uma diferença muito grande em alguns os municípios e têm municípios em que a população está diminuindo, então assim é só para vocês terem em mente isso, sabe.” Resposta Arsae-MG durante audiência: Samuel – Gerente de Informações Econômicas da Arsae-MG Item 01: “ Na verdade, sim. O indicador já sai calculado direto do Snis. Ele usa no denominador a população total urbana do município, então que que a gente está propondo na verdade é o seguinte é que a avaliação ela não seja feita no nível do município, porque se ela foi feita no nível do município eu vou estar subestimando o atendimento porque eu não tenho a concessão de todo município eu tenho uma concessão parcial. E essa concessão parcial se eu avaliar o indicador IN023 ou IN024 do SNIS eu vou ter problema de subestimação. No nível do município completo eu avaliar aquele indicador a gente não está propondo avaliar o nível do município completo, mas se eu olhar o indicador do município completo eu teria entre aspas o índice de atendimento real ali a depender óbvio da concessão cobrir toda a área urbana. “ Samuel – Gerente de Informações Econômicas da Arsae-MG Item 02: “Eu vou comentar um pouquinho sobre isso porque esse caso foi um caso específico. Eu acho que eu já sei o que você está querendo dizer. Porque o que que acontece a Copasa eu acho que a Elisangela pode até complementar depois se for necessário, mas o que que acontece. A gente já estava percebendo há um bom tempo que os cálculos que a gente tinha do IBGE e do SNIS. O do SNIS ele meio que segue o cálculo do IBGE ele nem muda nada, ela já puxa direto das bases do IBGE. Então, em relação a população o que estava acontecendo é que gente percebeu nos nossos estudos que a população da Copasa inclusive a população urbana atendida estava ultrapassando a população projetada pelo IBGE total do município. Então o que aconteceu, a Copasa estava há muito tempo sem revisar a metodologia de cálculo da população, então ela começou a ter uma sobrestimação muito substancial da população naqueles municípios e o SNIS não ajusta dados para trás. Nos nossos dados depois que passou por essa retificação se não me engano foi em 2015, quando teve essa retificação a nossa base de dados a gente retornou nessas bases de dados desde 2010, 2009 e retificou toda a população atendida para trás. Só que no Snis, principalmente o SNIS 2015, apresentou uma redução substancial da quantidade de população atendida porque houve a retificação pontual só nesse ano, tipo deu uma quebra estrutural na base de dados, então a Copasa tinha basicamente 100%, 90% de abastecimento de água e caiu para 92%, acho que a Elisângela vai conseguir falar mais precisamente esses números. Então eu imagino que o problema tenha sido esse e a gente está ciente e já retificou


45



de certa forma as nossas bases dados e a gente já está com isso apreciado aqui. Inclusive no ano que é o primeiro ano de avaliação 2015. Em 2014 não tinha esse problema em 2015 tem, então os níveis de atendimento deram uma caída e foram classificados abaixo do que a gente esperava em relação a atendimento de água principalmente e atendimento de esgoto. Todos os (indicadores) que envolvem população. “ ... “A gente tem bastante consciência disso e a gente está trabalhando junto com o SNIS para tentar superar isso. A última consulta que eles fizeram a gente já fez esse tipo de contribuição. Eu acho que vocês devem ter feito também. A gente vai fazer uma pressão um pouco maior para ver se a gente consegue fazer essa alteração para o SINISA que deve começar em 2019. ” Misael – Analista de informações operacionais da Arsae-MG Item 02: “Só complementando essa questão da população da área de concessão a questão também das ligações factíveis são alguns pontos onde nós no nosso dia a dia nós temos feito correções pontuais para alguns números de municípios, porém para avaliação no projeto Sunshine avaliação que engloba vários prestadores nós estamos tentando manter uma metodologia uniforme, manter a isonomia tanto prestador local, como a Cesama, como para prestadores regionais como a Copasa. Então sempre que possível nós tivermos uma solução que possa ser aplicada tanto para prestadores locais quanto regionais e corrigir esses vieses, nós estamos tentando, mas nós estamos evitando fazer intervenções pontuais. No caso do indicador teria sido muito bem-vindo se a gente puder fazer esse ajuste em relação a população na área de concessão fazer isso para a Copasa, para a Copanor, Cesama, passos e Itabira. Estamos ainda com algumas dificuldades. Estamos ainda estamos fazendo estudos para tentar vencer esse viés com relação a população, economias, número de habitantes por domicílios, nós estamos fazendo estudos para tentar suprir esses pequenos problemas. “ Elisângela Martins de Oliveira - Copasa Item 02: “Além desse dessa questão de 2015 né que teve essa revisão da Copasa, então a gente observa uma questão ainda que eu acho que fecha com o que ela tá falando que é o seguinte: o denominador que o Snis utiliza que o do IBGE é diferente do denominador que a gente considera ainda hoje mesmo que a área de concessão seja o município todo a gente trabalha com uma estimativa de habitantes por domicílio que a gente observa pela quantidade de economia totais que a gente existe no nosso cadastro olhando potenciais, factíveis e tudo e aí a gente calcula uma a gente parte de um número do IBGE que vem lá do Censo de 2010 e projetou isso a gente distribui essa população para o número de economias que pode ser maior ou menor do que era a expectativa para hoje vamos dizer sim. E aí se a gente olhar o nosso indicador interno que é igualzinho esse aqui população atendida em relação à população urbana do município a gente trabalha com um denominador que o Snis depois vai lá e ele está um pouco diferente talvez por isso que ela tá falando a gente observa também essas questões de ele ser considerado uma maior densidade uma menor densidade que não se concretizou talvez e aí o nosso cálculo da atendida fica em cima de uma expectativa de habitantes por domicílio que já é diferente da deles pro cálculo deles. Para nossa conta pode ser que eu tenho 98% de atendimento que eu vou usar mesmo atendida para informar lá, mas como ele está usando uma base gerente ele vai chegar no percentual também diferente só isso a gente observa que acontece mesmo de 2015 para cá depois da revisão dos cálculos da Copasa. ”

Documents

NOTA TÉCNICA INTERGERENCIAL Nº 03/2017 RESPOSTA ÀS ... · audiência pública nº 18/2017 com fase presencial ocorrida em 09 de outubro de 2017. O objetivo da audiência pública