Alguns planos, ao apresentarem indicadores de desempenho como mecanismos e procedimentos para avaliação sistemática, deixaram de fora os indicadores de cobertura e/ou atendimento. Porém, nestes casos, admitiu-se que o plano considera implicitamente estes
índices, em função das metas de universalização.
Quanto aos demais índices, a maioria dos planos estabeleceu indicadores de desempenho para acompanhamento de sua execução: 18 (dezoito) no total. No entanto, 8 (oito) planos que apresentaram indicadores para avaliação sistemática (Quadro 15), não associaram metas e prazos.
Quadro 15 – Indicadores de desempenho para avaliação sistemática dos planos.
METAS DE CURTO, MÉDIO E LONGO PRAZOS PARA UNIVERSALIZAÇÃO
PLANOS MUNICIPAIS DE SANEAMENTO
Á lv . d e C ar va lh o/ SP A ri qu em es/ R O B lu m en au /S C C aç ad or /S C C aç ap av a/ SP C ast il ho /S P C at ag ua se s/ M G Fl or ia nó po li s/ SC Ga ru va /S C Gu ar at in gu et á/ SP It ab or aí /R J M af ra /S C M ai ri nq ue /S P M or ad a N ov a/ C E Pa na mbi /R S Pa to s de M in as/ M G Po nt al /S P R io d o Su l/ SC S. J . d os Ca mpo s/ SP Sc hr oe de r/ SC Se n. C an ed o/ GO T ol ed o/ PR
O plano apresentou indicadores estratégicos para
avaliação da eficiência e eficácia dos serviços*.
O plano estabeleceu metas e prazos para indicadores
estratégicos.
Nota: *Exceto indicadores de cobertura e atendimento. Legenda: - confere; - não confere; - não aplicável.
A análise dos planos, quanto ao estabelecimento de indicadores de desempenho para acompanhamento e verificação do seu cumprimento, seja pelo titular dos serviços ou pela agência reguladora, indica que poderá haver dificuldades na verificação e acompanhamento da execução das metas, haja vista que as principais características dos indicadores não estão sendo observadas. Isto ficou caracterizado por algumas ocorrências verificadas na amostra de planos avaliada, cujas abordagens encontram-se expostas nos subitens seguintes.
a. Diferentes conceitos para um indicador.
O Quadro 16 mostra diferentes conceitos para o índice de perdas presentes nos planos de Caçapava/SP, Castilho/SP, São José dos Campos/SP e Itaboraí/RJ. Tal situação pode exigir, de todos os entes responsáveis pelo abastecimento de água, maiores estruturas de gestão dos indicadores e das metas inseridas nos planos.
No caso dos prestadores dos serviços, por exemplo, esta possibilidade ocorrerá onde houver um mesmo prestador de serviços responsável pela operação em vários municípios, como é o caso das CESBs15, devendo, portanto, observar os planos de saneamento básico de
cada um deles. Esquematicamente, a Figura 29 ilustra um caso deste tipo, onde os Municípios A, B,... e N possuem o mesmo prestador de serviços; entretanto, os índices Ica, Icb, ... e Icn, apesar de se referirem a um mesmo indicador, por exemplo, índice de perdas, podem ter seus conceitos, fórmulas e variáveis diferenciados (Quadro 16). Ocorrências como estas provocarão dificuldades ao prestador de serviços para estabelecer um sistema único informatizado para a gestão dos serviços.
Quadro 16 – Diferentes conceitos para o índice de perdas aplicado a planos de saneamento básico.
Município Conceito Fórmula Variáveis Unidade
Caçapava /SP Controle de perdas IPDT = [VPanual - (VCManual + VOanual)]/ NR média anual x (1.000/365)
IPDT = Índice de Perdas Totais por Ramal; VP = Volume produzido
(m³/ano); VCM - Volume de Consumo Medido e Estimado (m³/ano); VO = Volume Operacional: descarga de rede, limpeza de
reservatórios, bombeiros e sociais (m³/ano); NR = Média aritmética da quantidade de ramais ativos de 12 meses (un.).
L/ramal.dia Castilho /SP Índice de perdas totais de agua no sistema IPT = (VLP – VAM ) x 100 / VLP
VLP – volume total de água potável efluente das unidades de produção em operação no sistema de abastecimento de água, medido através de macro medidores; VAM = volume de água fornecido, em metros cúbicos, resultante da leitura dos micromedidores e do volume estimado das ligações que não os possuam. O volume estimado consumido por uma ligação sem hidrômetro será a média do consumo das ligações com hidrômetro de mesma categoria de uso.
%
Itaboraí/ RJ Índice de perdas de água IPA = (VP -VM)/(3.LA)
VP = Volume produzido nos últimos 3 meses (vide obs 4); VM = Volume Micromedido nos últimos 3 meses; LA = Total de ligações do Sistema de Água.
m³/lig.mês
São José dos Campos/ SP Índice de perdas do sistema de abastecimento IPH = volume produzido - volume consumido/ volume produzido x 100
IPH = Índice de perdas do sistema de abastecimento; volume produzido = poços e ETAs (m³); volume consumido = micromedido e estimado (m³).
%
Fonte: PMSB de Caçapava/SP, Castilho/SP, Itaboraí/RJ e São José dos Campos/SP.
Da mesma forma, sob a ótica do regulador, estadual16 ou consorciado, responsável pelo acompanhamento de diversos planos, haverá dificuldades em se estabelecer um sistema único informatizado para acompanhamento dos planos.
Estas situações obstam a efetividade do uso dos indicadores, pois inibirão a realização de estudos na perspectiva comparativa (benchmarking). Assim, conforme Molinari (2006), tanto o prestador de serviços quanto a entidade reguladora terão dificuldades no uso de medidas de referências (critério objetivo) e em fazer comparações entre as diversas municipalidades (critério externo). Adicionalmente, ao prestador de serviços será difícil,
informações, 71% têm os serviços concedidos a companhias estaduais (CESBs).
16 De acordo com o estudo do Panorama do Saneamento Básico no Brasil, subsídio para a elaboração do Plano
Nacional de Saneamento Básico – Plansab, mais de 95% dos municípios regulados no país o são por agências reguladoras estaduais.
também, trabalhar a comparação entre suas próprias unidades, bem como avaliar a evolução ao longo do tempo (critério interno).
Figura 29 – Um único prestador de serviços para vários municípios, cujos planos definem um mesmo indicador de forma diferente.
Fonte: Elaboração do autor.
b. Definição do sistema de indicadores
O próximo exemplo apresenta mais um caso capaz de gerar impactos sobre os atores do setor. Com efeito, o plano é do titular e, neste, deverão constar as metas para a integralidade do território do município, incluindo as zonas urbanas e rurais, não eximindo o prestador de serviços da fixação de suas próprias metas e indicadores para a gestão interna dos serviços. No PMSB de Blumenau/SC (2009, p. 11), a definição de indicadores fica a cargo do prestador de serviços, inclusive os de cobertura.
Ainda com relação ao exemplo em pauta, caso o conjunto dos indicadores, inclusive aqueles relativos à gestão interna do prestador, seja definido pelo próprio titular, os riscos estarão associados à perda de foco do plano de saneamento básico. Além disto, o plano poderá “engessar” a atuação, tanto do prestador de serviços quanto da agência reguladora, visto que pode impedir flexibilidade na gestão interna do prestador de serviços.
Prestador
de
Serviços
(CESB)
Município A
Ica
Município B
Icb
Município N
Icn
c. Diferentes bases de dados
Como visto no levantamento bibliográfico, os indicadores de desempenho são tipicamente expressos por uma razão entre valores (dados do prestador de serviços). Entretanto, há situações, como no plano de Guaratinguetá/SP (2010, p. 67), onde o indicador de cobertura foi definido com as variáveis do numerador e do denominador pertencentes a diferentes bases de dados, assim:
O índice de cobertura é dado por um percentual definido pela relação numérica entre o número de imóveis com rede disponível sobre o total de imóveis existentes no momento da avaliação. O número de imóveis cobertos será identificado pelo cadastro do prestador, e o número de imóveis totais existentes será fornecido pelo cadastro imobiliário municipal. (grifo do autor)
Situações como estas podem ensejar inconsistência no cálculo do indicador provocada por valores irreais das variáveis que o compõe. Por exemplo, no caso em que a variável do numerador (dado do prestador de serviços) tenha sentido diferente daquela utilizada no denominador (dado do titular dos serviços). Numa situação assim, a cobertura poderá dar acima de 100%, quando o total do numerador é maior que o do denominador ou, na situação inversa de valores, nunca atingir os 100%. Ou ainda, a cobertura pode não corresponder á realidade se a atualização das bases de dados não forem feitas concomitantemente, dificultando mais uma vez a verificação do cumprimento do plano por parte da agência reguladora.
d. Indicadores sintéticos
Verificou-se, nos diagnósticos, a utilização de vários indicadores sintéticos ou compostos, aqueles que agregam os dados de outros indicadores (ex.: indicador de qualidade ambiental – IQA). Orientam-se cuidados na interpretação de indicadores deste tipo, pois seu resultado pode levar a conclusões precipitadas.
Isto foi observado no diagnóstico do PMSB de Panambi/RS, o qual, para sumarização dos aspectos socioeconômicos do município, utilizou o IDESE, índice sintético elaborado pela FEE-RS (Fundação de Economia e Estatística do Rio Grande do Sul), que abrange um conjunto amplo de indicadores socioeconômicos com o objetivo de mensurar o grau de desenvolvimento dos municípios do Estado. Este índice é inspirado no IDH (Índice de Desenvolvimento Humano), abrangendo um conjunto amplo de indicadores sociais e
econômicos classificados em quatro blocos temáticos: educação; renda; saneamento e saúde. Assim como no IDH, os municípios podem ser classificados pelo IDESE em três grupos: baixo desenvolvimento (índices até 0,499), médio desenvolvimento (entre 0,500 e 0,799) e alto desenvolvimento (maiores que 0,800).
Segundo o diagnóstico do PMSB de Panambi/RS (2009, p. 21),
o IDESE médio para 2004 apontou um índice de 0,755 para Panambi, o que inseriu o município em 64º na ordem de colocação em relação ao total dos municípios gaúchos. Para os outros fatores, os valores encontrados foram:
− Educação: Índice de 0,895 - 53º entre os municípios gaúchos; − Renda: Índice de 0,813 - 52ª posição;
− Saneamento e Domicílios: Índice de 0,483 - 130º lugar; − Saúde: Índice de 0,831 - 395º na classificação. (grifo do autor) Constata-se que o indicador sintético atinge um valor satisfatório, entretanto não se pode dizer o mesmo de seu componente relativo a saneamento e domicílios. Ou seja, quando possível, deve-se desmembrar o indicador sintético e verificar as componentes que possuem relação direta com o saneamento básico. No caso em tela, o impacto do saneamento foi diluído pelas outras componentes do indicador, dando a falsa impressão de que a situação é satisfatória.
e. Uniformidade na definição dos indicadores – painel de referência
Em relação ao uso de indicadores de desempenho, a análise levantou quais e como os indicadores de desempenho estão sendo utilizados, tendo por base sua conceituação e características.
A avaliação da amostra em estudo, como já demonstrado no subitem “a”, evidenciou a inexistência de uniformidade na definição de alguns indicadores que poderiam tomar por base, por exemplo, o SNIS, a exemplo dos PMSB de Morada Nova/CE e Rio do Sul/SC. Isto facilitaria a observância da principal diretriz presente na Lei nº 11.445/2007 quanto à articulação do sistema de indicadores a serem utilizados nos planos com o Sistema Nacional de Informações em Saneamento (SINISA).
Como parte deste estudo, além dos aspectos qualitativos, conforme abordado nos itens anteriores, os indicadores de desempenho para a avaliação sistemática foram analisados quantitativamente, permitindo levantar a frequência com que os mesmos aparecem nos planos analisados. O levantamento foi executado em conformidade com a metodologia estabelecida
nesta pesquisa, ou seja, os indicadores foram classificados, dispostos e organizados em conformidade com a visão estratégica da universalização em termos quantitativos, quanto à acessibilidade, segmento ligação, e qualitativos no tocante à operacionalidade e à qualidade dos serviços, por sua vez subdivididos nos segmentos de qualidade/eficiência, continuidade/regularidade, atendimento ao usuário e capacidade (água e esgoto), e perdas de água e medição (água).
Além do que ficou instituído na metodologia, durante o levantamento e escolha final dos indicadores foi preciso estabelecer, ainda, estas premissas:
Os indicadores sintéticos foram decompostos nos indicadores simples que o compunham (exemplo: índice de qualidade de água, formado por dois ou mais indicadores, referentes à turbidez, cloro, bacteriológico etc.), mas, se não identificavam os seus componentes, os mesmos eram descartados;
A nomenclatura foi uniformizada para efeito de alocação dos indicadores encontrados nos planos, observando-se a sua equivalência conceitual;
Prioritariamente, buscou-se alinhar os indicadores aos do SNIS e quando isto não foi possível, utilizou-se outros sistemas consagrados (IRAR/ERSAR e ADERASA) e, em último caso, mantiveram-se como referência os próprios planos;
Por dificuldades de identificação, os indicadores de cobertura e atendimento foram agrupados no levantamento;
O levantamento incluiu somente indicadores da área técnica-operacional e da qualidade.
Ao todo, foram levantados, nos planos, 33 (trinta e três) indicadores de desempenho de abastecimento de água (Quadro 17) e 17 (dezessete) indicadores de desempenho de esgotamento sanitário para avaliação sistemática (Quadro 18), os quais serviram de base para a montagem de um painel de referência. Após concluir o levantamento, enumeraram-se os indicadores segundo a ordem cronológica da frequência maior para a menor, a fim de destacar aqueles com mais representatividade.
Em seguida, fez-se uma triagem elegendo os indicadores que comporiam o painel. Estes indicadores encontram-se destacados em negrito nos Quadros 17 e 18 citados. Ressalte-se, no entanto, que a triagem para seleção destes indicadores considerou a conjunção dos seguintes fatores:
Representatividade em termo de frequência com que apareceram na amostra de planos, conforme levantamento;
Adequação e importância estratégica para a gestão municipal (Ex: indicador de turbidez foi desprezado, apesar da frequência representativa);
Correspondência com indicador do SNIS ou sistemas já consagrados (IRAR, ADERASA) ou similaridade, permitindo adaptação, conforme pode ser visto nos
Quadros 17 e 18;
Simplicidade de cálculo (ex: os indicadores de intermitência e paralisações do SNIS são complexos quando comparados a outros com o mesmo objetivo);
Quantidade reduzida de indicadores, relacionada à visão estratégica da universalização.
Quadro 17 – Indicadores de desempenho de abastecimento de água para avaliação sistemática.
Estratégia Segmento Indicador Frequência Referência
Quantitativa
(acessibilidade) ligação índice cobertura/atendimento 18 SNIS/IRAR
Qualitativa (operação e qualidade dos serviços) qualidade/ eficiência
índice análises bacteriológica conformes 7 SNIS
índice análises cloro conformes 5 SNIS
índice análises turbidez conformes 5 SNIS
índice de fluoretação 3 SNIS
índice análises flúor conformes 1 Plano
índice análises pH conformes 1 Plano
continuidade/ regularidade
economias atingidas por intermitências 4 SNIS
duração média das intermitências 4 SNIS
duração média das paralisações 4 SNIS
índice de reclamações falta de água 3 Plano
economias atingidas por paralisações 2 SNIS
índice de regularidade de água 1 Plano
densidade de rompimentos de rede 1 IRAR
perdas
índice de perdas na distribuição 6 SNIS
índice perdas por ligação 5 Plano
índice perdas totais 5 SNIS
índice perdas de faturamento 2 SNIS
índice perdas físicas 2 Plano
índice água não faturada 1 Plano
índice perdas de micromedição 1 Plano
medição índice hidrometração/micromedição índice macromedição 10 6 SNIS SNIS Atendimento
aos usuários
índice de atendimento às solicitações dos serviços no prazo 5 Plano duração média dos serviços executados 3 SNIS
índice de reclamações dos usuários 1 Plano
tempo médio de atendimento de ligações 1 Plano
capacidade
consumo médio per capita 6 SNIS
índice de reservação 4 IRAR
capacidade de produção do tratamento 3 Plano
índice de consumo de energia 2 SNIS
índice de consumo médio por economia 3 SNIS
Quadro 18 – Indicadores de desempenho de esgotamento sanitário para avaliação sistemática.
Estratégia Segmento Indicador Frequência Referência
Quantitativa
(acessibilidade) Ligação
índice de cobertura/atendimento (coleta) 14 SNIS/IRAR índice de cobertura/atendimento (tratamento) 14 SNIS/IRAR
Qualitativa (operação e qualidade dos serviços) qualidade/ eficiência
índice de análises de DBO conformes 2 SNIS índice de análises bacteriológica conformes 1 Plano índice de análises materiais sedimentáveis conformes 1 SNIS índice de análises substâncias solúveis em hexano conformes 1 Plano continuidade/
regularidade
extravasamentos de esgotos 2 SNIS
duração média dos reparos de extravasamentos 2 SNIS
índice de obstrução de redes 2 SNIS
índice de regularidade de esgoto 1 Plano
índice de obstrução de ramais 1 Plano
capacidade consumo de energia
3 Plano índice de contribuição ou produção média per capita 3 Plano
capacidade de tratamento 1 IRAR
Atendimento aos usuários
duração média dos serviços executados 6 Plano
reclamações dos usuários 1 SNIS
tempo médio de atendimento de ligações 1 Plano
Tendo em vista a implantação iminente do Sistema Nacional de Informações em Saneamento (SINISA), segundo art. 53 da Lei nº 11.445/2007 (BRASIL, 2007), propôs-se, então, um painel de referência a partir da triagem feita entre os indicadores levantados na amostra de planos pesquisada. A construção do painel levou em conta, também, a pesquisa bibliográfica, o Sistema Nacional de Informações sobre Saneamento – SNIS (SNSA, 2009) e o Guia de avaliação de desempenho das entidades gestoras de serviços de águas e resíduos do Instituto Regulador de Águas e Resíduos (IRAR, 2005).
Vale ressaltar que o agrupamento dos indicadores escolhidos, assimilando a visão do titular dos serviços rumo à universalização, tanto no aspecto quantitativo (acesso) quanto qualitativo (melhoria operacional e da qualidade), corrobora com o modelo estrutural de gestão proposto no subitem 5.1.2.1. Assim, o painel agrupa um rol de indicadores correlacionando-os com o programa de acessibilidade aos serviços, o programa de melhorias operacionais e da qualidade dos serviços, para avaliação dos programas e/ou projetos de abastecimento de água e esgotamento sanitário, divididos em:
Indicadores de 1o nível (político): Avaliam o atendimento das diretrizes das
políticas públicas de universalização, relativo à acessibilidade da população ao abastecimento de água e ao esgotamento sanitário, seja por sistema público ou soluções alternativas adequadas. Retrata diretamente os graus de cobertura e de atendimento destas duas componentes do saneamento básico e conta com 3 (três) indicadores, tanto para água quanto para esgoto(Quadro 19);
Indicadores de 2o nível (estratégico): Avaliam o atendimento das diretrizes das
políticas públicas de universalização, relativo à melhoria operacional e da qualidade da prestação destes serviços. Retrata indiretamente os graus de cobertura e de
atendimento dos serviços de saneamento básico, em termos técnico-operacional e de qualidade, apresentando 14 (quatorze) indicadores para água e 7 (sete) para esgoto (Quadro 20).
Complementarmente, haja vista que nenhum dos planos apresentou indicadores de desempenho específicos para o acompanhamento das ações, sugere-se, ainda, a adoção de indicadores de 3º nível ou tático-operacionais, a serem utilizados especificamente para o acompanhamento das mesmas.
Indicadores de 3o nível (tático-operacional): Caracterizam-se por serem
indicadores de desempenho específicos, relacionados às ações do plano de saneamento básico, focados na atuação do prestador de serviços. Assumem apenas duas formas: tipo binário, cujo resultado poderá ser verdadeiro (executado) ou falso (não executado ou executado parcialmente); ou proporcional de resultado ao nível de execução percentual em relação à meta determinada. Os Quadros 21 e 22 trazem vários exemplos de aplicação destes indicadores.
É importante ressaltar a necessidade de que as ações dos planos de saneamento básico, avaliados pelos indicadores de 3o nível (tático-operacional), guardem relação de causa e efeito com os objetivos estratégicos almejados e as respectivas metas, correspondentes aos indicadores de 1o e 2o níveis (político e estratégico), cuja correlação pode ser obtida nos estudos que comprovam a viabilidade técnica e econômico-financeira da prestação universal e integral dos serviços, nos termos do respectivo plano de saneamento básico, exigíveis no caso da delegação da prestação dos serviços, como condição de validade dos contratos segundo a Lei nº 11.445/2007.
A relação de causa e efeito, entre os indicadores de 3o com os de 1o e 2o níveis, é necessária e visa garantir parâmetros objetivos para o cumprimento das obrigações vinculadas ao prestador de serviços no atendimento aos planos de saneamento, inclusive quanto à necessidade de recursos financeiros para os investimentos necessários, minimizando a interferência das condições do ambiente na prestação dos serviços, e que estão fora do controle do prestador, como, por exemplo, no caso da evolução demográfica da população divergir do previsto no plano, interferindo diretamente nos indicadores de 1o e 2o níveis. Tais ajustes nos indicadores de 1o e 2o níveis devem ser buscados naturalmente por ocasião das revisões regulares dos planos, a cada quatro anos.
Por fim, haja vista que a realidade da maioria dos municípios brasileiros é de ausência ou carência de dados, informações e indicadores de abastecimento de água e de esgotamento
sanitário, o painel de referência presta-se como instrumento que visa a orientar os municípios no sentido de reverter esta situação, estabelecendo a prática do seu registro.
Quadro 19 – Programa de acessibilidade aos serviços (indicadores de 1o nível ou político).
PROGRAMA: Acessibilidade aos Serviços
Componente Objetivos e Metas Estratégicos Parâmetro ou Setor Indicador Conceito Objetivo Expresso em Fórmula e Variáveis Referência
ÁGUA
Garantia do acesso ao abastecimento de
água
Cobertura Cobertura de água
Percentagem do número de domicílios ou da população do município com cobertura de abastecimento de água no município.
Avaliar o nível de acessibilidade ao abastecimento de água, em relação à possibilidade de ligação da população total.
%
Domicílios ou população do município com abastecimento de água disponível (nº) / Total de domicílios ou população
total do município (nº) AA01b (IRAR) adaptado Atendimento Índice de