INDICADORES
A primeira etapa do trabalho, conforme apresentado na Figura 4.1, consistiu na identificação e seleção dos SAPS2B nacionais e internacionais apresentados na revisão bibliográfica, bem como a definição e aplicação de critérios com vistas a pré-seleção de indicadores.
49
Figura 4.1 - Etapa 1: Seleção dos SAPSB2e indicadores pré-selecionados.
Os principais SAPS2B que utilizam-se de indicadores com aplicabilidade no planejamento, gerenciamento e monitoramento, bem como para as atividades de regulação e comparação de desempenho do setor são em âmbito nacional, o SNIS (Sistema Nacional de Informações sobre Saneamento); o sistema de avaliação proposto pela ABAR (Associação Brasileira de Agências Reguladoras); e o PNQS (Prêmio Nacional de Qualidade em Saneamento). Na esfera internacional, os sistemas de avaliação inerente à IWA (International Water Association); à ERSAR (Entidade Reguladora dos Serviços de Águas e Resíduos de Portugal), ao IBNET (International Benchmarking Network for Water and Sanitation); ao Six Cities Group; a WSAA (Water Service Association of Austrália); a AWWA (American Water Works Association), e por fim ao OFWAT (Office of Water Services), foram analisados.
Os SAPS2B foram definidos a partir de critérios associados à aplicabilidade, ao fato de ser referência para desenvolvimento de outros sistemas de indicadores e por permitir a comparação de prestadores de serviços. Seguidamente, procedeu-se a fase de pré-seleção de indicadores, por meio de critérios identificados na literatura de trabalhos semelhantes.
A Figura 4.2 ilustra os passos para a obtenção do conjunto de indicadores pré- selecionados, a saber: a) identificação dos sistemas; b) seleção dos sistemas por meio de representatividade e relevância nacional ou internacional; c) definição de critérios para pré- seleção; e d) pré-seleção de indicadores para consulta Delphi.
50
Figura 4.2 - Representação Esquemática da Fase de Pré-Seleção de Indicadores a partir dos SAPS2B considerados neste trabalho.
Os sistemas de indicadores foram selecionados observando-se a necessidade de valorizar os instrumentos de avaliação nacional, bem como aqueles que, nos últimos anos, tem sido referência para o desenvolvimento de novos sistemas para avaliação da prestação de serviços de saneamento básico, e também aqueles que consolidaram a prática do
benchmarking do setor.
Os indicadores e demais informações associadas, por sistema de indicadores, em âmbito nacional e internacional, selecionados, estão disponibilizados no apêndice A e B deste trabalho com exceção para a PNSB tendo em vista que a pesquisa não se enquadra nos moldes dos sistemas apresentados.
Para a fase de pré-seleção de indicadores foi necessária a definição de critérios alinhados com o objetivo do trabalho.
Legenda Sistemas de Avaliação da
Prestação de Serviços de Saneamento Básico
Critérios para pré-seleção de indicadores
Recorrência, clareza, aplicabilidade e relação com o
usuário
Sistemas mais comumente empregados no setor Sistemas selecionados para o desenvolvimento da metodologia
ABAR ERSAR
Six Cities Group
SNIS ABAR PNQS ERSAR IWA IBNET Conjunto de Indicadores Pré-Selecionados para o Delphi
Critérios para seleção dos sistemas: aplicabilidade, referencia e comparação
- SNIS PNQS IWA IBNET WSAA OFWAT AWWA
51
Assim, procurou-se definir critérios que buscassem selecionar indicadores; com base na representatividade, recorrência, na clareza, na aplicabilidade e relação com o usuário dos serviços melhores definido a seguir.
Recorrência (critério quantitativo): refere-se ao fato de um mesmo indicador ser utilizado em diferentes sistemas de indicadores para avaliação da prestação dos serviços de saneamento básico;
Clareza (critério qualitativo): refere-se a indicadores que possuem uma definição clara e objetiva que evitem entendimentos ambíguos;
Aplicabilidade nacional: refere-se a indicadores que pelas variáveis que o compõem apresentam possibilidade de aplicação no Brasil;
Relação com o usuário (critério qualitativo): refere-se a indicadores que retratam maior relação com a perspectiva do usuário dos serviços de abastecimento de água para consumo humano.
Como se dispõe de um total de 6 (seis) SAPS2B: (SNIS, ABAR, PNQS, IWA, ERSAR e IBNET), o valor máximo atribuído para um indicador com relação ao critério recorrência é o valor 6 (seis). Para efeito da avaliação comparativa entre indicadores, ainda no que se refere a recorrência, foram levados em consideração: a) texto do indicador; b) aplicação: Água (A) ou Esgoto (E); c) unidade e d) definição ou fórmula. A pontuação atribuída aos indicadores iniciou-se pelos SAPS2B nacionais e, em seguida, sobre os internacionais. A ordem sequencial de avaliação dos indicadores foi: SNIS, ABAR, PNQS, IWA, ERSAR, IBNET. A sequencia proposta levou em conta a nacionalidade e predomínio de utilização pelo setor.
Os critérios clareza e aplicabilidade foram empregados na fase de definição do conjunto de indicadores de maior recorrência. Pretendeu-se com a aplicação desses critérios a identificação de indicadores com melhor definição, aplicabilidade, objetividade, integração da informação, bem como destacar o que melhor representa o seu semelhante. Com o critério “relação com o usuário”, buscou-se pré-selecionar nos sistemas existentes indicadores que, embora não necessariamente possuem maior recorrência nos sistemas, expressam uma relação que leva em conta a perspectiva dos usuários dos serviços de abastecimento de água. Ao final da aplicação dos critérios foi avaliada a possibilidade de inclusão de novos indicadores.
52
Com a aplicação do critério de recorrência nos sistemas de avaliação selecionados, respeitando-se a ordem SNIS, ABAR, PNQS, IWA, ERSAR e IBNET, foi possível chegar a uma lista de indicadores com as devidas pontuações associadas ao critério mencionado.
O conjunto de indicadores em que foi registrada aplicação dos critérios inerentes à pré- seleção encontra-se em mídia digital que acompanha esta dissertação. Com base nas listas obtidas em função da aplicação do critério recorrência combinado aos critérios de clareza, aplicabilidade e relação com o usuário foi possível chegar a um conjunto de indicadores pré-selecionados.
O julgamento inerente aos critérios clareza, aplicabilidade e relação com o usuário foi expresso de forma qualitativa. Sob a lista final foram realizadas reuniões com vistas a discutir os indicadores pré-selecionados observando as possíveis semelhanças e possibilidades de aglutinações, bem como as lacunas da proposta. Novos indicadores foram propostos a partir de reuniões entre equipe de professores e aluno.
Como o foco desta dissertação é o abastecimento de água, sendo essa vertente um dos critérios para a pré-seleção, optou-se por empregar a terminologia SAPSA2 (Sistema de Indicadores para Avaliação da Prestação de Serviços em Abastecimento de Água) em detrimento a SAPS2B. Os indicadores pré-selecionados constituíram a base para a consulta a especialistas detalhada no item seguinte.
Oportuno ressaltar que o viés na pré-seleção foi induzido a partir de critérios encontrados na literatura em trabalhos semelhantes e mencionados nesta dissertação.