O público-alvo do programa foi identificado, assim como os participantes da auditoria (Questão 1). Beneficiários do programa: populações carentes de comunidades rurais isoladas ou de cidades de pequeno e médio porte (20.000 a 50.000 habitantes) do semi-árido brasileiro (Alagoas, Bahia, Ceará, Minas Gerais, Paraíba, Pernambuco, Piauí, Rio Grande do Norte, Sergipe), incluindo o Maranhão.
Participantes da auditoria: gestores federais do Programa (MMA e MI); Unidade de Gerenciamento do Programa - Gestão (UGP-G); associação de usuários; comitês de bacias; Unidades Estaduais de Gestão do Programa (UEGPs); técnicos do Banco Mundial, representantes da Unidade de Monitoramento e Avaliação (UMA), consultores da KPMG e especialistas.
A equipe de auditoria possuía treinamento adequado para realizar a auditoria (Questão 2) e utilizaram-se os serviços de consultores externos na fase de planejamento (Questão 3). Os consultores eram do Banco Mundial, Curso de Ecologia da UnB e da Unesco (na fase de planejamento). Na fase de execução foi contratado um especialista para subsidiar a avaliação de aspectos ligados à eqüidade (Brasil, 2000d).
As informações foram suficientes para entender o funcionamento do Programa (Questão 4) e deve-se ressaltar, descritas com profundidade e detalhamento. Entretanto, as informações foram parcialmente suficientes para refletir os objetivos da auditoria (Questão 5). A pergunta da auditoria foi “o gerenciamento do Programa tem contribuído para o atingimento dos objetivos de fortalecimento institucional e de redução da pobreza?” (Brasil, 2000d, p. 9). De acordo com Brasil (2000e; 2000d) essa questão foi investigada através de:
1. O desempenho da Unidade de Gerenciamento do Programa (UGP-G) e da Secretaria de Recursos Hídricos (SRH/MMA);
2. O desempenho das Unidades Estaduais de Gerenciamento do Programa (UEGP) e dos órgãos estaduais de administração de recursos hídricos (SE);
3. O aproveitamento das experiências bem sucedidas de participação de usuários
na gestão da água (Brasil, 2000e, p. 10).
As questões citadas abordam indiretamente o problema da redução da pobreza. Portanto, houve dificuldade em respondê-la, e o delineamento utilizado não possibilita essa resposta. Segundo, para a auditoria a diminuição da pobreza estaria associada ao abastecimento de água para consumo humano e conseqüente melhoria da qualidade de vida da população local; e a participação comunitária na gestão de recursos hídricos (Brasil, 2000e), assim como obras hidráulicas que apresentem retorno socioeconômico (Brasil, 2000d).
A auditoria ressaltou que o financiamento de projetos e a sustentabilidade dos sistemas de abastecimento estariam relacionados à redução da pobreza. Entretanto, aponta ainda na fase preliminar da auditoria que “o componente de financiamento de obras do Programa ainda não produziu resultados que permitam avaliar seus impactos, pois há apenas um projeto em um município em pleno funcionamento” (Brasil, 2000e, p. 9). A auditoria enfatizou que responderia à questão por meio da coerência e da lógica entre os objetivos de fortalecimento institucional e redução da pobreza e as ações implementadas em nível federal e estadual. Portanto, a forma buscada para responder a questão foi o enfoque na eqüidade, investigando- se a participação dos mais carentes na gestão de recursos hídricos.
As técnicas de análise de dados explicitadas (Questão 6) foram: mapeamento de produtos e processos, análise RECI, Benchmarking, análise Stakeholder, análise estatística e análise de conteúdo. A técnica de análise de conteúdo foi mencionada no relatório de planejamento, entretanto não consta no relatório final. Além disso, foram utilizadas entrevistas produzindo material qualitativo para análise na fase de execução da auditoria. Consta ainda o uso de “uma variação do Modelo de Condições Ambientais” (Brasil, 2000e, p. 8).
No relatório houve descrição longa e detalhada de cada etapa da auditoria. O relatório descreveu claramente o Programa (Questão 7), seus componentes (Gestão de Recursos Hídricos; Obras Prioritárias; Estudos e Projetos; Gestão de Recursos Hídricos na Bacia do Rio São Francisco e Componente de Gerenciamento, Monitoria e Avaliação); além dos seus objetivos, estrutura, estratégias e metas e aparato legal.
Entretanto, cabe uma sugestão quanto à forma do mesmo. No relatório final foi apresentada a descrição do programa, os resultados e depois a metodologia. Entende-se que a apresentação da Descrição do Programa, Metodologia e, por fim, Resultados e Recomendações, entende-se que devam ser mais claros. O formato sugerido é o adotado nas demais auditorias meta-avaliadas.
Dentre os componentes, os recursos do Pró-Água/Semi-Árido estão distribuídos em três programas: a) Pró-Água/Infra-estrutura; b) Pró-Água/Gestão e, c) Nossos Rios – São Francisco.
O relatório descreveu claramente o contexto do Pró-Água/Semi-Árido (Questão 8). Apresentou a visão geral da Política de Gestão de Recursos Hídricos no Brasil e as Leis que a fomentam. Nesse sentido, destaca-se que:
Ao Ministério do Meio Ambiente – MMA, no papel de gestor da Política Nacional de Recursos Hídricos, cabe essencialmente a ação de implantação dessa Política, consubstanciada na Lei nº 9.433,97 (Lei das Águas), que estabelece os seguintes princípios:
- A água é um bem de domínio público;
- A água é um recurso natural limitado, dotado de valor econômico;
- Em situação de escassez, o uso prioritário dos recursos hídricos é o consumo
humano e a dessedentação de animais;
- A gestão de recursos hídricos deve sempre proporcionar o uso múltiplo das
águas;
- A bacia hidrográfica é a unidade territorial para implantação da Política
Nacional de Recursos Hídricos e atuação do Sistema Nacional de Gerenciamento de Recursos Hídricos;
- A gestão dos recursos hídricos deve ser descentralizada e contar com a
participação do Poder Público, dos usuários e das comunidades (Brasil, 2000e, p. 4).
Os objetivos do Pró-Água/Semi-Árido foram descritos claramente (Questão 9), a saber:
a) Promover o uso racional e sustentável e o gerenciamento participativo dos recursos hídricos; e,
b) Prover acesso confiável e sustentável a água para uso doméstico, municipal e
O relatório descreveu parcialmente os procedimentos metodológicos da auditoria (Questão 10). Essa auditoria, em comparação com as demais teve melhor detalhamento de seu planejamento e resultados; talvez isso se deva ao fato de configurar-se como uma auditoria- piloto do Projeto Organização - Reino Unido. Entretanto, não foi claro o tipo de delineamento adotado. Conforme análise, parece tratar de avaliação de impacto com medição somente após o programa e sem grupo de comparação.
O relatório descreveu claramente os resultados da auditoria (Questão 11) que foram agrupados em tópicos:
- Desempenho da Secretaria de Recursos Hídricos SRH/MMA e da UGPG, em que o Programa teve desempenho satisfatório no quesito de internalização dos objetivos e metas; entretanto apresentou sete aspectos que geraram recomendações para melhoria do seu funcionamento.
- Desempenho das Secretarias e Unidades Estaduais, em que é elogiada a Política de Recursos Hídricos e a gestão no nível federal, entretanto ressalta a necessidade de estabelecer melhoria no nível estadual e oferece recomendações nas demais 14 subquestões analisadas pela auditoria.
- Nas experiências de Gestão Participativa, foram destacadas as experiências positivas e recomendada sua disseminação e melhoria em alguns aspectos.
As conclusões da auditoria (Questão 12) são justificadas com base nos resultados e foram apresentadas claramente subsidiando as recomendações.
O relatório justificou de forma evidente suas recomendações (Questão 13), uma vez que para cada conclusão foram apresentadas recomendações, justificadas pelos resultados encontrados.
A auditoria considerou parcialmente a postura dos diferentes grupos de interesse (Questão 14), considerou, sobretudo a opinião de gestores envolvidos no programa, comitês de bacias e associação de usuários, além da consulta de especialistas na área. Entretanto, outras entidades poderiam ter sido consultadas, como a Associação Brasileira de Águas Subterrâneas – ABAS, ou outros grupos da Sociedade Civil impactados pelo Programa, sobretudo em Salvador e Fortaleza, que foram as melhores experiências do Programa.
Os recursos da avaliação (dinheiro e funcionários) foram suficientes. Entretanto, registrou-se como limitação (Questão 15) “a limitação de tempo para a realização dos trabalhos, que é uma das características das auditorias-piloto do Projeto Organização/Reino
Unido, não será possível uma avaliação completa do programa” (Brasil, 2000e, p. 11 e 12). Assim, considerou-se no geral que os recursos foram parcialmente suficientes.
Os procedimentos de coleta de informações foram descritos com clareza (Questão 16), e encontram-se em anexo no relatório de planejamento. Presume-se que os instrumentos foram válidos (Questão 17), considerando-se que houve ajuda de especialistas para sua construção na fase de planejamento. Entretanto, sugere-se que sejam descritos no relatório, quando houver modificações nos instrumentais, como no presente caso. No relatório de planejamento constou “Com base nas respostas, serão reavaliadas as minutas de questionários para os comitês e associações [...]” (Brasil, 2000e, p. 8). Houve indicação de modificação, porém, não foram explicitadas no relatório.
Não foram tomadas medidas para assegurar o mínimo de erros na coleta de dados (Questão 18), não foram descritas quaisquer medidas no relatório de planejamento ou final.
A informação quantitativa foi analisada de forma adequada (Questão 19), foram apresentadas estatísticas descritivas das respostas dos questionários aplicados aos usuários da água, comitês de bacias hidrográficas e entidades equivalentes. As estatísticas foram apresentadas por meio de gráficos de pizza e barra, com explicações no texto. Entretanto, possuem limitações para generalização dos resultados, conforme descrito em Brasil (2000d, p. 25) “Não se trata de amostra estatística, ou seja, os resultados que serão analisados a seguir não podem ser considerados como representativos da opinião dos responsáveis pelas entidades e usuários da água”.
Por fim, as informações qualitativas foram analisadas parcialmente (Questão 20). Foi citada análise de conteúdo, mas não há clareza do uso desse método de análise nos documentos consultados. Constam apenas três citações literais de respostas transcritas de questionários, que expressam opiniões sobre a eficácia das atividades de treinamento realizadas, porém, as demais partes da análise de conteúdo inexistem. Ressaltou-se, entretanto, que foram adequadamente apresentadas as informações da análise Benchmarking e das experiências exitosas do Programa.