R ELEVANTE RESPONSER

O termo avaliação pode estar presente no âmbito de diversos campos do conhecimento, como avaliação de programas sociais, avaliação de políticas públicas, entre outros. A variação do uso de abordagens de avaliação tem gerado ampla variedade conceitual e metodológica dentro desse campo e, portanto, a definição das opções conceituais e metodológicas utilizadas é um dos pontos cruciais dentro do processo de avaliação (CONTANDRIOPOULOS et al., 1997).

33 O foco da presente tese é a avaliação de um programa de implantação de intervenções em saneamento, que não está vinculado diretamente a uma política pública específica do setor.

A definição conceitual de avaliação dentro de avaliação de programas não é trivial, uma vez que cada estudioso sobre o tema acaba por defini-la da maneira a melhor embasar conceitualmente as suas linhas de pesquisa. Portanto, a literatura sobre o assunto oferece ampla variedade de definição do termo avaliação e vale destacar os seguintes exemplos.

A definição de avaliação utilizada por Rossi et al. (2004) remete a análise de programas, geralmente em andamento, baseada em esforços organizados e planejados, visando melhorias de um problema social ou condição social.

Hartz (1997) diz que:

[...] Avaliar consiste fundamentalmente em fazer um julgamento de valor a respeito de uma intervenção ou sobre qualquer um de seus componentes, com o objetivo de ajudar na tomada de decisões. Este julgamento pode ser resultado da aplicação de critérios e normas (avaliação normativa1) ou ser elabora a partir de um procedimento científico (pesquisa avaliativa2).

Da mesma forma, Contandriopoulos et al. (1997) considera a avaliação como um julgamento sobre uma intervenção ou sobre qualquer dos seus componentes com o objetivo de auxiliar na tomada de decisões.

Por sua vez, a definição de Aguilar e Ander-Egg (1994) do termo avaliação pode ser descrita como:

[...] uma forma de pesquisa social aplicada, sistemática, planejada e dirigida, que se destina a identificar, obter e proporcionar, de maneira válida e confiável, dados e informações suficientes e relevantes para apoiar um juízo sobre o mérito e o valor dos diferentes componentes de um programa (tanto na fase de diagnóstico, quanto na de programação e execução) ou de um conjunto de atividades que se realizam, foram realizadas ou se realizarão. O propósito da avaliação é produzir efeitos e resultados concretos que servem de base ou para tomada de decisão racional e inteligente entre cursos de ação, ou para solucionar problemas e promover o conhecimento e compreensão dos fatores associados ao êxito ou fracasso de seus resultados.

Assim, como a variação de definição do conceito de avaliação a bibliografia especializada, traz ampla gama de abordagens metodológicas sobre o tema, sendo que cada autor

1 _{O termo avaliação normativa foi definido por Hartz (1997) como o estudo de cada componente avaliado em relação} a normas e critérios. Esse tipo de avaliação corresponde a funções de monitoramento e consiste em fazer um julgamento sobre uma intervenção, comparando os dados obtidos com critérios e normas.

2

A pesquisa avaliativa é a intersecção de características de pesquisa científica e da avaliação normativa e pode ser definida como: “análise dos fundamentos teóricos, da produtividade, dos efeitos e do rendimento de uma intervenção, assim como as relações existentes entre a intervenção e o contexto no qual ela se situa, geralmente com o objetivo de ajudar na tomada de decisões [...]. Fazer pesquisa avaliativa de uma intervenção consistirá em fazer várias análises e, para tanto, teremos frequentemente que apelar para várias estratégias de pesquisa e considerar as perspectivas de diferentes atores envolvidos na intervenção avaliada [...] Os métodos para analisar a eficácia de uma intervenção são muitos. Estes podem ser quantitativos e qualitativos.”

34 propõe uma nova concepção metodológica de avaliação ou modifica algumas preexistente (ALKIN, 2004).

Diante dessa amplitude de possibilidades de abordagens e conceitos de avaliação, Belloni et al. (2000) recomendam uma criteriosa discussão conceitual e metodológica no processo de elaboração e uso de instrumentos avaliativos. Essa etapa dentro do processo de avaliação é fundamental para situar os atores sociais envolvidos no processo e facilitar a interpretação do processo avaliativo.

O conceito de avaliação que ampara a presente tese é uma síntese das definições apresentadas anteriormente, ou seja:

A avaliação pode ser definida como um processo de julgamento de uma intervenção, elaborado a partir de um procedimento científico, que produz resultados e informações relevantes e confiáveis, que tem como principal critério analítico a efetividade. Esse processo serve de base ou para tomada de decisão ou para solucionar problemas e promover o conhecimento e compreensão dos fatores associados ao êxito ou fracasso em atingir os resultados esperados.

O termo efetividade, utilizado em abordagens de avaliação, envolve a análise da relação entre a implantação de um programa e a capacidade de produzir um efeito, que pode ser negativo ou positivo. Ou seja, avalia-se pontos positivos e negativos em termos de uma efetiva mudança nas condições sociais prévias das populações atingidas pelo programa sob avaliação (FIGUEIREDO; FIGUEIREDO, 1986). O uso da efetividade como critério analítico tem sido sugerido como elemento base em estratégias metodológicas propostas para avalição de impacto de ações de saneamento na saúde (BORJA; BERNARDES, 2013) e, portanto, foi considerado elemento integrante no desenvolvimento da avaliação da tese.

Ao inserir o termo julgamento dentro do conceito de avaliação, partimos do princípio que a avaliação não foi desenvolvida sem atribuições de valores nem sob uma condição de total neutralidade científica. Pelo contrário, partimos do pressuposto de que todo o processo de julgamento envolve atribuições de valores ideológicos por aqueles que desenvolvem a avaliação (GUBA; LINCOLN, 1989; ARRETCHE, 1998).

Assim, é importante apresentar, de forma sintética, sob quais pilares a avaliação considerada na presente tese se sustenta. Dentre eles podemos destacar:

35 1) Intervenções em saneamento tem o potencial de trazer impactos positivos à saúde

humana, que estão relacionados à integração de aspetos técnicos, sociais e ambientais; 2) Acesso ao saneamento constitui um direito humano essencial e, portanto, as intervenções

em saneamento devem seguir o princípio da universalidade, equidade, participação e controle social e não podem ficar sujeitos aos critérios do mercado;

3) A temática envolvendo impactos à saúde humana decorrentes de intervenções em saneamento tem caráter complexo, com questões envolvendo causalidades múltiplas e, por isso, requerem abordagens de avaliação de tais impactos que sejam interdisciplinares e integradas;

4) As alternativas de saneamento devem focar na saúde publica, buscando a melhoria das condições de vida da população beneficiada;

5) Avaliações têm como objetivo auxiliar atores sociais envolvidos no processo a compreender melhor os fatores que afetam a saúde, para que políticas e tecnologias sejam elaboradas para melhor servir às necessidades humanas.

2.2 Avaliação integrada em saúde ambiental: Foco no impacto à saúde humana de