Towards an integrated framework

Aprofundando a discussão sobre avaliação, podemos inferir que se trata de um campo repleto de possibilidades e complexidade. Isso pode ser observado a partir da constatação das diversas abordagens, definições, bem como pelas dimensões, momentos e etapas de um determinado programa, projeto ou política ao serem avaliados. Assim sendo, alguns autores, para melhor sistematizar os estudos

30 _{O governo americano tinha interesse na produção de borracha em função do uso do produto para}

sobre a avaliação, classificam-na a partir de tipos. Nesse caso, a ênfase é voltada à relação temporal, isto é, corresponde às circunstâncias de análise prévia de um determinado programa (ex-ante) ou avaliação realizada ao término de sua execução (ex-post).

Cohen e Franco (2012), ao discorrer sobre a tipologia da avaliação, enfatizam ser possível distinguir as tradições de diferentes áreas do conhecimento e que, no campo da economia, a distinção clássica reside na avaliação ex-ante e ex-post. Por avaliação ex-ante, entende-se aquele tipo de avaliação cujo objetivo é propiciar critérios relacionais para uma tomada de decisão qualitativa decisiva, ou seja, se o projeto será ou não implementado, bem como definir se um determinado projeto é eficiente ao ponto de alcançar os resultados propostos.

No que concerne à avaliação ex-post, as avaliações podem ser feitas durante ou ao final da execução de um projeto. Seu objetivo é apreender elementos que deem sustentação para as tomadas de decisões no âmbito qualitativo, referentes ao fato de continuar ou não com o programa e no quantitativo, isto é, manter o desenho inicial do projeto ou fazer alterações. (COHEN; FRANCO, 2012)

A avaliação ex-post comporta uma dupla dimensão temporal que torna possível diferenciá-la entre o “durante” a realização do projeto, consistindo, dessa forma, em avaliação de processos ou concomitante, e do “depois”, incidindo em avaliação terminal. (COHEN; FRANCO, 2012)

Assim sendo, a avaliação de processo está relacionada com as atividades de um determinado programa, bem como à forma de sua implementação. É como esclarecem Cohen e Franco (2012) ao definir esse tipo de avaliação:

Avaliação de processo. Determina a medida em que os componentes de um projeto contribuem ou são incompatíveis com os fins perseguidos. É realizado durante a implementação e, portanto, afeta a organização e as operações. Procura detectar as dificuldades que ocorrem na programação, administração, controle, etc., para serem corrigidas oportunamente, diminuindo os custos derivados da ineficiência. Não é um balanço final, e sim uma avaliação periódica. [...] sua função central é medir a eficiência de operação do projeto. (COHEN; FRANCO, 2012, p. 109)

Os autores ora mencionados asseguram que a avaliação de processos está mais voltada a melhorar a eficiência no âmbito operacional de um determinado programa, diferentemente da avaliação de impacto, cuja preocupação maior é

verificar em que medida os objetivos foram alcançados, bem como os seus efeitos – ao passo que as avaliações de processos são ferramentas capazes de fornecer um diagnóstico sobre as condições do projeto a que se propõe intervir. Nesse sentido, identifica fatores que dificultam o alcance dos objetivos. Além disso, elas apontam possibilidades que visam à superação dos problemas identificados. (COHEN; FRANCO, 2012)

De acordo com Cotta (1998), a avaliação de processo diz respeito à dimensão de gestão. Sua finalidade é julgar se a intervenção está sendo implementada como planejado, se a população-alvo está sendo atingida, se o cronograma está sendo cumprido, se os recursos estão sendo usados com eficiência etc.

Ala-Harja (2000) nos ajuda a compreender melhor o conceito desse tipo de avaliação e suas aplicações. Segundo o autor, sua aplicação se dá durante a implementação de um dado programa, com o objetivo de apoiar e melhorar a gestão, a implementação e o desenvolvimento do programa.

A avaliação de impacto é outro tipo de avaliação focalizado por Cohen e Franco (2012). Os autores referem que o seu objetivo é determinar em que medida um determinado projeto alcança seus fins propostos, assim como identificar seus efeitos secundários. Ao fazerem uma analogia entre os dois tipos de avalição (de processo e de impacto), os autores referem que, no primeiro tipo, há uma preocupação em influenciar as decisões operativas no momento presente, visando a executar logo correções e ajustes. Já a avaliação de impacto “se dirige para fora” do projeto, ou seja, busca saber se o projeto de fato funcionou e, a partir dessa constatação, decidir pela continuação ou não dele.

Também chamada de avaliação contínua, a avaliação de processo é realizada durante a implementação de um programa ou no momento de sua operacionalização. A avaliação de impacto pode ocorrer durante a finalização ou após ter finalizado completamente o programa. (COHEN; FRANCO, 2012)

Cohen e Franco (2012) classificam a avaliação conforme quem a realiza e apontam para quatro tipos: avaliação externa, avaliação interna ou autoavaliação, avaliação mista e avaliação participativa.

Nessa perspectiva, os autores discutem sobre cada uma delas, iniciando pela avaliação externa, a qual é realizada por pessoas estranhas ao quadro da instituição, programa ou ação. Nesse tipo de avaliação, existe uma suposta crença em relação a uma maior experiência nesse tipo de atividade, e por essa razão

acredita-se numa maior possibilidade de comparação de resultados (eficácia e eficiência). Segundo os autores, esse tipo de avaliação tende a dar mais ênfase aos métodos de avaliação e menos ao conhecimento específico da área do projeto que se propõe a avaliar.

A avaliação interna diz respeito àquele tipo de avaliação realizada no interior da organização gestora do projeto, por pessoas vinculadas ou não à formulação do programa. Traz como um dos aspectos favoráveis a quebra de resistências por parte daqueles que serão avaliados, pois, na ótica de Cohen e Franco (2012), o fato de ser avaliado por pessoas estranhas incorre em posições defensivas e, por conseguinte, em informações parciais acerca do que se deseja avaliar. Por outro lado, apontam como um dos aspectos desfavoráveis a esse modelo de avaliação a possibilidade de baixas garantias em relação à questão da objetividade, já que

[...] a organização agente seria “juiz e interessado”. [...] seus membros teriam ideias preconcebidas a respeito do projeto tanto por interesses (já que foram eles que o formularam ou executaram e, por isso, não irão querer mostrar um possível fracasso), como por valor (no sentido que se encontram identificados com os objetivos e a forma escolhida para atingi-los), estando, portanto, menos capacitados para apreciar o projeto de forma independente e imparcial. (COHEN; FRANCO, 2012, p. 112)

Do exposto acima, tomando por base as análises dos autores sobre os aspectos negativos implicados nos modelos de avaliação que são elaborados e/ou executados por membros de organizações que se deseja avaliar, remete à reflexão acerca das pretensas avaliações realizadas nos serviços públicos governamentais brasileiros, especificamente no âmbito da saúde, que seguem essa tendência. Torna-se efetivamente delicado para os profissionais executores de uma determinada política ou programa colocarem as suas verdadeiras posições, pois isso implicaria, no nosso ver, que, em alguma medida, se estaria denunciando a própria incapacidade de atingir os objetivos propostos pelo programa. Assim, há uma tendência de os técnicos trazerem para si a culpabilização pelos insucessos que por ventura possam existir e, como forma de evitar essa culpa, acabam muitas vezes boicotando as informações.

Além disso, concordamos com Cohen e Franco quando mencionam que os avaliadores, nesse tipo de avaliação, encontram-se numa condição de “juiz e

interessado”, o que permite refletir sobre o quanto aumenta a probabilidade de resultados tendenciosos.

Outro tipo de avaliação elencado pelos autores é a avaliação mista, que combina as modalidades interna e externa com a intenção de superar os limites de ambas e preservar as suas vantagens. Referem que tanto na avaliação externa quanto na interna identificam um grande ausente: os usuários dos programas. Porém, existe uma busca em preencher essa lacuna a partir da construção de avaliações denominadas de participativas.

A avaliação participativa visa, em princípio, a minimizar a distância entre quem avaliar e os usuários dos programas. É geralmente usada em pequenos projetos, dando assim condições para que haja modificações a partir do interior do próprio grupo. Esse é um modelo de avaliação que prevê a participação da população usuária desde o planejamento, a programação e a execução até a avaliação. Ele se diferencia dos demais exatamente porque sua adequada implementação está condicionada à população beneficiária. (COHEN; FRANCO, 2012)

A terceira tipificação sobre avaliação é feita pelos autores acima, a partir do número de beneficiários e da magnitude dos recursos necessários. Assim sendo, tem-se a avaliação de projetos grandes e de projetos pequenos. No tocante aos projetos grandes, a avaliação pode ser feita de modo parcial, buscando verificar o sucesso alcançado em objetivos intermediários (cortes transversais); pode haver também a verificação do alcance de objetivos específicos (cortes longitudinais e transversais).

A lógica da avaliação dos grandes projetos é geralmente dedutiva, ou seja, sua verificação requer a criação de variáveis, indicadores e índices os quais permitirão a determinação do grau de modificação causado pelo programa em relação aos objetivos propostos. Importa notar também que outra característica desse tipo de avaliação diz respeito ao roteiro, ou seja, ela se apropria de modelos das ciências naturais: experimental clássico. (COHEN; FRANCO, 2012)

As técnicas de análises nos projetos grandes geralmente são quantitativas, sendo às vezes complementadas por análises qualitativas. Sobre os resultados concernentes a esse tipo de avaliação, são gerais em função de seu tamanho. Nesse sentido, consideram-se as diferentes etapas, dimensões e processos,

buscando fazer afirmações em relação a sua especificidade. (COHEN; FRANCO, 2012)

Outro aspecto relevante no rol das características dos grandes projetos refere-se aos avaliadores. Pelo tamanho do projeto, não é possível para o avaliador estar em contato permanente com os usuários dos programas, em cada local onde o projeto esteja sendo executado. Os autores destacam que, para superar essa limitação, recorre-se a métodos que propiciem a otimização do acesso às informações geradas com os resultados da avaliação. (COHEN; FRANCO, 2012)

Os pequenos projetos, por sua vez, guardam especificidades referentes, primeiro, ao uso em maior escala de aspectos qualitativos, sem, contudo, desconsiderar dados de teor quantitativos; segundo, à lógica indutiva, tendo em vista o julgamento a partir da realidade observada; terceiro, ao fato de partir geralmente do global, visando a compreender o programa a partir das articulações dos indivíduos e grupos; quarto, às técnicas de análises comumente utilizadas de cunho qualitativo, a exemplo das observações participantes, entrevistas em profundidade, história de vida, entre outros; quinto, aos resultados da avaliação propiciarem tratamento específico em relação àqueles que participam do projeto; sexto e último, ao fato de geralmente o avaliador fazer parte da instituição gestora do programa e se abrir a possibilidade de desenvolvimento de avaliações participativas. (COHEN; FRANCO, 2012)

Cohen e Franco (2012) distinguem as avaliações também a partir da função dos seus destinatários, em que identificam três tipos: os dirigentes superiores, que têm a incumbência de definir a política e estabelecer as prioridades entre os projetos de acordo com os objetivos institucionais; os administradores, cuja função refere-se à distribuição de recursos para efetivação dos objetivos propostos; e, por fim, os técnicos executores dos projetos, os quais devem centrar em aspectos operativos, isto é, traduzem os modelos para a prática. (COHEN; FRANCO, 2012)

Merece ser salientado que, em estudo sobre avaliação de políticas e programas sociais, editado em 2008 e desenvolvido por Ozanira Silva (já citada algumas vezes ao longo desse texto), ao dialogar também com Cohen e Franco, refere que, no aspecto concernente aos destinatários das políticas e programas sociais, há que se refletir sobre a inclusão no rol desses destinatários os próprios usuários do programa, pois, segundo a autora, são eles (usuários) a parte do processo que mais apresenta interesse pelos resultados.

4.3 Metodologias de avaliação

Para que seja bem sucedida a avaliação de uma determinada política ou programa social, faz-se necessário ter presentes alguns aspectos, dentre os quais se encontra o rigor metodológico, consubstanciado nas formas de procedimentos investigativos e de análises. A prática avaliativa de modo geral reserva certo grau de complexidade e assume formas diversas, sendo por essa razão passível de admitir múltiplas formas de investigação.

A partir de uma imersão na literatura sobre avaliação de programas sociais, é possível inferir a existência de significativo número de autores que tende a enfatizar apenas os aspectos técnicos dos processos avaliativos. Dito de outra forma, percebe-se uma preocupação cujo foco é centrado nos aspectos puramente econômicos e nos objetivos alcançados. Por outro lado, observa-se também uma ampla e crescente parcela de estudos sobre avaliações de políticas e programas sociais, cujo teor é qualitativo.

Concordamos com alguns autores, como Ozanira Silva, ao dizer que a avaliação tem seu próprio processo, e por essa razão são processos constantes e contínuos, expressos por várias operacionalizações. Nesse sentido, pode-se dizer que o conjunto de pressupostos que guiam uma determinada realidade vai determinar a metodologia, bem como o instrumental a ser utilizado para intervir no real, consubstanciando-se num amplo e diversificado conjunto de instrumentos operacionais.

Nesse contexto, torna-se importante chamar a atenção para essa variedade existente no campo operacional das avaliações, pois isso implica a existência também de várias formas de definição desse campo por parte dos teóricos da área. Assim sendo, buscaremos nos aproximar dos aspectos metodológicos da avaliação, considerados mais relevantes no nosso entendimento.

Holanda (2006), ao sistematizar a sua análise sobre metodologia de avaliação, utiliza o termo “dicotomia” para se referir aos dois tipos formais de pesquisa em avaliação: avaliação quantitativa e avaliação qualitativa.

A palavra dicotomia, de acordo com o Dicionário da Língua Portuguesa, significa dividir um gênero em duas espécies que absorvem o total. O autor, ao empregar essa palavra nesse contexto, deixa clara a existência de confrontos entre os paradigmas quantitativos e qualitativos.