Conclusion

Sendo o universo das políticas públicas bastante diversificado, também o é a quantidade de tipos e categorias de avaliações de políticas públicas, de forma que a tentativa de sistematizar as avaliações apenas em parte cumprirá o objetivo proposto. Ainda assim, buscam-se, nos autores de referência, os parâmetros para essa classificação, bem como categorizar a própria avaliação que será realizada no Procompi.

Uma das classificações mais comuns sobre os tipos de avaliações de políticas públicas contempla quatro tipos: avaliação ex-ante, avaliação ex-post ou somativa, avaliação formativa ou de processo e monitoramento.

De acordo com Cavalcanti (2006, p. 5), a avaliação ex-ante

refere-se à avaliação que é realizada antes do início do projeto, ou seja, trata-se de uma avaliação que procura medir a viabilidade do programa a ser implementado, no que diz respeito a sua relação ―custo-benefício‖.

Geralmente é muito utilizada por órgãos financiadores de projetos e pode ter como objetivo a identificação de prioridades e metas.

Silva e Melo (1999) apud Cavalcanti (2006, p. 6) afirmam que a avaliação ex-

post ou somativa:

Focaliza a relação entre processo, resultados e impacto, comparando os diferentes programas, o que possibilita escolher o mais adequado e viável para atingir as metas no prazo pretendido. O objetivo principal da avaliação Somativa é o de analisar a efetividade de um programa, compreendendo em que medida o mesmo atingiu os resultados esperados.

A avaliação focada na gestão e no funcionamento do programa é chamada de avaliação formativa ou de processo e procura:

Investigar como o programa funciona (observação das etapas, mecanismos, processos e conexões), quais são as estratégias utilizadas para o alcance dos resultados, ou seja, procura articular os meios com os fins, estabelecendo dessa forma sua consonância ou incompatibilidade (CAVALCANTI, 2006, p. 7).

Para Cavalcanti (2006, p. 8),

O monitoramento é um processo sistemático e periódico de análise da gestão, funcionamento e desempenho de programas e projetos. Tem como objetivo identificar desvios na execução das ações, entre o programado e o executado, diagnosticando suas causas e propondo ajustes operacionais, com vistas à adequação entre o plano e sua implementação.

Percebe-se que forte elemento de categorização é o momento em que se faz a avaliação do programa ou projeto. De fato, esta afirmação é corroborada por Cotta (2001) apud Faria (2005, p. 101), que ainda complementa:

A avaliação tem sido, usualmente, classificada em função do seu timing (antes, durante ou depois da implementação da política ou programa), da posição do avaliador em relação ao objeto avaliado (interna, externa ou semi-independente) e da natureza do objeto avaliado (contexto, insumos, processos e resultados).

A realização das duas avaliações em momentos diferentes é defendida por Cohen e Franco (1993 apud BELLONI, MAGALHÃES e SOUSA, 2007, p. 20):

Por isso, dispor de avaliações ex-post de projetos em curso ou já realizados é fundamental para melhorar os modelos. Desse modo, a avaliação ex-ante permite escolher a melhor opção dos programas e projetos nos quais se concretizam as políticas.

Para pesquisadores como Cohen e Franco (2004), Cotta, (1998), Cunha (2006), ainda se podem distinguir dois enfoques, segundo os tipos de problemas ou perguntas que as avaliações respondem, quais sejam:

Avaliação de processos – realizada durante a implementação do programa,

diz respeito à dimensão de gestão. É uma avaliação periódica que procura detectar as dificuldades que ocorrem durante o processo para efetuar correções ou adequações. Serve de suporte para melhorar a eficiência operativa (CUNHA, 2006, p.11).

Avaliação de impactos ou resultados – tem objetivos mais ambiciosos,

respondendo se o programa funcionou ou não. Procura verificar em que medida o programa alcança seus objetivos e quais são os seus efeitos, indagando se houve modificações na situação-problema que originou a formulação do programa, após sua implementação. Serve de suporte para decisão sobre política, como continuação do programa e formulação de outros (CUNHA, 2006, p.11). Com relação ao agente avaliador, Cunha (2006, p. 9-10) e Belloni, Magalhães e Sousa (2007, p. 24) afirmam existirem quatro tipos:

a) Avaliação externa – realizada por pessoas de fora da instituição responsável pelo programa, em geral com experiência neste tipo de atividade;

b) Avaliação interna – realizada dentro da instituição responsável, com maior colaboração das pessoas que participam do programa;

c) Avaliação mista – procura combinar os tipos de avaliação anteriores, fazendo com que os avaliadores externos tenham contato estreito com os participantes do programa a ser avaliado;

d) Avaliação participativa – usada principalmente para pequenos projetos, prevê a participação dos beneficiários das ações no planejamento, na programação, execução e avaliação dos mesmos.

Belloni, Magalhães e Sousa (2007, p. 10), pesquisadores da área de educação, reconhecem dois tipos de avaliação:

A avaliação institucional busca tratar de modo global e sistemático uma instituição, e a avaliação de política pública onde são analisados o conjunto de orientações e ações de um governo com vista ao alcance de determinados objetivos – e os seus resultados e consequências.

Em concordância com Cavalcanti (2006), Cunha (2006, p. 10) classifica as avaliações, quanto à natureza, como: ―avaliações formativas – estão relacionadas à formação do programa ou avaliações somativas que estão relacionadas à análise e produção de informações sobre etapas posteriores‖.

Sobre a concepção da avaliação, Belloni, Magalhães e Sousa (2007, p. 22) definem três tipos, a saber: ―Avaliação como comparação entre uma situação ou realidade dada e um modelo ou perspectiva definida previamente; Avaliação como comparação entre proposto e realizado, isto é, comprovação do atendimento dos objetivos e metas; Avaliação como processo metódico de aferição de eficiência e eficácia; Avaliação como instrumento de identificação de acertos e dificuldades com vistas ao aperfeiçoamento‖.

Conforme mencionado no início desta parte do trabalho, a diversidade de avaliações gerou grande divergência de classificações. Patton e Sawicki (1993, p. 373) afirmam que ―as abordagens na avaliação de políticas públicas usadas nas últimas décadas foram categorizadas por diferentes escritores, e mais de 100 tipos de abordagens foram identificadas‖. Os autores, no entanto, apresentam o esforço de House (1980) em reunir os diversos modelos no quadro que se apresenta abaixo.

Quadro 04: Taxonomia de Avaliação de Políticas Públicas de Ernest House Modelo grupos de Principais

Referência

Assume

consenso em Metodologia Resultado Questões Típicas

Analistas de

Sistemas Economistas, Gestores

Metas, causa- efeitos conhecidos, variáveis quantificáveis PPBS, programação linear, variação planejada, análise custo-benefício Eficiência Os efeitos esperados foram alcançados? Os efeitos podem ser alcançados de forma mais econômica? Quais são os programas mais eficientes?

Objetivos

comportamentais Gestores, Psicólogos

Objetivos Pré- estabelecidos, resultados e variáveis quantificados Objetivo comportamental, testes de resultados Produtividade, prestação de contas O programa está atingindo os seus objetivos? O programa está funcionando? Processo de Tomada de Decisão Tomadores de decisão em especial gestores Metas gerais, critérios Pesquisas, questionários, entrevistas, variação natural Efetividade, controle de qualidade O programa é efetivo? Quais partes são efetivas?

Goal-free Consumidores Consequências, _critérios

Controle de opiniões tendenciosas, análise lógica, modus operandi Escolha do consumidor, utilidade social

Quais são todos os efeitos?

Crítica de Arte Conhecedores –

Consumidores Padrões críticos Revisão crítica

Melhoria dos padrões, conscientização Podem os críticos aprovarem o programa? Cresceu a apreciação da audiência? Revisão

Profissional Profissionais, Público

Critérios, Procedimentos painel

Revisão por painel,

autoestudo Aceitação profissional Como os profissionais avaliam o programa? Semi Legal Júri Procedimentos _{e juízes} Procedimento semi _legal Resolução Quais são os argumentos contra e a favor do

programa? Estudo de Caso Clientes, _Praticantes Negociações, _atividades Estudos de caso, entrevistas,

observações Compreensão da diversidade O que o programa aparenta para os diferentes públicos?