Critérios Momento: Quando realizar a Avaliação?
Ex ante (antes):
realizada ao se iniciar a elaboração do programa/projeto para subsidiar a decisão quanto a sua implementação. Verifica a pertinência, viabilidade, eficácia, coerência interna, rentabilidade econômica das ações em relação aos objetivos propostos. São exemplos: análise custo-benefício, análise custo- efetividade1,2
Durante
(também denominada de gestão, contínua, concorrente, monitoração ou concomitante): realizada no decorrer da execução do programa, levanta informações sobre seu andamento, ponderando resultados com o objetivo de avaliar mudanças situacionais, verificar cumprimento do programa conforme o que foi estabelecido inicialmente para subsidiar possíveis alterações. Exemplo: avaliação de processos 1.
Ex post (depois):
realizada durante ou após a execução do projeto, buscando obter elementos para fundamentar decisões sobre a continuidade ou não do programa e sobre a manutenção ou não de sua proposta original. Avalia eficiência, efeitos e impactos. Exemplo: avaliação de processo (quando realizada durante), avaliação de impacto (quando realizada ao término do programa) 1,2.
Tempo: Avaliar à partir de qual tempo?
Retrospectiva: analisa o desempenho de um programa já realizado, implementado no passado.
Olha para trás e busca aprender com experiências já executadas 1.
Prospectiva:
indica como poderá ser, em termos de probabilidade, o desempenho do programa no futuro. É um olhar prospectivo que projeta no futuro o que se objetiva com o programa 1.
Formativa: realizada durante o processo de implementação do programa. É o olhar sobre o que está sendo implementado no momento mesmo de sua execução 1.
Contínua:
envolve avaliações formativa e retrospectiva. Analisa o que está sendo desenvolvido no momento presente elaborando reflexões a partir de experiências anteriores, buscando um acompanhamento contínuo do programa, corrigindo falhas já evidenciadas em programas implantados 1.
Integrativa: ocorre em dois momentos distintos do programa: antes e depois de sua execução 1.
Avaliador: Quem avalia?
Avaliação externa:
realizada por pessoas que não integram o quadro da instituição executora do programa. Supostamente são especialistas com experiência e conhecimento de metodologia de avaliação. Pode apresentar o inconveniente de os avaliadores não dominarem satisfatoriamente a realidade e as especificidades do programa, o que pode interferir no resultado da avaliação1,2
prévio da realidade institucional, do programa e dos membros das equipes; b) possibilidade de menor resistência e maior colaboração por parte da equipe. Porém, pode apresentar o inconveniente de menor objetividade face ao envolvimento e à identificação entre o avaliador e o avaliado1,2.
Avaliação mista:
procura combinar a avaliação externa com a interna, visando superar limitações e preservando as vantagens de ambas. Pode ser também combinada com a auto- avaliação realizada por pessoas envolvidas diretamente na execução do programa 1,2.
Avaliação participativa:
direcionada para minimizar a distância entre avaliadores e beneficiários. Por ser um tipo de avaliação que requer a participação da comunidade em todo o processo da avaliação (planejamento, programação, execução, operação e avaliação), é utilizada, particularmente, em pequenos projetos 1,2.
Destinatário ou demandatário: Para quem se avalia?
Dirigentes superiores
(legisladores, executivos locais, políticos, diretores): definem as políticas e estabelecem as prioridades entre os projetos de acordo com os objetivos da instituição ou com os grandes objetivos das políticas. Comumente orientados pela lógica política, centram-se mais nas demandas que nas necessidades, sendo sensíveis a pressões de grupos que se organizam para defender seus interesses
1,2.
Administradores
(gestores, financiadores): são responsáveis pela distribuição dos recursos para a concretização dos objetivos estabelecidos. Devem ter a preocupação de otimizar a relação insumo-produto. São orientados por uma racionalidade baseada nos procedimentos, na aplicação de normas e na competência legal 1,2.
Técnicos
(planejadores, executores, avaliadores): responsáveis pela execução do programa, devem centra-se em aspectos operativos, orientados pela lógica dos fins/resultados, traduzindo os modelos para a prática 1,2.
Usuários do programa
(beneficiários, grupos de pressão, movimentos sociais): responsáveis pela transformação de problemas em demandas sociais que integrarão ou não as agendas públicas, sendo orientados pela lógica das necessidades e dos resultados 1,2.
Função: Para que realizar a avaliação?
Avaliação Somativa:
realizada após o término do programa e tem por finalidade prestar contas a uma audiência externa (órgão financiador) ou gestor. Destinada a tomada de decisão sobre determinado programa com base em uma visão global: encerrá-lo, mantê- lo, expandi-lo. Para isso, mostra-se relevante informações sobre custos e resultados 3,4.
Avaliação formativa:
realizada durante a implementação de um programa e tem por objetivo apoiar o desenvolvimento do mesmo. Objetiva o aperfeiçoamento de um dado programa, diagnosticando suas fragilidades e vulnerabilidades. Neste tipo de avaliação os trabalhadores diretos e gestores mais próximos, além de outros grupos de interesse, devem estar envolvidos de modo que garanta sua participação na superação dos problemas identificados 3,4.
Objetos: O que avaliar?
Estrutura: avalia todos os tipos de recursos utilizados na execução do programa: equipe
(RH), recursos materiais, organizacionais 3.
Processo: avalia tudo o que medeia a relação profissional-usuário 3.
Resultado: está relacionado tanto com o produto das ações (consultas, exames, visitas) quanto com a modificação no estado de saúde de indivíduos e da população 3.
Qual nível do programa avaliar?
Ações: diz respeito às ações desenvolvidas pelos agentes / profissionais
individualmente 3.
Serviços:
corresponde a um grau de maior complexidade de organização das ações onde diversos agentes se articulam para desenvolver atividades, coordenadas ou não, voltadas para uma população alvo e para um problema determinado 3.
Estabelecimento: corresponde a unidades institucionais que compreendem diferentes níveis de complexidade, onde serviços são desenvolvidos por meio de ações 3.
Sistema:
seria o nível mais complexo da organização das práticas. Compreende os níveis do Estabelecimento, Serviços e Ações, podendo congregar diversos estabelecimentos e suas coordenações. Exemplo: avaliação do Sistema de Saúde em nível municipal, estadual ou federal 3.
Disponibilidade do programa Cobertura:
mede a proporção da população que se beneficia do programa ou intervenção. Pode ser pensada em relação a intervenções de diversos tipos. Responde à pergunta: Em que medida os recursos existentes são suficientes para atender a população-alvo? 3
Acessibilidade:
é a relação entre os recursos e os obstáculos postos ao acesso dos recursos. Esses obstáculos podem ser geográficos (distância, transporte), organizacionais (meio para ser admitido, fluxos internos, filas, senhas, tempo de espera injustificável) e econômicos (falta de recursos materiais por parte do demandatário), dentre outros 3.
Equidade:
usada no sentido que lhe é dado no âmbito judiciário, qual seja, tratar desigualmente os desiguais e priorizar para as intervenções grupos sociais com maiores necessidades 3.
Mérito: Por que Avaliar?
Ordem moral: se refere à exigência de probidade dos gestores na gestão do programa e, dos usuários na apropriação dos benefícios 1.
Ordem política:
se refere a verificação dos propósitos da política ou programa em relação aos princípios de justiça minimamente aceitos bem como a possibilidade de as avaliações contribuírem para o controle social dos programas sociais e servirem de instrumento de pressão social sobre o Estado1.
Ordem
instrumental: se relaciona com a geração de informações para monitorar o programa
1.
comum; para a sistematização da prática em desenvolvimento; para correção, melhoria e avanço técnico do programa para melhor servir à população alvo e para identificação de resultados e impactos1.
Ordem
econômica: tem em vista a racionalização e melhor aplicação de recursos1. Metodologia: Como avaliar?
Abordagem quantitativa:
procura medir o impacto ou efeito do programa com relação ao que foi previamente estabelecido. Baseada no positivismo, considera a realidade como algo regulado por leis naturais e, sendo assim, é passível de ser mensurável através do uso de ferramentas estatísticas. São exemplos: análise de cobertura, concentração, eficiência, acesso, custo 5.
Abordagem qualitativa:
busca compreender as relações, as visões e o julgamento dos diferentes atores sobre o programa do qual participam, entendendo que suas vivências e reações fazem parte da construção da intervenção e de seus resultados. Fundamenta-se nas ciências sociais e atua levando em conta a compreensão, a inteligibilidade dos fenômenos sociais e o significado e a intencionalidade que lhe atribuem os atores5.
Avaliação de custos Avaliação da
Eficiência:
tem por objetivo reestruturar a ação para obter, ao menor custo e ao menor esforço, melhores resultados. Deve ser necessariamente crítica, estabelecendo juízos de valor sobre o desempenho e os resultados que o mesmo propicia6,7.
Avaliação da Eficácia:
é analisada a partir do estudo da adequação da ação para o alcance dos objetivos e das metas previstos no planejamento e do grau em que os mesmos foram alcançados6,7.
Avaliação da Efetividade:
diz respeito, mais propriamente, ao estudo de impacto do planejado sobre a situação, à adequação dos objetivos definidos para o atendimento da problemática objeto da intervenção, ou melhor, ao estudo dos efeitos da ação sobre a questão objeto do planejamento6,7.
1 SILVA, 2001; 2 COHEN & FRANCO, 2008; 3 HARTZ, 2005; 4 FURTADO, 2006; 5 MINAYO, 2010; 6BAPTISTA, 2010; 7BARREIRA & CARVALHO, 2001.