Definir avaliação não é uma tarefa simples. O conceito parece ser intuitivo (WORTHEN et al., 2004) e cada indivíduo possui a sua própria conceituação. Outro fator complicador está no fato de a avaliação servir a diferentes usos, podendo haver um conceito diferente para cada aplicação.
Para Worthen et al. (2004) avaliar significa identificar, esclarecer e aplicar critérios defensáveis para determinar o valor ou o mérito, a qualidade, a utilidade, a eficácia ou a importância do objeto avaliado em relação aos critérios.
McDavid e Hawthorn (2006, p. 3) definem a avaliação como um “processo estruturado que cria e sintetiza informações com o objetivo de reduzir o nível de incerteza das partes interessadas a respeito de um determinado programa ou política”. Deve responder perguntas ou testar hipóteses e seus resultados devem ser incorporados às informações dos interessados no programa ou política.
Já para Rossi, Lipsey e Freeman (2004), a avaliação representa o uso de métodos de pesquisa social para investigar a efetividade de programas de intervenção social em formas adaptadas aos ambientes social e organizacional. É desenhada para melhorar a ação social e dessa maneira as condições da sociedade.
Verifica-se que a avaliação possui algumas características, quais sejam: a) é sistemática, pois é conduzida com formalidade e rigor científicos da pesquisa; b) possui foco tanto no processo quanto nos
resultados, pois ao focalizar no processo o avaliador procura compreender a forma pela qual o programa é conduzido e ao focalizar nos resultados busca-se apreender o que o programa produziu para os usuários; c) apresenta padrões de comparação como elementos de julgamento necessários para avaliar e, por fim, d) possui o propósito de contribuir para a ação, auxiliando na melhoria da intervenção social.
A avaliação é, portanto, segundo Albuquerque (2006) um processo (não um evento) contínuo e integrado às atividades do dia-a- dia da organização que delineia, obtém e fornece informações úteis para definir alternativas a serem tomadas em relação a determinado objeto. Para o desenvolvimento de uma avaliação parte-se de um marco zero, que nada mais é do que a análise da realidade feita pelos diferentes atores envolvidos no início do projeto e que serve para que se obtenham dados iniciais para compará-los ao final do projeto e verificar se houve mudanças na realidade que se pretendia atingir.
Albuquerque (2006) classifica as avaliações em três tipos: avaliação de processo, avaliação de resultados e avaliação de impacto.
A avaliação de processo é utilizada em programas em estágio inicial de operação, pois ajuda a verificar se o projeto está se desenvolvendo da forma desejada, enquanto que a avaliação de resultados é realizada, normalmente, nas fases intermediária e final dos projetos com intuito de analisar os benefícios gerados aos participantes durante e após a implementação. Requer indicadores bem definidos, tanto os quantitativos como os qualitativos. Já a avaliação de impacto é realizada após o período de implementação das ações de um projeto e é normalmente realizada por avaliadores externos ao projeto.
A fase de verificação e de avaliação do processo de inovação definido pela ANAO (2009) consiste em estabelecer técnicas de mensuração do sucesso ou não da inovação. Fornece a base sobre a qual podem ser realizados os julgamentos sobre a eficiência, a eficácia e a adequação de novos processos, produtos, serviços ou métodos de entrega, compreendendo, portanto, a preparação de uma estratégia de avaliação, o monitoramento dos resultados de curto prazo e do impacto inicial, bem como a avaliação dos resultados de longo prazo (ANAO, 2009).
Já Marino (2003) propõe que a avaliação siga algumas etapas, de acordo com o seu propósito, quais sejam:
a) decisão sobre o foco da avaliação – significa tomar uma decisão com base em um conjunto de fatores que compõem o
processo e sobre uma análise das necessidades que levaram ao ato de avaliar. A partir dessa decisão tem-se como resultados: o tipo de avaliação, a quem será útil, os objetivos, os responsáveis por sua execução e suas atribuições;
b) formação da equipe – definição das pessoas que assumirão o processo avaliatório diante de todos os envolvidos no projeto; c) identificação dos interessados, das perguntas e dos indicadores – nesta etapa são envolvidas as partes interessadas no projeto e formuladas as perguntas que orientarão a avaliação e definidos os indicadores;
d) levantamento de informações – compreende a identificação de fontes e a escolha dos métodos de construção dos instrumentos de coleta de informações;
e) análise de fatos e informações – refere-se à sistematização e à análise dos dados levantados;
f) elaboração do relatório e divulgação – etapa, após a análise, em que se apresentam os resultados dos achados da avaliação, suas conclusões e possíveis recomendações visando a atender às necessidades de informações das diferentes partes interessadas; g) utilização e disseminação – refere-se à definição dos meios de comunicação utilizados para divulgar os resultados visando à discussão e ao debate.
Para Armani (2008) estas definições ocorrem na fase de elaboração do projeto, destacando que a fase de avaliação propriamente dita ocorre em um certo período de tempo após a implementação do projeto, quando questiona-se os efeitos ou impactos do esforço e dos recursos investidos. O autor destaca que esta fase se distingue da avaliação contínua que ocorre durante a execução do projeto (monitoramento e avaliação).
As informações de desempenho e sua disponibilidade para os gestores, para a sociedade e demais partes interessadas contribui para o aprendizado, a inovação e a melhoria. Uma estratégia de avaliação devidamente adaptada inclui a coleta e a análise de informações de desempenho que fornecem tanto uma avaliação rápida da efetividade da entrega da inovação quanto uma avaliação de longo prazo dos resultados alcançados (ANAO, 2009).
Costa e Castanhar (2003) destacam que, embora se associe normalmente a avaliação de desempenho à mensuração de eficiência na gestão de programas públicos, este não é, evidentemente, o único e nem
o mais importante critério a ser utilizado na avaliação. A definição dos critérios depende dos fatores que se deseja avaliar. Entre os critérios mais comuns tem-se: eficiência, eficácia, impacto (efetividade), sustentabilidade, satisfação do beneficiário e equidade.
A operacionalização desses critérios se dá por meio de indicadores – que “apontam, indicam, aproximam, traduzem em termos operacionais as dimensões sociais de interesses definidas a partir de escolhas teóricas ou políticas realizadas anteriormente” (JANNUZZI, 2005, p. 138). Os indicadores podem ser quantitativos (medidas de quantidade) e qualitativos (julgamentos e percepções das pessoas sobre determinado assunto). No entanto, se o que se pretende medir é o alcance ou não dos resultados previstos, é preciso definir uma referência inicial (ALBUQUERQUE, 2006).
Indicadores precoces podem ser utilizados para detectar quaisquer problemas significativos e permitir a execução de ações corretivas. Avaliação de longo prazo pode ser utilizada para entender melhor os detalhes do impacto da inovação e regulamentar mudanças no serviço (ANAO, 2009).
A obtenção de feedback do cidadão e das partes interessadas pode, segundo a ANAO (2009), fornecer valiosas informações sobre a compreensão e o impacto das iniciativas e aumentar a credibilidade de quaisquer ajustes que podem ou devem ser realizados.
Segundo a ANAO (2009), avaliações completas necessitam necessariamente de um período mais longo e de dados mais abrangentes do que as primeiras críticas.
A ANAO (2009) estabalece que, quando apropriado, os processos de avaliação formais auxiliam os gestores ou outros tomadores de decisão a:
a) avaliar a pertinência e a prioridade de uma inovação à luz das circunstâncias atuais, incluindo mudanças nas políticas governamentais;
b) testar se a inovação tem como alvo a população desejada, e c) verificar se há maneiras mais eficientes de auxiliar o grupo- alvo.
Avaliações também possuem a capacidade de estabelecer relações causais e permitir lições a serem aprendidas e ajustes apropriados o mais rápido possível. A utilidade de uma avaliação depende da qualidade da evidência sobre a qual se baseia. Normalmente os custos para reunir provas necessárias após o evento como parte de um
processo de avaliação são mais elevados do que construir a coleta de dados durante o projeto inicial (ANAO, 2009).