Diskusjon av funnene, sett i lys av teori og tidligere forskning

Howlett et al. (2009) identificam três possíveis consequências da avaliação de uma política: 1) A política pode ser considerada bem-sucedida e continuar na sua forma atual. 2) A mais frequente, a política pode ser considerada útil e são apontadas alterações para a melhorar. 3) Pode ser considerada um fracasso ou um sucesso total, sendo recomendado o seu fim. Nas duas primeiras situações, a fase da avaliação conduz a política a uma outra fase do processo de produção de políticas, frequentemente à fase de definição da agenda (agenda setting). No terceiro caso, a opção será no sentido de simplesmente terminar a política ou o programa. Segundo os mesmos autores, apesar de ser uma consequência bastante comum como resultado da avaliação das políticas, tem sido observada uma relutância, por parte dos decisores, em adotar o último tipo de ação referido e existe uma tendência geral para as políticas persistirem, mesmo depois de serem consideradas como tendo fracassado na prossecução dos objetivos pretendidos. Aqueles autores explicam esta situação pelo facto de se tornar difícil definir, em muitos casos, o que é o sucesso ou o fracasso de uma política. Segundo Stewart e Mackie (2011), citando Bovens e Hart (1996), a decisão sobre se uma política é considerada um fracasso é uma questão política, envolvendo valores e expetativas. Contudo, para Howlett

et al. (2009), em muitos casos, a dificuldade em terminar um programa ou uma política

decorre destes terem originado a existência de grupos de beneficiários que pretendem a sua continuação e, frequentemente, a cessação da política desencadeia batalhas com custos legais, burocráticos e políticos, que apenas com o apoio de uma base política alargada podem ser

concretizados. No entender destes autores, por vezes, a cessação das políticas requer mesmo uma mudança ideológica no governo e na sociedade, que facilite a emergência do consenso necessário à cessação, sem contestação, da política em causa. Acresce que a cessação bem- sucedida de uma política, no curto prazo, não garante necessariamente o mesmo sucesso a longo prazo. Se a perceção do problema persistir, a cessação da política dará lugar a uma reconceptualização dos problemas e das políticas alternativas e a uma nova ronda do processo de produção da política. Neste processo, se não surgir uma alternativa melhor, pode daqui resultar a restauração do programa ou da política que havia sido terminada.

Apesar de a utilidade da avaliação das políticas públicas ser reconhecida por muitos autores, conforme se demonstrou anteriormente, são apontadas várias limitações ao processo de avaliação das políticas públicas que restringem a utilidade de que estes estudos se revestem. Rocha (2010), por exemplo, reconhece que a avaliação ajuda os governos a decidirem se devem continuar ou terminar determinadas políticas, expandir e institucionalizar programas com sucesso ou modificar parte de um programa. Contudo, constata também que os políticos dão pouca importância à avaliação e não se baseiam nos resultados desta para definirem, de forma autónoma, as políticas. Mas, citando Weiss (1999), Rocha (2010) reconhece também que os políticos são muitas vezes obrigados a prestar atenção aos resultados da avaliação por várias razões: precisam de informação fidedigna para tomar decisões sensíveis; desconfiam de informação proveniente de outras fontes; necessitam de legitimar as decisões; precisam de teoria para fundamentar as suas decisões ou, ainda, porque precisam de se mostrar atualizados.

Uma perspetiva menos pessimista quanto à utilidade da avaliação das políticas é apresentada por Rossi et al. (2004). Não obstante reconhecerem a existência de algum desapontamento, tanto ao nível dos avaliadores como dos potenciais utilizadores dos resultados da avaliação, decorrente da utilização limitada dos resultados da avaliação, constataram também que os estudos desenvolvidos nas duas últimas décadas desafiam a crença instalada de que as avaliações não têm utilidade direta. Identificaram vários estudos em que os resultados da avaliação conduziram a alterações importantes nos programas, tendo igualmente identificado situações em que influenciaram o processo de tomada de decisão, trazendo informações críticas para o desenvolvimento das políticas públicas. Contudo, o resultado das grandes avaliações, com menor grau de utilização, é mais conhecido e influencia mais a ideia que existe acerca da utilidade das avaliações, apesar de existirem muitos estudos de pequena dimensão que tiveram uma utilidade mais direta na melhoria dos programas.

Rossi et al. (2004), com base em Solomon e Shortell (1981), identificaram um conjunto de sugestões básicas que podem contribuir para maximizar a utilização dos resultados das avaliações, quer em termos diretos, quer em termos conceptuais:

1. Os avaliadores devem compreender o estilo cognitivo dos decisores. Não adianta, por exemplo, apresentar a um político um estudo complexo que ele não pode ou não pretende compreender. Por isso, para determinadas audiências, pode ser mais indicada a apresentação de relatórios ou apresentações orais do que a divulgação dos resultados através da publicação de artigos em jornais académicos.

2. A avaliação deve ser atempada e estar disponível quando é necessária. Os avaliadores necessitam de equilibrar a profundidade e a excelência da análise com o correto timing de apresentação da informação, mesmo correndo o risco de ser objeto de críticas por parte do mundo académico por não respeitarem integralmente determinados conceitos que possam não ser compatíveis com a necessidade de resultados rápidos e atualizados9.

3. As avaliações devem respeitar os compromissos dos stakeholders do programa. A utilidade da avaliação depende de uma participação alargada no processo de conceção da avaliação que permita ter em conta os interesses dos vários stakeholders. As diferenças de valores e de perspetivas entre os clientes e os avaliadores devem ser clarificadas no início do estudo, o que permitirá verificar se a avaliação tem condições para ser desenvolvida pela equipa de avaliadores definida.

4. Na conceção da avaliação devem ser incluídos planos para a sua utilização e divulgação. Os resultados da avaliação terão maior utilização se esta incluir indicações sobre a forma como pode ser utilizada, as potencialidades e limitações da sua utilização e, inclusive, as críticas que os decisores podem antecipar, relativamente ao uso dos resultados em questão.

5. As avaliações devem incluir uma apreciação da sua utilização. Os avaliadores e os decisores devem chegar a um consenso acerca dos critérios que vão aferir se os resultados da avaliação são suficientemente úteis ou não, isto é, vão de encontro às expetativas subjacentes à realização do estudo.

Não obstante as limitações identificadas, continua a haver autores que reconhecem a utilidade da avaliação das políticas públicas, como iremos demonstrar no ponto seguinte.

9 _{É certo que, conforme referem os mesmos autores, nos casos em que os resultados obtidos através da avaliação}

desafiam o status quo do conhecimento existente sobre determinada matéria, é particularmente importante a qualidade da pesquisa que permitiu a obtenção daqueles resultados.