O presente estudo pretende aferir que avaliação foi realizada à implementação do projeto “Velhos Guetos Novas Centralidades”, que critérios e procedimentos foi baseada e se foi suficiente para perceber os impactos do projeto na população de Rabo de Peixe em situação de pobreza, para além de aferir se os impactos puderam ser observados. Pois só com a confirmação de que o projeto produziu efeitos positivos na população de Rabo de Peixe, nomeadamente aqueles a que se propunha a atingir, ou pelo menos, se criou condições para que tal viesse a acontecer, se pode concluir que ocorreu uma intervenção bem-sucedida e daí retirar aprendizagens para a construção e implementação de projetos futuros.
Cabe agora, no seguimento do que foi dito e estando os conceitos explicitados, explorar então a abordagem das metodologias de avaliação.
A preocupação com as metodologias da avaliação, e a própria avaliação de projetos e programas, prende-se com a consciência da limitação das verbas públicas e que, por isso, a sua aplicação deve ser cuidada e eficaz. Sendo um recurso limitado, naturalmente que a gestão desse recurso deve ser muito criteriosa. No entanto, nem sempre o que se revela mais óbvio como resultados de projeto são, realmente, os verdadeiros resultados do projeto, isto é, o projeto pode produzir efeitos que não são imediatamente visíveis ou evidentes, mas que não deixam de ser impactos do projeto.
Desde logo, é fundamental aferir se as verbas foram aplicadas tal como o previsto, ou se, mediante eventuais reestruturações, foram aplicadas de acordo com as novas propostas. Mas mais importante do que perceber se os financiamentos concedidos foram corretamente aplicados e se atingiram os resultados propostos, é perceber que efeitos estes resultados provocaram na população visada e na comunidade em geral.
Quando se fala em projetos de desenvolvimento local é expectável, de facto, que esses projetos tragam melhorias e produzam a diferença num determinado grupo e ou território, dependendo, claro, dos objetivos, da incidência, etc. do projeto, mas esperando-se sempre vir a observar uma diferença, uma reação. No entanto, tudo o que seja mudanças provocadas num indivíduo, família ou grupos, nomeadamente no que se tratar de mudanças comportamentais, relacionais, etc. normalmente não são imediatamente visíveis, trazendo dificuldades na avaliação do projeto.
Retome-se a ideia de que, mais importante que os resultados são os impactos, pois considera-se que é uma matéria que deve estar muito bem clarificada para o presente estudo. Pode-se, por exemplo, propor a realização de uma série de ações que pareçam de extrema utilidade para determinada comunidade e que se acredite que, por si só, sejam suficientes para a produção de determinados efeitos, mas na verdade, pode não se vir a verificar que tal aconteça. É essencial, portanto, perceber se as boas intenções das ações apresentadas para determinada comunidade foram, de facto, tão úteis e positivas como aquilo que se pensava inicialmente.
29
Daí a importância da avaliação. Com a avaliação pretende-se aferir exatamente os efeitos dos projetos, e efeitos das medidas implementadas no projeto.
No documento publicado pelo Banco Mundial, em 1986 (Bamberger, 1986), sobre a monitorização e avaliação de programas de desenvolvimento urbano, é já referida a importância da avaliação. É certo que a avaliação é mencionada no sentido de ser aplicada às candidaturas de projetos que o Banco Mundial teria que avaliar, mas a sua ideia de base aplica-se precisamente à avaliação da implementação de um projeto.
É referido que o processo de avaliação pode avaliar a extensão dos benefícios do projeto (melhor habitação, maior rendimento, etc.) e trazer ainda um levantamento e apuramento da distribuição dos benefícios entre os diferentes grupos. Diz ainda que, um sistema de avaliação eficaz traz uma análise custo-benefício do projeto em relação a outras opções a financiar.
Ou seja, com uma avaliação eficaz pretende-se, não apenas confirmar os resultados produzidos pelo projeto, como também perceber os efeitos mais diretos e, como indica o relatório, apurar a distribuição desses efeitos pela comunidade.
Prossegue-se com um exemplo prático desta situação, inspirado num exemplo de José Manuel Henriques, e que, como se verá, tem uma relação direta com o projeto a analisar no presente estudo: Imagine-se que foram realizadas x formações de “jardinagem” e que se verificou uma afluência e uma participação muito interessada por parte da comunidade. Facilmente poder-se-ia concluir que o projeto foi um sucesso, dado que foram realizadas x formações, com muitos participantes. Mas pode-se considerar este tipo de resultados como suficientes? Será que se pode ou se deve contentar com este tipo de observação e de análise meramente quantitativa ou factual do projeto?
Considera-se que não. Considera-se que um exercício de avaliação deve ir muito mais além do que um mero exercício quantitativo. Ou seja, os resultados de um projeto não são, de todo, os efeitos produzidos pelo projeto.
De facto, o projeto previa fazer as formações, fez todas as formações e a sala estava cheia. Mas, e o que trouxeram essas formações à comunidade que participou? Que competências, de facto, essa comunidade ganhou?
Pode-se ainda ir mais longe. Assumindo que a comunidade ganhou competências, essas competências foram de facto derivadas do conteúdo das ações? Ou poderá a sua origem estar no perfil do formador, que era uma pessoa compreensiva, motivadora e que incitava à participação dos seus formandos? Porque se se chegar à conclusão de que não foi o curso de “jardinagem” que realmente trouxe uma mais-valia à comunidade, então que se foque a atenção para o que pode, de facto, trazer competências à comunidade e para aquilo que realmente provoca a mudança.
Ou seja, que se deixe de aplicar dinheiro e tempo em atividades ou ações que não trazem os efeitos pretendidos e, após a aferição do que realmente produz efeitos em determinada comunidade, investir nisso mesmo.
Se se chegar à conclusão que é o formador que faz toda a diferença e o que é necessário é alguém que acompanhe a comunidade com ações de incentivo e motivação, então que se procure precisamente formadores com esse perfil e se façam ações mais adequadas à população em causa.
30
Este é um bom exemplo para representar a diferença entre uma avaliação baseada nos resultados de um projeto e uma avaliação que tem a preocupação em identificar as causas dos impactos desse projeto.
Estas são variáveis que merecem ser olhadas de forma atenta. Se se conseguir apurar exatamente os efeitos de um projeto e que ações provocaram determinados efeitos na comunidade, poder-se-á fazer imensas poupanças, não só financeiras, como também temporais e, mais importante, um possível desbloqueio mais acelerado nos processos de mudança, que se pretendem atingir nas comunidades com a implementação de projetos.
4.2 A Avaliação Realista: o que é e as suas vantagens
Por este ser um tema não muito explorado, considera-se que merece uma atenção mais cuidada do que aquela que lhe tem vindo a ser dada.
É certo que o impacto da implementação de projetos tem vindo a ser, cada vez mais, valorado. A própria Comissão Europeia através do novo programa-quadro Horizonte2020 demonstra, isso mesmo. O impacto dos projetos neste novo programa-quadro ganhou uma relevância superior àquela que tinha em programas anteriores, sendo mesmo, um aspeto essencial na avaliação das candidaturas.
Para se compreender melhor o que é isto de se avaliar os impactos é necessário, desde logo, explicar o que é a avaliação realista, que é a metodologia de avaliação que se considera ser a mais adequada. Os métodos de avaliação correntemente utilizados, os convencionais, que normalmente se centram numa avaliação ex-ante e ex-post dos projetos, centrando-se essencialmente nos resultados produzidos, têm vindo a demonstrar-se insuficientes. Esta insuficiência deve-se sobretudo, como foi entretanto referido, por não integrarem os efeitos daí produzidos, como também, por não se conseguir assimilar as aprendizagens e os efeitos na comunidade, muitas vezes invisíveis a olho nu, mas subjacentes aos projetos avaliados.
A avaliação realista surge como um paradigma de avaliação que se propõe ultrapassar as limitações referidas nas metodologias convencionais, como menciona José Manuel Henriques (2003: 86) “As experiências de avaliação em programas experimentais com base em metodologias convencionais têm vindo a ser acompanhadas por uma insatisfação crescente. (…) A «avaliação realista» constitui uma proposta de superação dessa insatisfação”.
Os exercícios de avaliação de programas públicos, segundo o mesmo autor (Henriques, 2003: 88), têm por base os seguintes objetivos:
Avaliação da coerência de objetivos e estratégias – fase em se pretende apurar a causa dos problemas e a adequação da ação;
Avaliação do impacto – fase em que se pretende apurar os efeitos líquidos do projeto, o que é diferente do output. Os efeitos líquidos são aqueles que ocorrem diretamente da ação do projeto;
Avaliação processual – fase em que se analisa a eficiência dos recursos na obtenção dos efeitos líquidos.
31
A avaliação deve ainda ser feita de forma intercalar, ao longo de todo o projeto. Os processos de avaliação não se podem restringir ao ex-ante e ex-post, sofrendo o risco de se perder informação, ideias demasiado preciosas que poderão fazer toda a diferença nos impactos do projeto.
A avaliação intercalar permitirá, então, apreender o sentido dos sinais de possíveis impactos, isto é, apreender o “(…) sentido da inovação potencialmente expectável (…)” (Henriques, 2003: 90). Apenas com as avaliações intercalares é que é possível captar, ao longo do projeto, determinados sinais que se possa daí retirar possíveis estratégias de inovação e até aplicá-las ainda no projeto em curso. E esta, sim, é a riqueza da avaliação realista.
Nessa mesma periodicidade das avaliações, é também fundamental que sejam integrados os conhecimentos e as aprendizagens de todos os interlocutores do projeto, tais como, decisores, técnicos, beneficiários e avaliadores, o seu envolvimento é essencial para produzir informação mais fiável e apurar as possíveis inovações. É necessário aqui alertar para a exigência da coerência e do rigor teórico-conceptual, pois diferentes interlocutores poderão ter diferentes noções ou perspetivas de um mesmo conceito, o que poderá induzir a erros evitáveis, é imprescindível ter a certeza de que se está a falar do mesmo.
A abordagem realizada através do paradigma da “avaliação realista” traz, de facto, uma possibilidade de inovação, que de outra forma não seria viável, que se baseia na análise das causalidades dos fatores que contribuem para a mudança desejável.
Pode-se afirmar que o propósito da avaliação realista é a identificação dos poderes causais. Nesse sentido José Manuel Henriques (2003: 94) afirma que “Os exercícios de avaliação devem orientar-se para o esclarecimento do modo como mecanismos que geram problemas sociais são removidos ou contrariados através de mecanismos alternativos introduzidos através de um programa.”, e para além dos poderes causais, ainda as condições necessárias para que a inovação possa ocorrer.
Tem-se então como foco o efeito líquido, ou seja, o impacto derivado das possibilidades da inovação. Neste sentido, torna-se então crucial a validação do conhecimento produzido, de forma a legitimar a sua aplicação em ações e estratégias futuras.
4.3 As dificuldades da Avaliação Realista
A avaliação realista apresenta algumas dificuldades, que quando identificadas facilitará, seguramente, o processo de avaliação.
Uma das dificuldades que a avaliação realista enfrenta, originando assim uma dificuldade no próprio processo da avaliação é que, muitas das vezes, os projetos locais apresentam vulnerabilidades na definição e clarificação da natureza dos resultados e impactos a atingir (Henriques, 2003: 87).
Logo aí, percebe-se de forma imediata que é difícil aplicar um processo de avaliação se não se conseguir apurar exatamente o que se pretende avaliar. Também é certo que esta é uma dificuldade que se prevê ou se espera que se dilua no tempo, dada a exigência generalizada de rigor e de clarificação nos objetivos e impactos por parte das entidades financiadoras.
Uma dificuldade efetiva do processo de avaliação realista é, de facto, “A dificuldade de aceitar, ou incorporar, a relevância de realidades invisíveis (relações interpessoais de carácter informal, etc.) na
32
explicação dos resultados (…)” (Henriques, 2003: 90), isto é, a forma de expressar e integrar nos resultados e impactos do projeto, os efeitos provenientes das relações comportamentais, de confiança, etc. que não são percetíveis ou diretamente observáveis, ou ainda, que não são fáceis de traduzir na forma escrita. Estas relações causam, sem dúvida, uma aproximação ou distanciamento dos beneficiários dos projetos, bem como dos outros atores do projeto, podendo levar muitas das vezes ao sucesso ou fracasso de uma intervenção, sem que por isso seja evidente a verdadeira razão do seu acontecimento.
Mas é certo que, por muito que seja difícil traduzir estes elementos invisíveis, deve ser feito um esforço nesse sentido. Estes elementos são essenciais na verdadeira perceção global da implementação do projeto, pode-se até considerar que, em muitos dos casos, são elementos-chave numa avaliação clara e rigorosa.
Não se pode deixar ainda de referir uma problemática que se verifica de forma constante nas avaliações de projetos, podendo causar um certo desconforto na construção dos mesmos e, por vezes, até uma necessidade implícita de inflacionar os impactos propostos nos projetos.
Confunde-se por diversas vezes o fim do projeto com o fim do problema. Com a implementação de um projeto, poder-se-á pretender, idealmente, resolver dificuldades apesentadas em determinada comunidade. No entanto, é necessário ter consciência de que transformações sociais e de desenvolvimento local são, muito dificilmente, produzidas de forma instantânea e que, por isso, em vez do foco se centrar na resolução do problema, deve antes centrar-se no reconhecimento dos motores desbloqueadores destes mesmos problemas. Neste seguimento, José Manuel Henriques (2003: 88) refere que “O objetivo dos projetos não pode consistir na erradicação do problema mas na identificação do tipo de mudanças de que poderá depender a sua erradicação e inovar nas formas de resposta pública”.
33