As raízes históricas da avaliação social datam do século XVII, porém é só a partir de meados do século XX que ela ganha reconhecimento científico. Durante todo este período, a avaliação de programas sociais foi baseada em uma estratégia de pesquisa experimental, modelada nas ciências naturais, de probabilidade e dedução, na matematização do conhecimento (Barreira, 1999: p.15).
O fim da 2ª guerra mundial representou um marco para a avaliação social nos países desenvolvidos. Isto porque a generalização do Welfare State naqueles países, com a conseqüente implementação de programas sociais de caráter universal, aliada à política de ajuda dos governos do norte aos países do terceiro mundo, fizeram com que fossem vultuosos os recursos aplicados naqueles programas; daí os governos e os agentes financiadores passaram a exigir o acompanhamento da execução e dos resultados encontrados.
Os anos de 1950 a 1970 são considerados pelos estudiosos como o boom period de desenvolvimento do campo da pesquisa avaliativa de programas sociais. A ênfase governamental em desenvolver programas sociais, sobretudo nos países desenvolvidos, gerou o empenho na realização de estudos avaliativos Como exemplo, Barreira (p.23) menciona a publicação do livro de Edward Suchman (Nova York, 1967), Principles and practice in Public Service & Social Action Programs, tido como referência no campo da avaliação social.
Segundo Rossi, Freeman, Lipsey (1999: p.11), outros estudos-referência sobre avaliação social nesse período foram também os de Hayes, S.P. “Evaluating Development Projects” (Paris, 1959); Campbell, D.T. “Reforms as Experiments” (in American Psychologist 24, 1969); Weiss, C.H. “Evaluation Research: Methods of Assessing Program Effectiveness” (New Jersey, 1972); e Riecken, H.W., Borouch, R.F. “Social Experimentation: A Method for Planning and Evaluating Social Intervention” (New York, 1974).
Concomitantemente ao boom period das avaliações sociais, estava sendo gestada a crise de sua utilização, que se estendeu ao longo dos anos 80. Citando Patton24, Barreira uma questão em debate. Elizabeth Melo Rico (org.). São Paulo: Cortez, 1995.
24 Patton, Michael Quinn, “Utilization-Focused Evaluation”. The new Century Text. 3rd edition. Thousand Oaks, CA., Sage Publications, 1997.
(1999: p.24) mostra como nos Estados Unidos, ao final dos anos 60, se constatou que as avaliações dos programas sociais do governo já começavam a ser amplamente ignoradas. Elas nem sequer serviam para subsidiar os tomadores de decisão política. Isto porque, em sua maioria, não passavam de textos avaliativos voltados a atender ao rigor científico mais do que aos desafios da ação política.
Como também mostram Rossi, Freeman e Lipsey (1999: p.29-30), o debate sobre os aspectos “científico versus pragmático” da avaliação social ganhou fôlego com Campbell (1969) e Cronbach (1982), tidos como dois gigantes no campo da avaliação social nos Estados Unidos. Em 1969, Donald Campbell25, em artigo tido como o mais influente da época, defendeu que as decisões nos programas sociais devem emergir de um processo de experimentação contínuo voltado para testar as diferentes maneiras de melhoria nas condições sociais. Ou seja, o rigor científico assumiria para ele papel preponderante. Por sua vez, Lee Cronbach26 contra-argumentaria que toda avaliação deve ser desenhada para atender as necessidades dos tomadores de decisão e dos stakeholders. Assim, enquanto nos estudos científicos o que se busca é atingir os padrões científicos, as avaliações devem estar voltadas para propiciarem o máximo em informações úteis para os tomadores de decisão, dadas as circunstâncias políticas, as limitações do programa e os recursos disponíveis. Isto é, para este último autor, o primordial seria o aspecto pragmático que toda avaliação deve ter.
Também nos demais países desenvolvidos, como Alemanha e França, o modelo tradicional de avaliação social, baseado na mensuração estatisticamente rigorosa do alcance de metas e impactos, entrou em crise. As principais críticas diziam respeito à ausência de resultados concludentes, relevantes e oportunos que este tipo de avaliação proporcionava (Sulbrandt, 1994: p.379).
Já na América Latina, as políticas e programas sociais não recebiam, em sua maioria, nenhum tipo de avaliação. Mesmo nos casos em que a avaliação era realizada, ela não satisfazia aos requisitos de uma pesquisa profissional (Sulbrandt, 1994: p.367). Também aqui, as formas clássicas de avaliação - baseadas em avaliação de metas, de impacto e de processos - foram alvo de pesadas críticas. A principal delas era a de que seus resultados não vinham sendo utilizados para a tomada de decisões, o que mostrava que em última instância ela vinha sendo inútil e irrelevante (Sulbrandt, 1994: p. 370, 390).
25 CAMPBELL, D.T. “Reforms as Experiments” in American Psychologist 24 (April), 1969
26 CRONBACH, L.J. Designing Evaluations of Educational and Social Programs. San Francisco: Jossey-Bass, 1982.
Para Barreira (1999: p.36), defensora da avaliação participativa em oposição aos modelos tradicionais de avaliação, a influência da corrente positivista27 nos métodos de avaliação de programas sociais fez com que o conceito de avaliação estivesse ligado à idéia de controle, até por volta dos anos 80. Isto porque, e aqui buscando justificar Barreira, o foco da avaliação social estava, até então, no alcance de metas quantitativas pré-definidas para o programa e/ou na verificação de hipóteses pré-estabelecidas de sucesso. Daí que, uma vez constatado que as metas não eram atingidas e/ou as hipóteses não se verificavam, havia que se identificar os culpados pelo fracasso ao longo da execução do programa.
A questão que colocamos aqui para reflexão é a seguinte: será que a adoção dos métodos experimentais ou quasi-experimentais para testar causalidade de projetos sociais, objetos por excelência dessa crítica de Barreira, tem que estar necessariamente associados a idéia de controle?
Nossa posição é de que não. Como mostraremos mais à frente, os métodos devem estar subordinados às questões definidas como relevantes para avaliação e, estas sim, devem ser decididas de modo participativo entre os vários grupos de atores com interesse no programa social. Porém, é importante deixar registrado que no Brasil ainda prevalece muito forte essa percepção de controle associada à avaliação social. Isto explica, em grande medida, a resistência quase generalizada à cultura da avaliação, que existe até hoje nas administrações públicas do nosso país.
Sulbrandt (1994: p. 404) reforça este aspecto não desejável da avaliação, responsável, de certo modo, pela crise de sua utilização. Diz ele que insistir num enfoque que use a avaliação apenas como um instrumento de controle, destinado a perseguir as responsabilidades administrativas dos gerentes e funcionários públicos, significa estimular a desconfiança generalizada de todos os membros das equipes de implementação frente a estas pesquisas.
Ele afirma ainda que o desejável seria que, mais do que controlar e castigar, a avaliação deveria ser destinada a permitir uma aprendizagem a partir dos erros, omissões e dificuldades encontradas na execução das políticas e programas. Este trabalho precisaria ser desenvolvido pelos avaliadores em conjunto com a gerência, com os atores diretamente
27 Corrente filosófica dominante na epistemologia das ciências sociais a partir do século XVIII e muito presente no debate metodológico dos séculos XIX e XX. Segundo essa corrente, a ciência tem um método único, o método das ciências naturais, e seu objetivo é gerar leis universais (Cano, 2002: p.14). O paradigma lógico- positivista utiliza-se de métodos quantitativos e experimentais para testar generalizações hipotético-dedutivas (Patton, 1990: p.37).
envolvidos e, em particular, com os grupos beneficiários. Isto quer dizer que se deveria trabalhar cooperativamente para desenvolver novos conhecimentos e melhorar os modelos de execução das políticas sociais.
Sulbrandt (1994: p. 388) vai além em sua análise crítica quanto aos métodos tradicionais de avaliação social, e adverte que esses enfoques tomam como ponto de partida uma perspectiva “de cima para baixo”, que começa com uma decisão de política pública que determina os mecanismos mediante os quais são fixados as metas e resultados. Para ele, é necessário complementar esta perspectiva com outra que tenta operar “de baixo para cima”, isto é, com uma forma de olhar estes processos considerando que o ponto de partida não são as grandes decisões políticas, mas os comportamentos reais dos atores envolvidos na tentativa de enfrentar uma situação-problema.
Seguindo essa sua linha de raciocínio, Sulbrandt (1994: p. 393) propõe um enfoque global para a avaliação - que ele chamou de avaliação global ou integral, que visa complementar os enfoques tradicionais quantitativos até então utilizados. Trata-se, pois, de detectar e analisar os elementos estruturais, o comportamento e as pautas de interação dos atores principais, suas estratégias, táticas e argumentações, para depois reconstruir os episódios e eventos da execução em fase de um desenvolvimento conjunto e sistemático.
Outro ponto importante a destacar na história da avaliação social é que, até os anos 60, a pesquisa qualitativa era aí raramente mencionada. Segundo Barreira (1999: p.48-50), é só nos anos 70 e 80 que começa a ser travada uma batalha para legitimar os métodos qualitativos na avaliação social. Diz ela,
Nos anos 70, a batalha para legitimar os métodos qualitativos na avaliação foi provavelmente o produto de duas influências. Uma delas foi o longo debate, especialmente na Sociologia, sobre a utilidade de métodos qualitativos e as limitações dos métodos quantitativos. ... A segunda influência foi de acadêmicos formados em métodos quantitativos, particularmente na área da Educação, que rejeitavam esses métodos como epistemologicamente inadequados para a avaliação de programas sociais e expressaram sua preferência pelos qualitativos (Guba&Lincoln, 1981; Stake, 1980)28. Ambas correntes na sociologia e na educação juntaram suas forças para entrar na “guerra” por sua fé compartilhada. Essa guerra foi a principal agenda intelectual na avaliação nos anos oitenta (Cook, 1997)29.
.... Na vertente qualitativa surgiram propostas alternativas para a avaliação que enfatizam os processos e especialmente a interação dos atores centrais dos programas. Assim surgem a
28 GUBA, E.G. & LINCOLN, Y.S. Effective Evaluation: Improving the Usefulness of Evaluation Results
through Responsive and Naturalistic Approaches. San Francisco, CA., Jossey Bass, 1981
STAKE, Robert E. Program Evaluation, Particularly Responsive Evaluation. In: DOCKRELL, W.B. & HAMILTON, D. (eds) Rethinking Educational Research. London, Hodder&Stoughton, 1980.
29 COOK, Thomas D. Lessons Learned in Evaluation Over the Past 25 Years. In CHELIMSKY, Eleanor & SHADISH, William R. (eds). Evaluation for the 21th Century. Thousand Oaks, CA., Sage, 1997.
avaliação “livre de metas”, a avaliação naturalista, a interativa, a participativa... Esses enfoques, denominados “paradigmas minoritários”, pois provêm da fenomenologia30, da etnometodologia e da interação simbólica, abrem um mundo de grande riqueza.... (Sulbrandt, 1994: p.389-390)
A partir dessa colocação de Barreira, voltamos a colocar aqui um novo questionamento: será que precisa haver, de fato, esta oposição tão ferrenha entre os métodos quantitativos e qualitativos de avaliação social?
Nossa posição é um retumbante não, como desenvolveremos mais à frente na subseção II.2.6. Mas, cabe reconhecer que essa situação conflitiva perdurou durante os anos 70 e 80, quando a vertente qualitativa de avaliação começava a conquistar espaço, em um campo metodológico predominantemente quantitativo. E, como sabemos, o processo de conquista de espaços é, na maior parte das vezes, muito árduo. Até mesmo Barreira, mais adiante em sua tese (1999: p.50), vai reconhecer que essa fase conflitiva já se encontra atualmente superada, ao afirmar que a adesão aos métodos qualitativos não significam, a priori, negação dos métodos quantitativos. E que há uma clara tendência em combinar abordagens qualitativas e quantitativas na avaliação de programas sociais.