Case by case

Scriven (1973 apud VIANNA, 2000) mostrou que a avaliação formativa deve ocorrer ao longo do desenvolvimento de programa, projetos e produtos educacionais, com

vistas a proporcionar informações úteis para que os responsáveis possam promover o aprimoramento do que está sendo objeto de implementação. Scriven (1973 apud VIANNA, 2000) mostrou também que ao longo de um projeto a avaliação formativa deve ser uma constante, a fim de que os responsáveis possam, usando as informações, realizar as modificações que se fizerem necessárias.

A avaliação somativa, conduzida ao final de um programa de avaliação, possibilita, ao seu futuro usuário, elementos para julgar a sua importância, o seu valor, e seu mérito. A conclusão é a de que a avaliação somativa torna-se indispensável para os usuários.

Vianna (2000, p. 86) esclarece que: “A avaliação formativa, no caso de um programa, tem a sua clientela concentrada nos elementos responsáveis pelo desenvolvimento do próprio programa.”.

A avaliação somativa desse mesmo programa teria destinatários diferentes: consumidores potenciais (alunos e professores, por exemplo) ou instituições financiadoras, como a Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES), a Financiadora de Estudos e Projetos (FINEP), Fundação Ford, ou ainda, supervisores educacionais e os próprios responsáveis pelo desenvolvimento do projeto.

Os dois tipos de avaliação – formativa e somativa – são fundamentais, considerando que várias decisões devem ser tomadas no decorrer das diversas fases do desenvolvimento do programa, e que ao término dever-se-á determinar o mérito desse programa e empreender outras decisões, inclusive em relação ao futuro do programa, se deve continuar ou ser encerrado definitivamente. A realização de uma avaliação apenas ao final – somativa, portanto, - somente tem possibilidade de, muitas vezes, constatar o fracasso de um projeto.

As dimensões da avaliação formativa e somativa, conforme o destaque de Worthen e Sanders (1987 apud VIANNA, 2000), podem ser combinadas com as dimensões externa e interna da avaliação, dando origem, dessa forma, a uma avaliação (1) – formativa interna, (2) – formativa externa, (3) – somativa interna, e (4) – somativa externa. A primeira – avaliação formativa interna – é conduzida por um avaliador interno, alguém que conhece o programa. O papel do avaliador formativo externo nem sempre é considerado, apesar do destaque de Scriven (1972 apud VIANNA, 2000).

A sua falta de familiaridade com o programa ou com seu contexto faz com que possa não se aperceber dos aspectos negativos do programa que deveria considerar, e pode, ainda, ser influenciado por percepções a priori do programa e do seu valor, retratado por Vianna (2000).

Ao discutir a questão dos modelos que são numerosos, superiores a quase uma centena, segundo Vianna (2000), Scriven destaca que o campo da avaliação é cheio de inquietações metodológicas, o que não deixa de ser sinal bastante positivo, mas que gera confusão e dificuldades para o praticante da avaliação. Scriven (1967 apud VIANNA, 2000) coloca a questão do julgamento de valor em avaliação, mas muitos discordam desse posicionamento, adotando uma posição prática e associando a avaliação à tomada de decisão, achando que o juízo de valor deva ser feito por quem toma a decisão, o que não é o caso do avaliador.

A questão da avaliação independente de objetivos (goal-free) foi colocada por Scriven (1973). Os próprios objetivos precisam passar pelo crivo da análise e ser avaliados. Scriven (1973 apud VIANNA, 2000) mostra que muitos objetivos possuem uma alta dose de retórica e, em muitos casos, se distanciam da realidade dos objetivos definidos em programas, por exemplo, ou, o que é pior, adulteram completamente suas reais finalidades.

A avaliação goal-free defendida por Scriven (1973 apud VIANNA ,2000), teria como principal função reduzir os vieses e aumentar a objetividade das avaliações. O avaliador, diante de uma avaliação orientada por objetivos, tem um conjunto de objetivos que foram, na verdade, definidos pelo coordenador do desenvolvimento do projeto, o que limita a sua percepção do problema, impedindo-o de verificar os resultados diretamente relacionados aos objetivos que foram anteriormente determinados.

A avaliação por objetivos e a goal-free não são mutuamente exclusivas, reconhece Scriven (1973 apud VIANNA, 2000). Ao contrário, complementam-se. O avaliador goal-free vai determinar até que ponto os objetivos pretendidos pelos criadores dos programas estão sendo realmente alcançados, que constitui uma tarefa especialmente destinada ao avaliador externo.

Os objetivos são muito importantes em qualquer planejamento de trabalho avaliativo, mas esses objetivos precisam estar coerentes com a metodologia de trabalho, com as aspirações dos usuários da avaliação, com os resultados (eficácia) esperados pelos financiados, enfim, de acordo com Scriven a avaliação goal-free precisa avaliar até seus próprios objetivos.

Houve da parte de Scriven (1967 apud VIANNA, 2000) uma preocupação em estabelecer critérios para a avaliação de qualquer produto educacional. Estes primeiros critérios eram bastante limitados. Assim, mais tarde, Scriven (1974 apud VIANNA, 2000), divulgou uma listagem (checklist) para uso de especialistas, identificando, entre outros, os seguintes aspectos a considerar:

a) necessidade; b) mercado;

c) desempenho real – julgamento de campo; d) desempenho – consumidor verdadeiro; e) desempenho – comparações críticas; f) desempenho – longo prazo;

g) desempenho – efeitos colaterais; h) desempenho – processo;

i) desempenho – causalidade;

j) desempenho – significância estatística; k) desempenho – significância educacional; l) custo-benefício;

m) apoio ampliado.

A longa transcrição de Scriven (1967 apud VIANNA, 2000) foi intencional, mas para entendermos a sua preocupação com a avaliação de produtos precisamos considerar o contexto norte-americano, a sua atividade intensa na produção competitiva, o oferecimento dos mais diferentes tipos de produtos educacionais, desde pacotes curriculares até os mais variados tipos de serviços. Tudo dentro do espírito capitalista e da prática da empresa privada. No entanto, deve-se ressaltar que dificilmente, qualquer produto, mesmo dentro de uma filosofia de alto controle de qualidade, conseguiria satisfazer a totalidade dos critérios apresentados. (VIANNA, 2000).

A posição do pesquisador/avaliador conforme Scriven (1973 apud VIANNA, 2000), é que não há condições práticas de se implementar metodologias de empresa privada, principalmente no tocante a qualidade, em ambiente escolar.

Não se deve esquecer que nas universidades o professor trabalha com ensino, pesquisa e extensão. O professor é um trabalhador/funcionário de uma categoria especial, não pode ser comparado com um operário de fábrica.

Vianna (2000) lembra que, além dos problemas anteriormente apresentados Scriven abordou temas de grande relevância, podendo ser destacados, entre outros, igualmente significativos, os relacionados, por exemplo, com a necessidade da participação em certos projetos de avaliadores que sejam peritos em áreas específicas, dada a impossibilidade de um único avaliador dominar todos os campos do conhecimento envolvidos em um determinado projeto, como seria o caso da avaliação de um currículo de língua nacional ou estrangeira, em que alguém com expertise precisaria integrar a equipe de

avaliação, no campo da sua especialização. Scriven preocupou-se, também, com o mito do avaliador sem bias (viés), que seria imparcial, pois realizaria um trabalho supostamente objetivo.

Segundo Vianna (2000, p. 92),

[...] ainda nessa linha de análise das avaliações, Scriven defendeu a ideia de uma meta-avaliação (avaliação da avaliação), o que mais tarde foi concretizado sob a orientação de Stufflebeam, como será visto posteriormente, na apresentação dos padrões para avaliação de avaliações. A defesa da avaliação somativa externa é um dos pontos destacados por Scriven, que, entretanto, compreende a impossibilidade de, algumas vezes, realizá-la, aceitando, com restrições, a avaliação somativa interna, mas acentuando que ao avaliador, nessa situação, faltaria perspectiva para examinar adequadamente o trabalho, além de surgirem dúvidas sobre a imparcialidade do seu julgamento.

A meta-avaliação tem como um de seus objetivos identificar vieses de diferentes tipos que possam existir em uma avaliação, usando, para esse fim, diferentes metodologias para, além da importância desses vieses, determinar os seus efeitos sobre a avaliação.

As várias áreas do conhecimento, especialmente as de estruturação mais recente, como é o caso da avaliação, estão sujeitas a disputas de natureza ideológica.

A avaliação surge e se desenvolve tendo como cenário de fundo a discussão filosófica sobre o conflito entre positivismo e o idealismo, a controvérsia entre objetividade e subjetividade.

Finalmente, a avaliação na ótica da ideologia gerencial é bem sucedida na medida em que os objetivos do programa foram identificados e concretizados, o que nem sempre é do interesse do consumidor da avaliação, mais interessados nos efeitos diretos ou colaterais do programa.

Segundo Vianna (2000), o modelo da avaliação educacional estruturado por Stufflebeam, Guba, Hammond, Provus, entre outros (1971) resulta da proveitosa experiência que tiveram na década de 1960, quando enfrentaram a tarefa de avaliar o sistema público de ensino elementar e secundário das escolas do distrito de Columbus, Ohio, nos Estados Unidos.

A ideia nuclear do modelo centra-se no dimensionamento da avaliação com o objetivo de permitir a tomada de decisões. As repercussões das ideias de Stufflebeam e seus companheiros foram bastante tímidas no Brasil, limitando-se a alguns poucos círculos acadêmicos.