Den fyrste gulfkrigen

Conforme citado no Capítulo II dessa dissertação, existe na literatura sobre avaliação de programas duas correntes distintas, categorizadas em utilitarista e intuicionista-pluralista. Compreende-se como fundamental, nesse ponto, voltar a determinados conceitos para posteriormente descrever o que foi percebido na concepção da avaliação que é o instrumento dessa pesquisa.

A avaliação utilitarista tende a seguir a epistemologia objetivista que afirma que o “conhecimento se baseia nos fenômenos naturais e em suas propriedades e relações tais quais verificados pelas ciências empíricas” (Worthen, Sanders e Fitzpatrick ano); e que a realidade existe independente de quem a vê. Nesta linha objetivista as informações de uma avaliação devem ser cientificamente objetivas, e as técnicas de coletas de dados e análise utilizadas devem ser reproduzidas e verificáveis por distintos profissionais que detenham as mesmas técnicas. Ou seja, os procedimentos avaliativos são padronizados e “externalizados” ao avaliador, podendo ser reproduzida por outros sem afetar os resultados. Esta corrente é derivada do empirismo nas ciências sociais.

A avaliação intuicionista-pluralista segue a extremidade oposta da anterior e tende a seguir a epistemologia subjetivista que defende que a realidade não existe objetivamente, ela é “socialmente construída pelo indivíduo ou pela definição coletiva da situação percebida”. Segundo Worthen, Sanders e Fitzpatrick:

a validade de uma avaliação subjetivista depende da relevância da formação e das qualificações do avaliador, bem como da clareza de suas percepções. Nesse sentido, os procedimentos da avaliação são “internalizados”, existindo principalmente no avaliador em formas que não são explicitamente compreendidas nem reproduzíveis por outros. (Worthen, Sanders e Fitzpatrick 2004 – pg. 107 e 108)

Por se tratarem de correntes distintas, encontramos na literatura sobre avaliação dois contrapontos importantes, os que defendem o objetivismo como Boruck & Cordray (1980), e que, de certa forma, rechaçam a abordagem subjetivista defendendo que seus procedimentos não são “científicos”, uma vez que outro avaliador não consegue reproduzir os mesmos resultados levando a conclusões diferentes ou mesmo contrárias. E os que são contrários a esta vertente como citado abaixo

Campbell (1984) afirma que “há vinte anos o positivismo lógico dominava a filosofia da ciência (...). Hoje a tendência se inverteu completamente entre os teóricos da filosofia, sociologia e outras disciplinas. O positivismo lógico foi “rejeitado quase que uiversalmente”(p.27). Scriven (1984) afirma que todo e qualquer resquício positivista deve ser eliminado da avaliação, Bailey (1992) diz que os métodos positivistas tradicionais não devem ser a abordagem preferida para avaliar programas do setor público. E Guba e Lincoln (1981) questionam a infalibilidade do paradigma de investigação hipotético-dedutivo por causa de suas limitações ao lidar com fenômenos complexos, interativos em ambientes dinâmicos e sépticos do mundo real. (Worthen, Sanders e Fitzpatrick 2004 – p. 108)

Para House (1983), as duas abordagens, objetivista e subjetivista refletem-se intimamente em duas propostas de avaliação: a objetivista encontra seus reflexos na avaliação utilitarista enquanto a subjetivista reflete na avaliação intuicionista-pluralista.

A avaliação utilitarista defende que o maior bem é o que vai gerar maior número de benefícios, ou seja, atingir o maior número de indivíduos, conseqüentemente, o avaliador define previamente o que é o “bom” para identificar em um determinado grupo avaliado. Normalmente a avaliação utilitarista é utilizada por órgãos governamentais, cujos principais interessados nos resultados são os próprios órgãos que encomendaram a avaliação.

Na avaliação intuicionista-pluralista não existe uma indicação prévia do que é “bom” e sim uma pluralidade de critérios e juízos; e esses juízes não são os avaliadores ou o órgão governamental que os contratou e sim todos que são afetados pelo programa. O mérito ou valor da avaliação não é determinado pelo avaliador ou seu contratante e sim dos valores e expectativas do avaliado.

Os diferentes pressupostos filosóficos nos remetem a duas metodologias também distintas: avaliação qualitativa e avaliação quantitativa. Ambas oferecem vantagens e limitações e dependem sobremaneira do objeto avaliado e ou do objetivo que se pretende alcançar com a avaliação. Embora encontremos na literatura uma tendência em aliar a metodologia quantitativa a uma avaliação com abordagem objetivista, e a metodologia

88 pesquisadores como Worthen, Anders e Fizpatrick (2004) que defendem, tanto os dados quantitativos podem servir a uma avaliação objetivista como subjetivista quanto os dados qualitativos podem vir a servir para uma avaliação. Ou seja, os métodos de coleta de dados podem estar vinculados a um paradigma, mas não se limitam a eles.

Dadas as questões conceituais, focaremos a partir deste ponto no que se observou sobre a concepção que sustenta o Sistema X. Está explicito no Documento de Referência Téorico-Metodológico do Sistema X que sua concepção é intuicionista-pluralista. Observamos com clareza uma dualidade quanto aos métodos de coleta de dados, pois na fase de coleta dos dados, utilizam-se procedimentos de uma avaliação utilitarista, próprios da pesquisa quantitativa que nos remeteria, sem dúvida, a uma abordagem objetivista, como questionários, provas, e mensuração. E utiliza para análise destes mesmos dados, no trabalho do monitoramento pedagógico e nos elementos constitutivos da avaliação (elaboração das concepções pedagógicas por áreas de conhecimento e elaboração de sua matriz de referência, de seu banco de itens, de seus questionários), instrumentos de uma avaliação intuicionista- pluralista, que são próprios da pesquisa qualitativa, com uma abordagem subjetivista.

Esta mescla de abordagens diferencia o Sistema X em relação aos demais sistemas de avaliação pesquisados e comprova até certo ponto que os métodos quantitativos podem, sim, estar aliados aos métodos qualitativos, enriquecendo o trabalho, por isso seu texto de referência defende que:

uma avaliação educacional, que se pretende verificar a qualidade, e emitir um juízo de valor, a quantidade não pode, de forma alguma, ser desprezada, mas o foco deve estar na qualidade . Ou seja, nossa proposta é de que o SISTEMA X (grifo da autora) tenha um “cenário” construído com dados quantitativos, cientificamente comprovados, para que tenhamos a menor possibilidade de cometer injustiças, já que de forma alguma pretendemos defender que alguma avaliação será totalmente justa, no que concordamos com Demo (1999) que isto seria totalmente utópico. Mas que a “ação” que ocorra dentro deste cenário seja toda qualitativa, que vise à melhoria constante da aprendizagem de nossos educandos. (Documento de Referência Téorico Metodológico do Sistema X (grifo da autora), 2006)

Ao priorizar, desde o início de sua estruturação em 1998, a participação dos educadores das unidades escolares, em um processo de formação contínua e escuta permanente, o Sistema X envolveu como “juízes” os indivíduos e grupos “afetados pela avaliação”, tornando-os co-autores do processo e gerando uma retro-alimentação mais fidedigna do próprio sistema de avaliação.

de avaliação, o Sistema X procurou realizar dois movimentos. O primeiro inserindo gestores e educadores, cuja participação aconteceu, sobretudo, em encontros presenciais e por videoconferência para a elaboração das concepções teórica e metodológica e das Matrizes de Referência Curricular, e também nas Oficinas Para Elaboração de Itens; ao mesmo tempo em que se criava uma cultura de avaliação na instituição, fazendo com que estruturasse o consenso de que a avaliação educacional avalia processos e não pessoas. E o segundo movimento procurou inserir os pais e educandos.

Embora a avaliação educacional não seja um diagnóstico do educando e sim da instituição e das suas unidades, desde 2002 o Sistema X optou dar retorno dos resultados, também ao educando e às famílias. Perceberam-se, ao longo destes anos, dois grandes ganhos: a) primeiro, cresceu sobremaneira a motivação e seriedade dos educandos para a realização das avaliações, enriquecendo o processo; b) segundo, as famílias quando têm acesso às informações percebem o profissionalismo e cientificismo das ações e se sentem respeitadas dentro de uma gestão transparente, aumentando a credibilidade na instituição, nos gestores e professores.

Mostrar os resultados à família e estudantes é uma orientação da instituição, porém a decisão de fazê-lo ou não é da responsabilidade da gestão de cada escola.

Esta “prestação de contas” encontra eco na literatura através do conceito de accountability, (“responsabilização”) - este termo vem sendo usado por não encontrarmos na língua portuguesa uma tradução mais adequada – Trata-se de responsabilizar, em diversas escalas, os diversos atores do processo educacional pelos resultados da escola, o que traz um controle efetivo sobre o currículo e melhoria na qualidade acadêmica; melhora o relacionamento da escola com a família e contribui para uma gestão mais eficaz. Não se trata, entretanto, de julgamentos ou punição de pessoas e sim de avaliação de processos e de distribuições de responsabilidades para com estes processos.

Acredita-se ainda que a característica principal do Sistema X, que difere dos demais sistemas, está no monitoramento pedagógico, realizado pelos educadores em suas próprias unidades escolares. É aqui que ele se torna o principal beneficiado pela avaliação, e também o principal responsável pela melhoria do processo pedagógico, analisando seus resultados, discutindo com seus pares, dentro da realidade local e criando estratégias de melhoria. Aqui também podemos usar o termo “responsabilização”, mas não com intuito de julgar o trabalho docente e sim de garantir aos educadores um conjunto de informações suficientes para que o

90 que isto ocorra foi necessário, no entanto: a) uma profunda reflexão sobre “tempo escolar” para que houvesse a participação do educador em reuniões e planejamentos comuns, em criação de projetos de melhoria, em reflexões sobre sua prática e na formação permanente deste educador dentro da própria escola. Ou seja, foi preciso dar condições e tempo fora de sala de aula para que o professor pudesse realizar estas ações; b) um investimento em desenvolvimento de um sistema de informações, com alto índice de capilaridade que fornece os resultados da mantenedora, das unidades, das séries, das turmas e dos alunos em todas as disciplinas avaliadas.

Nesta perspectiva, o movimento fez-se tanto das unidades para a mantenedora, como da mantenedora para as unidades. A reflexão local veio somar a uma reflexão maior por parte da mantenedora fazendo com o que o Sistema X fosse utilizado como ferramenta de gestão e criando diferenciais de mercado para a instituição tendo como objetivos: a) auto- conhecimento; b) melhoria da qualidade dos serviços prestados; c) correção dos rumos; d) implementação efetiva do projeto político-pedagógico; e) conduta gerencial pró-ativa; f)perspectiva de crescimento qualitativo; g) gestão mais eficiente; h) alocação de recursos e i) implementação de mudanças.

É importante destacar também que, como avaliação educacional, o Sistema X é uma avaliação sistêmica diagnóstica, e como tal, pretende desvelar onde e como a instituição está acertando ou precisando melhorar em sua proposta educacional. Nesse sentido, vale ressaltar que não é objetivo do Sistema X classificar educandos e/ou unidades escolares. O fato de utilizarem instrumentos que permitem a classificação se justifica somente para a construção de seu “cenário”, com o objetivo claro de uma avaliação diagnóstica e formativa na “ação”, conforme explicita seu texto base:

Quando utilizamos o Sistema X (grifo da autora) como instrumento de gestão, estamos “esculpindo’’ nosso projeto pedagógico. Através do monitoramento de seus resultados podemos lapidar o que estamos realmente conseguindo realizar e extrair informações que são prioritárias de acordo com a realidade local, criando estratégias e acompanhando a melhoria do processo. Entendemos que só fazemos diagnóstico diante de dados que representam de fato a realidade, e que estejam classificados, permitindo-nos uma visão ampla das dimensões avaliadas. Seu caráter formativo implica constante retroalimentação, ajustando tempo, domínios cognitivos e conteúdos, de forma a garantir a aprendizagem dos educandos. Para que isto ocorra, é necessário haver por parte da escola e, principalmente dos professores, correções de rumos e criações de estratégias pedagógicas eficazes. (Documento de Referência Teórico Metodológico do Sistema X (grifo da autora) pg. 54)