Metodeutvikling

No que tange à avaliação enquanto processo integrado às políticas educacionais, no escopo do que se poderia denominar ação do Estado sobre a educação, é significativo destacar que a implementação de avaliações externas em diversas partes do mundo – inclusive no Brasil – se insere em um contexto mais amplo de reformas do Estado diante de crises econômicas e/ou políticas (AFONSO, 1998). No caso brasileiro, a proposição desse formato de avaliação estava relacionada à sua potencialidade de produzir, via MEC, mecanismos de controle da educação, mas, também, transparência sobre a situação da educação, ações e projetos desenvolvidos para a melhoria da aprendizagem.

Segundo Freitas (2007), a disseminação das avaliações externas acabou por configurar dimensões importantes da ação do Estado: a dimensão pedagógica, que diz respeito aos princípios, meios e formas de atuação do Estado central na ação avaliativa; a dimensão educativa, que está relacionada a aspectos formativos do agir estatal, ou seja, como ele promove as aprendizagens, difunde valores e crenças e induz a determinados comportamentos; e a dimensão normativa, que está relacionada ao estabelecimento de normas político-administrativas e jurídico-legais (considerando o papel que o poder executivo tem nesses processos) e ao aumento do conhecimento técnico-científico na área, criando condições objetivas e subjetivas para a atuação pedagógica e educativa do Estado.

Para Afonso (1998), Freitas (2011) e Krawczyk e Vieira (2008), essas avaliações, enquanto forma de controle externo e mensurador da eficiência escolar, estariam ligadas à emergência de um Estado que adere a alguns valores afeitos às concepções de mercado. Bauer (2013, p.185) destaca que

[...] ao reforçar o controle e aumentar a regulamentação das ações, reduzindo inclusive o espaço de ações dos educadores, o Estado estaria deixando de assumir sua responsabilidade e o seu papel político. Isso não significa ausência do Estado, mas sim uma mudança no seu papel [...] a avaliação seria um mecanismo para responsabilizar e não para achar os responsáveis, resultando em uma isenção do governo em sua responsabilidade sobre a gestão do sistema e sobre os efeitos que a publicização dos resultados traz para a área da educação.

Freitas (2002) pondera que o Estado brasileiro, no que concerne à avaliação, é depositário de um conceito pautado na ideia de “controle”, em detrimento do conceito

de avaliar para “melhorar”, e que as estratégias de avaliação implementadas têm gerado uma ação estritamente controladora sobre o sistema. Nesse sentido, reduz-se a complexidade do processo de avaliação ao seu papel de favorecer a regulação e o controle do Estado, enfraquecendo o princípio básico que norteou a expansão das iniciativas de avaliação externa no país: a análise pedagógica dos resultados do desempenho dos estudantes para a melhoria da qualidade da educação ofertada nas escolas, sendo que tal melhoria não é de responsabilidade apenas das escolas, sendo necessária uma ação do Estado com a formulação de políticas públicas e ações de apoio. Há autores, contudo, que vêm enaltecendo as práticas avaliativas do Estado enquanto instrumentos de controle da qualidade da educação, na medida em que elas seriam capazes de fornecer informações fundamentais para uma gestão mais efetiva e uma cobrança mais focada do processo educativo. Veloso (2009, p. 22), por exemplo, defende inclusive a bonificação de professores atrelada a resultados dos alunos e o estímulo à competição das escolas por recursos públicos, de modo que “[...] a perda de receita associada à queda do número de alunos matriculados crie incentivos para que as escolas de baixa qualidade melhorem seu desempenho”.

Partilhando uma visão semelhante, Castro (2007, p. 64), mesmo reconhecendo que há diferentes problemas que envolvem a atividade docente, defende que, para evitar que a carreira de magistério seja considerada “opção de segunda linha”, é preciso aumentar os rendimentos e implementar “[...] salários diferenciados mediante desempenho. Para isto, o ideal seria estabelecer sistemas de avaliação dos professores vinculados aos resultados das escolas [...]”.

Nesse sentido, é importante destacar que as práticas de avaliação externa existentes hoje no Brasil não permitem objetivamente apreciações sobre os resultados gerais do trabalho dos professores, nem das escolas, uma vez que seus instrumentos focam, apenas, o desempenho dos estudantes em alguns componentes curriculares. Além disso, as políticas de responsabilização acabam por propiciar uma lógica meritocrática e de culpabilização de docentes e escolas pelo baixo desempenho, desconsiderando outros determinantes do rendimento escolar que também são objetivos. Nesse sentido, para Sousa e Lopes (2010), o estabelecimento de um mecanismo de gestão para as práticas de incentivo financeiro instaura uma lógica de competição que enfraquece o desenvolvimento de ações de cooperação e de construção de identidade de rede entre as escolas.

O que as avaliações externas avaliam e usos que têm sido feitos dos resultados Desde o início da década de 1990, a principal forma de aferir a qualidade da educação brasileira dá-se por meio dos resultados do desempenho dos estudantes nas provas padronizadas, de modo que se encontra, também em escala mundial, a associação entre políticas de avaliação e qualidade da educação. Por conseguinte, a noção de qualidade – que se constitui de forma polissêmica e muitas vezes ambígua – tem sido associada ao desempenho em provas padronizadas. No entanto, muitos estudiosos têm apontado limitações em aferir a qualidade da educação somente pelos resultados dos alunos nas provas. Ao interpretar um resultado em isolamento, sem articular com outros indicadores, não se está avaliando a qualidade do ensino, mas apenas aspectos que fazem parte do processo escolar que objetiva ser de qualidade. Tal consideração reforça a crítica sobre a maioria dos sistemas de avaliação externa restringir seus objetos à apreciação de leitura e à resolução de problemas e, mesmo assim, seus resultados são transformados em medidas quase absolutas da qualidade da educação.

Mesmo frente às transformações sofridas no modelo de avaliação proposto no Brasil, para Pestana (2013, p. 125), uma das principais fragilidades do paradigma adotado ainda é a avaliação estar circunscrita apenas ao rendimento dos alunos, o que tem trazido distorções perigosas.

À população não é dado conhecer os resultados sobre a situação das escolas, dos alunos ou dos professores. A mensagem trazida por este tipo de tratamento da informação é a de que o desempenho dos alunos é aspecto independente, autônomo, não condicionado por fatores materiais, subjetivos, históricos. Este aspecto merece todas as críticas e uma reflexão profunda, especialmente no campo da disputa simbólica, em razão da grande repercussão na mídia das divulgações dos resultados.

Nesse sentido, Vianna (1990) faz uma crítica ao uso restritivo da avaliação, ao destacar que avaliar não se delimita à verificação do rendimento escolar, mas sim à conjugação desta informação com outras igualmente importantes, como o tipo de ensino que os estudantes recebem, as práticas em salas de aula e fatores ambientais, entre outros. Nevo (2005) e Oliveira (2008) reiteram tal perspectiva, sustentando que a avaliação de sistemas deve implicar vários procedimentos para o cruzamento dos dados sobre diversas dimensões das escolas e de seus alunos, e que, nestes termos, o desempenho em provas padronizadas é uma dimensão associada ao ensino, e não a medida absoluta de sua qualidade.

Tal perspectiva também remete à problemática levantada anteriormente sobre o que tem representado o “sistema” quando se faz uso do termo avaliação de sistema. O Documento Final da Conferência Nacional de Educação (BRASIL, 2010a, p. 54) chegou a indicar a necessidade de avaliar de modo mais integrado as várias dimensões da educação, tais como:

[...] os impactos da desigualdade social e regional na efetivação e consolidação das práticas pedagógicas, os contextos culturais nos quais se realizam os processos de ensino e aprendizagem; a qualificação, os salários e a carreira dos/das professores/as; as condições físicas e de equipamentos das instituições; o tempo de permanência do/da estudante na instituição; a gestão democrática; os projetos político-pedagógicos e planos de desenvolvimento institucionais construídos coletivamente; o atendimento extra turno aos/às estudantes que necessitam de maior apoio; e o número de estudantes por professor/a em sala de aula, dentre outros, na educação básica e superior, pública e privada.

Mesmo com as diversas iniciativas em curso e os avanços alcançados em termos teóricos e metodológicos, ainda se faz necessário ampliar o que as avaliações externas aplicadas no Brasil têm medido, englobando de fato outras dimensões e outros aspectos em seu desenvolvimento, pois, apesar dos avanços, o formato atual das avaliações não tem competência para avaliar outro prisma do sistema educacional, o que pode incorrer em erro, ao se intitular essas iniciativas como avaliações de sistema ou dizer que elas são sistemas de avaliação.

Para Sousa e Oliveira (2010), agregar ao desempenho informações contextuais poderia ainda não ser suficiente para dar conta da avaliação da qualidade da educação tendo em vista a complexidade dos sistemas de ensino. Segundo Roggero (2002),

Considerando o sistema educativo ou uma organização educativa como um sistema complexo, isto é, capaz de proceder a uma auto-eco- reorganização, tomamos consciência de que ele depende de sua história (re), dos relacionamentos com seu meio ambiente (eco) e de sua identidade interna (auto). Toda ação de avaliação deveria, desde já, levar em conta essas dimensões essenciais que não saberíamos avaliar unicamente por indicadores de performance.

Desse modo, também se faz importante contextualizar os dados encontrados pelas avaliações e criar estratégias de apoio para auxiliar as escolas mais desfavorecidas, pois ações de responsabilização pela aprendizagem e pelos resultados educacionais e punições acabam por reforçar, também, um distânciamento entre as organizações responsáveis pela avaliação externa e as escolas, o que, na maioria das vezes, representa um distanciamento entre a secretaria de educação e sua própria rede de

ensino, e também tem implicações diretas sobre o uso dos resultados. Perassi (2008, p. 24) levanta indagações que não apontam para uma desreponsabilização da escola de sua obrigação, mas revelam uma “linha de tensão” entre os outros atores envolvidos no processo, que nem sempre assumem o compromisso que é de sua responsabilidade.

Não corresponde aos governos nacionais se incorporarem como os principais atores interessados? O enfraquecimento dos Estados nacionais não impacta fortemente na qualidade da educação oferecida por cada país? Quem conduza educação nacional e tribunal não deve garantir as condições para que os alunos atinjam as aprendizagens prescritas para cada nível do sistema de ensino?

Afonso (2012, p. 477), trazendo os escritos de Stobart, sugere a ideia de “accountability inteligente”, que seria uma forma de prestação de contas e de responsabilização mais “promotora de confiança nos professores e nas escolas”, na medida em que se fundamenta em valores que objetivam uma construção, afastando-se dos modelos mais comumente utilizados, que possuem forte carga punitiva. Essa ideia, além de abranger outros instrumentos, que não apenas as avaliações externas – abarcando tanto procedimentos quanto instrumentos múltiplos de avaliação, mais sofisticados e diversificados –, traz uma crítica sobre a postura de governantes, defendendo que os objetivos educacionais a serem atingidos deveriam ser mais:

[...] realistas, evitando a ambição pragmática e imediatista dos governantes que, frequentemente, os impõem desconsiderando ou desconhecendo condições, tempos, possibilidades, constrangimentos, recursos materiais, escolas, professores e comunidades educativas efetivamente existentes. É também um modelo de accountability que respeita margens importantes de autonomia dos atores e das organizações educativas, que pressupõe um tempo mais longo para propiciar as mudanças e verificar os seus resultados, que inclui todos os grupos sociais de alunos e que implica também a garantia da própria fiabilidade do modelo de accountability [...]

Assim, a utilização das avaliações como instrumento de gestão, que acaba por envolver um processo de apropriação e utilização dos resultados, não pode ter como protagonistas apenas os gestores escolares. Atualmente, a gestão escolar, e mais especificamente o coordenador pedagógico, tem enfrentado como uma de suas atribuições acompanhar e articular os processos avaliativos das escolas, tendo como demanda a utilização de materiais e resultados aferidos pelas diferentes avaliações externas como base de referência para a organização do trabalho da escola.

Nesse sentido, a vinculação dos resultados dessas avaliações à mecanismos de responsabilização acabam por ampliar o impacto das avaliações externas sobre o trabalho pedagógico, o que pode estar gerando implicações diretas nas exigências feitas

sobre os gestores escolares. Pimenta (2013) destaca que o coordenador pedagógico, na maioria das redes de ensino, vem sendo o profissional que tem usualmente “se responsabilizado pela organização dos processos avaliativos internos da escola e, mais recentemente, dos externos [...]”. No entanto, cabe o questionamento sobre se esses profissionais têm recebido a formação necessária para o que tem sido “exigido” como parte de suas atribuições. Ademais, um planejamento que otimize o uso das avaliações externas precisa abranger ações que estão além do exercício da coordenação pedagógica nas escolas, abarcando a gestão em âmbito das secretarias de educação, a gestão das escolas como um todo e o trabalho pedagógico.

Um movimento de reconhecimento das potencialidades enquanto instrumento de gestão para professores e gestores têm gerado um grande número de iniciativas de avaliações externas e internas que uma única rede de ensino participa e que, por conseguinte, as escolas precisam realizar ao longo de um ano letivo. Tal aspecto se configura como fator de peso para a apropriação dos resultados e subsequente uso, problema esse que recai não apenas sobre as escolas, mas sobre os governos, que encontram dificuldade para se apropriar e usar o volume de informações gerado pelas diferentes avaliações. Esse quadro requer atenção, pois pode estar influenciando no processo de validação das avaliações pela comunidade escolar.

Ao realizar um estado da arte sobre os sistemas de avaliação na América Latina, Perassi (2008, p. 18) destaca que o uso que tem sido feito dos resultados é muito limitado. Estes também demoram muito a chegar “[...] não havendo, consequentemente, articulações dos programas com as necessidades educacionais”. No caso brasileiro, um mapeamento realizado por Lopes (2007) sobre os sistemas de avaliação desenvolvidos pelos estados mostrou que a maioria deles também fazia pouco uso dos resultados, sendo que a maior parte das iniciativas que se realizavam era em âmbito da formação de professores ou da produção de materiais didáticos.

Sousa e Lopes (2010, p. 56-57) destacam que os “[...] relatórios de avaliação chegavam às escolas muito tempo depois da realização da avaliação e sua redação, em alguns casos, era muito superficial; em outros, muito especializada. Em ambas as situações, faziam pouco sentido para produzir alterações nas práticas dos professores”.

Assim, criam-se inúmeras barreiras – que vão desde a divulgação dos dados até a formação necessária de gestores escolares e docentes para realizar a interpretação dos relatórios pedagógicos e das escalas de proficiência – para que haja a incorporação de modificações nas práticas docentes. Isso nos remete a uma indagação sobre uma fala já

cristalizada, de que há uma profunda influência das avaliações externas sobre o trabalho desenvolvido nas escolas, e a problematizar se de fato é possível tecer uma afirmação nesses termos, pois pesquisas recentes têm mostrado que as repercussões das avaliações sobre as escolas não são tão expressivas (SOUZA E FRASCAROLI, 2012; CRUZ, 2013; SOUZA, 2013, FREITAS, 2014).

Além disso, o fato das avaliações externas estarem baseadas em ações exógenas às escolas dificulta o próprio envolvimento de docentes e gestores escolares, pois estes não participaram do processo de construção nem de validação das avaliações. Para Bauer (2010, p. 336),

[...] pode-se dizer que as decisões tomadas a partir dos resultados obtidos, muito relacionadas à redefinição de conteúdos curriculares na formulação de indicadores de uma “boa educação” e na definição de habilidades e competências a serem desenvolvidas nos alunos, parecem não ecoar na escola, não fazem sentido para aqueles que, em última instância, fazem as reformas acontecerem, ou seja, os professores e técnicos escolares.

Desse modo, surge, muitas vezes, uma lacuna entre o conhecimento gerado pela avaliação e o uso de seus resultados pelas escolas. Ao mesmo tempo, do ponto de vista do desenvolvimento de políticas públicas educacionais, que objetivam cumprir a oferta de uma educação pública de qualidade, as avaliações externas têm gerado implicações diversas sobre a dinâmica escolar, a avaliação da aprendizagem, o currículo, e, em outros aspectos, têm suscitado o interesse de investigação, pois acarretam diversas consequências que envolvem suas potencialidades e limites.

As consequências e os efeitos das avaliações externas

Tomando as influências e as prováveis consequências e impactos das avaliações externas sobre os objetivos educacionais, que são aspectos importantes e cada vez mais explorados pelas pesquisas acadêmicas, Vianna (1978, p. 69), ainda na década de 1970, já ponderava que era preciso ter “cautela” ao considerar o impacto dos testes em razão de que “[...] geralmente costumam gerar polêmicas emocionalmente orientadas e sem maiores consequências, especialmente no que diz respeito à análise dos problemas e à possibilidade de encontrar caminhos que conduzam a uma solução racional dos mesmos”.

A literatura tem classificado os impactos como low-stakes, ou de responsabilização branda, que é quando os resultados têm função informativa, podendo ser, em alguns casos, formativas e com consequências mais simbólicas do que efetivas;

e high stakes, ou responsabilização forte, que são de alto impacto, ou seja, quando os resultados têm implicações para os indivíduos e/ou instituições envolvidas na forma de sanções ou incentivos de diferentes tipos. Para Afonso (2012, p. 473), o uso de high- stakes testing significa que os resultados das avaliações são considerados como fator decisivo para a tomada de decisões que são “cruciais” para os sujeitos e as instituições de ensino. Confrontando esse dois tipos de impactos, Perassi (2008, p. 20) aponta a existência de riscos em ambos os casos:

A falta de consequência pode provocar nos atores envolvidos [...] um descompromisso com o processo de avaliação, desinteresse por conhecer os resultados e não lidar com a responsabilidade pública que cada instituição possui. A existência de consequências “fortes” pode levar à distorção do processo educacional, tornando válido ensinar apenas o que é avaliado, podendo existir uma excessiva preocupação dos professores em “ensinar para a prova”, treinando os alunos para as provas e usando procedimentos nem sempre éticos.

Stecher (2002) chama atenção para duas importantes razões que justificam uma preocupação com as consequências das avaliações externas. A primeira delas envolve a validade do teste, pois pelas mudanças nas práticas educacionais – que podem acontecer tanto por meio da implementação de políticas quanto por alterações no comportamento e ações de alunos e professores – serem um dos motivos que justificam a implementação dos testes, faz-se necessário verificar a validade das avaliações, examinando também se essas mudanças estão de fato ocorrendo e quais são os impactos que estão causando. Vianna (2003) aponta diferentes tipos de validade que as avaliações precisam ter, tais como conteúdo, preditiva, construto e consequencial. Em relação à consequencial, Vianna (2003, p. 21) destaca a importância da divulgação dos resultados para as escolas, já que há diferentes efeitos que os instrumentos de avaliação externa podem ter sobre as mesmas e expectativas sobre o uso de seus resultados.

A validade consequencial não se refere a distinções, prêmios e/ou bônus, e muito menos a rankings e menos ainda a comparações. É fundamental que os resultados das avaliações cheguem aos alunos, aos pais, aos educadores e a toda a comunidade educacional, não devendo ficar restritos apenas aos policy-makers da administração escolar. Os resultados das avaliações têm suas implicações, não podendo ser tratados, assim, como uma contabilidade educacional. A avaliação deve ter, forçosamente, consequências, se pretendemos pensar em termos da consolidação da chamada cultura da avaliação. A consequência a que nos referimos está relacionada a novas formas de pensar e agir, demonstrando, assim, que os resultados de uma avaliação fazem diferença [...].

Desse modo, as avaliações externas precisam passar por procedimentos metodológicos e critérios rígidos que garantam a elaboração de matrizes de referência, itens e provas e o monitoramento de dados que atendam a requisitos de validade e confiabilidade. Assim, eles devem ser construídos e analisados tendo como intuito ter coerência naquilo que é avaliado para que de fato meçam as habilidades dos estudantes, coletando informações consistentes e relevantes para a tomada de decisões.

Já a segunda razão apontada por Stecher (2002), que justifica a preocupação com as consequências das avaliações externas, é a necessidade de monitorar de perto os