Okkupasjon med for få amerikanske styrkar

O Sistema X realiza uma avaliação anual, aplicando os testes e questionários a todos os estudantes das séries avaliadas, em 63 colégios da instituição no Brasil. É uma avaliação, portanto, de caráter censitário. A testagem é realizada em anos consecutivos, permitindo um estudo longitudinal. São aplicados questionários também aos professores, diretores e equipe técnica das escolas. Normalmente nos programas de avaliação pesquisados, os questionários são aplicados apenas aos professores titulares da disciplina avaliada e ao gestor da escola. O Sistema X, ao contrário, avalia todos os professores da Educação Infantil ao Ensino Médio por entender que o processo educativo é fruto do trabalho de todos os professores, diretores e técnicos educacionais.

Os testes são elaborados e aplicados nas áreas de Língua Portuguesa, Matemática, Geografia, História e Ciências, aos alunos da 5º ano e 9º ano do Ensino Fundamental e nas áreas de Língua Portuguesa, Matemática, Geografia, História, Química, Física e Biologia aos alunos da 3ª série do Ensino Médio.

Os testes são organizados em cadernos de seis tipos; A, B, C, D, E e F para cada disciplina avaliada, totalizando 102 cadernos de provas. A metodologia utilizada é a dos Blocos Balanceados Incompletos (BIB). Esta metodologia permite a comparação dos cadernos entre si e também uma mensuração de maior número de descritores das matrizes. Os testes do 5º ano contêm em média 28 itens; e de 9º ano do Ensino Fundamental e os da 3ª série do EM contêm, em média, 34 itens.

São elaborados 05 questionários para a coleta de dados dos fatores associados ao desempenho dos alunos: a) perfil do aluno do 5º ano do EF; b) perfil do aluno do 9º ano do EF; c) perfil do aluno da 3ª série do EM; d) perfil do professor; e) perfil da direção e equipe técnica.

Os questionários são organizados de modo a contemplar as seguintes dimensões: pessoal, comunitário-social, ético-valorativa e meta-cognitiva, sendo que esta última, para os educadores, é compreendida como a gestão do processo educacional.

Estas dimensões são divididas em fatores internos ao educando e educador, ao mesmo tempo, que reconhecem o ambiente externo ou fatores contextuais que interagem com esses fatores internos. Esses fatores procuram lidar com os educandos de forma holística em um contexto de situações de aprendizado que refletem o mundo real. Assim, devem ser

92 O Sistema X focaliza os conhecimentos e habilidades dos estudantes, assim como os demais programas de avaliação pesquisados, bem como seus hábitos de estudo, suas preferências por diferentes tipos de situação de aprendizado, por meio de testes e de questionários que coletam dados de natureza escolar, cultural e social. Porém neste aspecto também o Sistema X tem um diferencial na apresentação de seus resultados às escolas e às famílias, pois além de indicadores demonstrados por uma média de fatores, comumente utilizado nos programas de avaliação pesquisados, apresenta, também, por meio da teoria clássica dos testes, todas as respostas dos questionários aplicados e sua frequência, para que cada escola crie suas próprias interpretações. Mais uma vez, aqui, a ênfase é em levar o maior número de informações à escola para que ela também atue como “juiz”. Estes resultados são normalmente socializados com os estudantes e suas famílias, assim com os resultados acadêmicos; e para fazer essa demonstração, os colégios recebem a orientação da mantenedora, ficando a critério da gestão de cada colégio disponibilizá-los ou não.

Aplicados os testes, procedimentos derivados da Teoria de Resposta ao Item (TRI) passam a ser empregados, para estimar o nível de habilidade alcançado pelos alunos e comparar os resultados obtidos em cada uma das etapas de avaliação. Os itens calibrados estatisticamente passam a integrar o Banco de Itens do Sistema.

A TRI, conforme já citado no Capítulo III, constitui-se em conjunto de modelos estatísticos por meio dos quais é estabelecida uma relação entre o nível de habilidade cognitiva e a resposta dada pelos estudantes, ao item ou questão do teste.

A TRI permite a construção de escalas de habilidades que criam condições para que se conheçam: qual é a distribuição da população avaliada (ou seja, qual é a proporção de estudantes com resultados nos diferentes pontos da escala de habilidades); e qual é a localização dos itens na escala de habilidades, permitindo que se conheçam quais são os conteúdos dominados pelos estudantes e, ainda, quais são os aspectos do currículo que supõem maior desenvolvimento cognitivo.

A interpretação da escala do Sistema X é feita em intervalos regulares, por especialistas de cada área avaliada que, em conjunto com a estatística, determinam três níveis e descrevem, analiticamente, os conhecimentos e habilidades que os alunos demonstram possuir, quando situados em torno desses pontos. Estes níveis são determinados a partir da análise pedagógica dos itens avaliados e são chamados de: a) nível básico quando os alunos possuem apenas habilidades básicas da disciplina avaliada; b) nível adequado, quando os alunos já possuem um conjunto de habilidades da disciplina avaliada, ou seja, já são

proficientes; c) nível avançado, quando os alunos estão acima da média da proficiência esperada naquele segmento e disciplina. De pose da interpretação da escala, do relatório de distribuição de alunos por nível e do relatório de percentual de acertos nos descritores, os professores são capazes de fazer o monitoramento pedagógico, identificando os pontos de melhoria.

Esta metodologia não é utilizada somente no Sistema X, mas também em vários outros sistemas de avaliação. O que varia, são a quantidade de pontos de corte, sua denominação e sua interpretação, posto que esta seja uma questão subjetiva. O que se critica nesta pesquisa é o fato de estas informações não serem devidamente utilizadas, conforme afirma Klein:

A interpretação da escala e as informações sobre os erros dos alunos deveriam ser utilizadas para fornecer subsídios para programas de formação e capacitação de professores (KLEIN, 2003a; KLEIN, 2005b). No entanto, esses diagnósticos dos testes normalmente não são utilizados...

Utilizando a interpretação da escala de matemática do SAEB, do que os alunos sabem e são capazes de fazer em cada nível, pode-se fazer um julgamento de que níveis seriam básicos e satisfatórios para uma determinada série. Esse julgamento tem uma parcela de subjetividade e por isso deveria ser obtido através de um consenso

de especialistas. Um padrão de qualidade pode ser definido requerendo-se que 75% dos alunos da série estejam acima do nível satisfatório e que todos estivessem acima do nível básico.

(Ruben Klein in Ensaio: aval. pol. públ. Educ., Rio de Janeiro, v.14, n.51, p. 139- 172, abr./jun. 2006)

Quando os organizadores do programa colocam o foco apenas na média da proficiência estão privilegiando o aspecto quantitativo. Porém, quando o foco passa a ser a interpretação da escala, seus níveis, como os alunos estão se comportando em relação a estes níveis, quais habilidades os alunos ainda não possuem e precisam ser trabalhadas, o gestarão passam a privilegiar o aspecto qualitativo.

Observa-se ainda que é necessário cuidado para se estabelecer padrões de qualidade como sugerido por Klein, pois se o foco permanecer no quantitativo, estaremos apenas trocando um número de proficiência por um número de percentual de distribuição; logo, é relevante refletir que somente por meio do conjunto de informação e de seu uso é que, de fato, o foco na qualidade acontece. E é sobre como são disponibilizadas estas informações no Sistema X que passaremos a discutir no próximo tópico.