Nesta seção é feita uma descrição do SAEB quanto a seus objetivos e características, e uma discussão da utilização da Teoria da Resposta ao Item como instrumento de medida para se avaliar a aprendizagem escolar.
O SAEB foi criado em 1988 e foi desenvolvido pelo INEP para coleta de dados sobre alunos, professores e diretores de escolas públicas e particulares em todo o Brasil. De acordo com Locateli (2002), o SAEB tem como objetivo: monitorar a qualidade, a equidade e a efetividade do sistema de educação básica; oferecer às administrações públicas de educação,
informações que lhes permitam avaliar seus projetos educacionais e formular programas de melhoria à qualidade de ensino; e proporcionar aos agentes educacionais e à sociedade informações sobre os resultados dos processos de ensino e de fatores contextuais a eles associados.
O SAEB é um sistema de avaliação de base amostral, que testa amostras probabilísticas complexas das diversas unidades da federação. De acordo com Riether e Rauter (2000), a amostra do SAEB é desenhada com base em dados do Censo Escolar realizado pelo INEP do ano anterior à aplicação das provas; por isso, trata-se de uma amostra planejada, em que, na fase de planejamento, se estabelece uma precisão mínima desejada em termos da medida de proficiência.
Para Pestana (1998), o SAEB parte do princípio de que o desempenho dos alunos sofre múltiplos condicionamentos, que são considerados pela avaliação realizada. Por isso, junto com os testes aplicados para a avaliação da aprendizagem dos alunos, são também aplicados questionários cujas respostas permitem que se analisem as seguintes dimensões: 1. A dimensão produto é examinada por meio da aplicação de provas que avaliam as
competências e/ou habilidades que os alunos aprenderam na escola. As provas aplicadas aos alunos são formadas por itens de múltipla escolha elaborados por professores das séries e disciplinas avaliadas, a partir dos descritores das Matrizes de Referência para o SAEB, que vão avaliar cada disciplina e série, informando as competências e habilidades esperadas dos seus alunos (em seus diversos níveis de complexidade);
2. A dimensão contexto, em que ocorre à aplicação de questionários aos alunos, aos professores e aos diretores das escolas. Os alunos respondem a perguntas sobre o ambiente familiar, hábitos de estudo e de leitura, motivação, trajetória escolar. O diretor e os professores de cada uma das disciplinas avaliadas são convidados a dar informações sobre sua formação profissional, nível socioeconômico e cultural, estilo de liderança, formas de gestão, práticas pedagógicas, clima acadêmico, clima disciplinar, recursos humanos e pedagógicos da escola;
3. Avaliação sobre a estrutura física da escola, a partir de um levantamento sobre as condições das escolas (instalações, equipamentos e materiais disponíveis).
Segundo Locateli (2002), o SAEB sofre diversas críticas, a saber:
As avaliações serviriam para aumentar o controle governamental sobre as escolas. As avaliações introduziriam a competitividade entre as escolas e entre os estados.
Reduziriam os currículos aos conteúdos abrangidos apenas as áreas e tópicos contemplados pelas avaliações.
As avaliações em larga escala estabeleceriam padrões homogeneizadores.
Mas, apesar das críticas, as avaliações em larga escala vêm contribuindo para a análise dos problemas da equidade educacional, ao término de cada etapa de escolarização, levando-se em consideração a diversidade cultural e os fatores sociais e econômicos associados à trajetória dos alunos.
Com o avanço na área das avaliações educacionais no Brasil, principalmente por meio da realização de avaliações em larga escala como o SAEB e o Exame Nacional do Ensino Médio (ENEM)7, surge a Teoria da Resposta ao Item (TRI), que busca superar as limitações da Teoria Clássica das Medidas (TCM), em que se trabalha com uma medida facilmente observada, a partir da aplicação de um teste, cujo objetivo é a interpretação da resposta final obtida a partir da resposta de um aluno. Na TCM, o instrumento de medida principal é um teste, em que o aluno responde a questões específicas, e recebe uma pontuação por cada acerto; no final da aplicação do teste, tem-se um escore final, obtido a partir da soma dos acertos (BROOKE; SOARES, 2008; VALLE, 2001).
A partir de 1995, o SAEB passou a adotar a TRI para analisar os resultados de suas avaliações. A TRI é um conjunto de modelos matemático que procuram representar a probabilidade de um indivíduo dar uma certa resposta a um item, como função dos parâmetros do item para os traços latentes8dos respondentes. Esses traços latentes procuram representar a relação entre a probabilidade de um aluno responder corretamente a um item e sua real habilidade e/ou competência em fazê-lo. Tal procedimento permite a criação de escalas que são definidas por meio de níveis os quais são descritos a partir da identificação dos itens- âncora9, que auxiliam na interpretação do que os alunos sabem e são capazes de fazer em cada nível da escala. A TRI pode se associar a outros procedimentos estatísticos, comparar alunos, estimar a distribuição de proficiências da população e subpopulações e, ainda monitorar os progressos de um sistema educacional, como é o caso do SAEB, no Brasil. As estimativas buscam explicar o efeito entre as respostas dos estudantes e suas habilidades (proficiências). “[...] Essa relação é sempre expressa de tal forma, que quanto maior é habilidade, maior é a probabilidade de acerto do item [...]” (VALLE, 2001, p.8).
7 A partir de 2009 o MEC adotou a TRI na avaliação do ENEM, atribuindo assim, diferentes pesos a cada questão, dependendo do grau de dificuldade. A TRI passou a ser utilizada pelo ENEM para se medir as respostas dos estudantes e suas habilidades nas seguintes áreas do conhecimento: ciências da natureza, ciências humanas, linguagem e matemática (BRASIL, 2010a).
8 Os traços latentes são características dos indivíduos que não podem ser observadas diretamente, como habilidades e competências. Tais características devem ser inferidas com base nas observações de variáveis secundárias que estejam relacionadas a ela (VALLE, 2001).
9 Itens – âncora são itens selecionados estatisticamente e apóiam o especialista na descrição das habilidades para cada nível da escala (VALLE, 2001).
Dentre as vantagens que a TRI apresenta sobre a Teoria Clássica dos Testes estão: Obtenção de características específicas de cada item que constitui o instrumento de
avaliação (ou medida), considerando suas características estatísticas específicas na produção de escalas que medem a capacidade de discriminar os indivíduos e as dificuldades dos itens;
Acompanhar o desenvolvimento do aluno ao longo do tempo; Comparação entre questões de diferentes dificuldades;
Comparação entre populações, desde que submetidas a provas que tenham alguns itens comuns.
Como exemplo prático da aplicação da TRI, citam-se as provas realizadas pelo SAEB de 1999. Como a aplicação é nacional, alunos de vários estados são avaliados, mas todos são considerados respondentes, já que fazem parte de uma mesma população. As avaliações do SAEB são elaboradas a partir da Matriz de Referência para o SAEB10, que procura cobrir a grade curricular de forma completa. Mas, para que isso ocorra, é necessário que se considere um grande número de itens distintos em cada disciplina avaliada. Para que isso seja possível, as provas são criadas segundo um esquema chamado de Blocos Incompletos Balanceados (BIB), no qual itens são divididos em blocos, que, por sua vez, são reunidos em cadernos, que são tipos distintos de provas. Este conjunto é formado por 169 itens, divididos em 13 blocos com 13 itens, cuja combinação três a três, possibilita a organização de 26 cadernos de provas diferentes para cada uma das séries (4ª e 8ª séries do ensino fundamental e 3ª série do ensino médio). Desta maneira, cada aluno responde a 39 itens de amplo espectro de conteúdos que se pretende avaliar a partir da Matriz de Referência para o SAEB. Desta forma, são aplicados diferentes tipos de provas que são representados por 26 cadernos com itens comuns a um único grupo (VALLE, 2001).
A escala de proficiência do SAEB funciona como a nota do aluno. Por meio, dela pode-se verificar em que nível de competências e habilidades o aluno está, ou se o mesmo está em processo de construção. De acordo com Santos, Elliot e Klein (2007, p.263):
As escalas de proficiências ordenam o desempenho dos alunos do menor para o maior em um continuum e elas são cumulativas, ou seja, os alunos sabem, compreendem e são capazes de fazer quando seu desempenho situa-se em um nível da escala, são capazes também de demonstrar as habilidades descritas no(s) nível (eis) anterior (es) dessa escala.
10 Para a construção da Matriz de Referência para o SAEB foram utilizados os parâmetros curriculares nacionais (PCNs) e a reflexão de professores e especialistas sobre cada área avaliada. Além disso, foi feita uma consulta nacional sobre os currículos estaduais, livros didáticos e conteúdos desenvolvidos nas escolas do ensino fundamental e médio (CASTRO, 2009).
De acordo com o INEP (BRASIL, 1999a), tais escalas são utilizadas para descrever e comparar o desempenho dos alunos brasileiros nas diferentes disciplinas avaliadas. A partir do SAEB de 1999, passou a ser feita a interpretação das escalas de desempenho de modo a indicar o que os alunos sabem e são capazes de fazer em determinados intervalos da escala, denominadas níveis de desempenho. Esse tipo de interpretação favorece a análise da evolução do desempenho entre diferentes ciclos de avaliação, uma vez que torna possível a interpretação pedagógica de todos os pontos da escala. Nas escalas de proficiência, são escolhidos pontos ou níveis para interpretar as habilidades e competências que os alunos demonstram possuir de acordo com o seu desempenho ao redor daquele nível. A escala do SAEB é única para cada disciplina, e permite apresentar os resultados dos estudantes de todas as séries, ou seja, podem-se comparar os resultados da 4ª e 8ª séries do ensino fundamental e 3ª série do ensino médio. A adoção da TRI permitiu colocar em uma mesma escala questões que serão utilizadas para a avaliação de desempenho dos alunos (SANTOS; ELLIOT; KLEIN, 2007).
A interpretação da escala do SAEB deve ser sempre realizada pela descrição do nível da escala que foi especificado previamente, para tornar mais clara a interpretação pedagógica dos valores das habilidades. Por exemplo, a escala de Ciências do SAEB 1999 foi classificada entre os níveis 1 a 5. O quadro 1 apresenta a escala de proficiência em Ciências, que procura expressar o que tem sido efetivamente aprendido pelos alunos.
Quadro 1 - Níveis de desempenho em Ciências – SAEB 1999
Nível Habilidades e conhecimentos esperados
Abaixo do nível 1 < 150
Não atingiu as habilidades básicas que o SAEB objetivava mensurar.
Nível 1 150 < 0 < 200
Demonstram conhecimentos sobre o organismo humano, reconhecendo diferenças externas entre o homem e a mulher. Associam o aumento do ritmo respiratório e cardíaco à realização de atividades físicas. Demonstram conhecimentos de higiene e saúde, associando a prevenção de doenças a hábitos da higiene doméstica, além do reconhecimento do cardápio balanceado do ponto de vista nutricional.
continuação
Nível Habilidades e conhecimentos esperados
Nível 2
200 < 0 < 250 Identificam e classificam animais quanto a seus hábitos alimentares, seus habitats e seu tipo de revestimento. Reconhecem o mimetismo como forma de preservação. Além disso, sabem que os seres vivos dependem da água para sobreviver. Podem sequenciar características do corpo e do comportamento das diferentes fases da vida. São capazes de identificar as propriedades dos materiais, além de identificar os que se misturam, ou não, com a água e aqueles que são atraídos pelo imã.
Nível 3 250 < 0 < 300
Demonstram reconhecer a função do sangue na distribuição de alimentos e oxigênio e a dos rins na filtração do sangue. Também identificam os movimentos do planeta Terra e reconhecem os nomes do Sistema Solar. Sabem sequenciar etapas da reprodução humana, reconhecendo as partes do aparelho reprodutor.
Reconhecem que as plantas fabricam seu próprio alimento e que as sementes são encontradas junto aos frutos. Relacionam microrganismos à produção de alimentos e identificam agentes poluidores do ar. Em situações–problema, reconhecem que a energia não pode ser criada ou destruída, mas aproveitada.
Nível 4
300 < 0 < 350 Demonstram conhecer os fósseis como elemento para o estudo do passado da Terra. São capazes de interpretar situações- problema sobre as características do solo e sobre a temática ambiental, reconhecendo a causa da chuva-ácida e do efeito estufa. Identificam etapas do ciclo da água e também são capazes de identificar a polinização como etapa do ciclo vital das plantas. Comparam características de vertebrados em diferentes fases de desenvolvimento, e ainda associam mudanças hormonais ao amadurecimento sexual.
continuação
Nível Habilidades e conhecimentos esperados
Nível 5
350 < 0 < 400 Interpretam o procedimento experimental de destilação. Também distinguem bons de maus condutores e reconhecem a natureza das cores. Sabem sequenciar estruturas da mais simples (células), passando por tecido, órgão e aparelho até o organismo. Além disso, sabem distinguir características biológicas dos grandes reinos de seres vivos e reconhecem grandes ecossistemas brasileiros. São capazes de distinguir planetas e estrelas a partir de dados de observação e de interpretar calendários e mapa de ocorrência de terremotos; mostram familiaridade com os nomes dos instrumentos de observação celeste e seus usos.
Fonte: BRASIL, 1999a.
A partir da publicação da Portaria Ministerial nº 931, de 21/03/2005, o SAEB passou a ser composto por dois processos de avaliação: a Avaliação Nacional da Educação Básica (ANEB), e a Avaliação Nacional do Rendimento Escolar (ANRESC). O ANEB ficou responsável pela aplicação das provas de Língua Portuguesa e de Matemática e pela aplicação de questionários a uma amostra representativa dos alunos das 4ª e 8 séries do ensino fundamental e da 3ª série do ensino médio das escolas das redes públicas e privadas; ficou também responsável pela produção de informações sobre as condições intra e extra-escolares que incidem sobre o processo de ensino e aprendizagem. O ANRESC ficou responsável pela aplicação de avaliações nas escolas públicas localizadas na zona urbana que possuem pelo menos 30 alunos matriculados em cada série avaliada, onde serão aplicados testes de Língua Portuguesa nas turmas de 4ª e 8ª séries do ensino fundamental; ficou também com o objetivo de oferecer aos governos estaduais e municipais uma avaliação constante da rede de ensino para possíveis reformulações de suas políticas públicas para que sejam mais eficazes para o aprendizado dos alunos (BRASIL, 2005).
Em resumo, esta seção teve como objetivo analisar o SAEB a partir de seus objetivos e características, e também discutir a utilização da TRI como instrumento de medida da aprendizagem escolar. Inicialmente, foi feita uma análise dos objetivos e das características do SAEB. Posteriormente, foi feita uma discussão da utilização da TRI como uma alternativa que busca superar as limitações da TCM.