O quadro abaixo (Quadro 2) apresenta uma linha do tempo em que se registra a história dos sistemas de avaliações institucionais educacionais no Brasil, apontando as avaliações que serão abordadas no decorrer deste capítulo. Vejamos:
Conforme apresentado pela linha do tempo da página anterior (Quadro 2), a primeira tentativa de se criar um sistema de avaliação em larga escala no Brasil aconteceu entre o final da década de 1970 e início da década de 1980 e faziam parte do Programa de Educação Básica para o Nordeste Brasileiro - EDURURAL. O programa, gestado pelo MEC desde 1977, foi lançado em 1980 e previa investimentos oriundos de recursos próprios e empréstimos do Banco Mundial e
tinha como objetivo “expandir o acesso à escola primária, diminuir as taxas de
repetência e evasão e melhorar o rendimento escolar dos alunos” (HORTA NETO 2007, p. 6), de escolas localizadas na zona rural dos Estados do Piauí, Pernambuco e Ceará.
Foram realizados testes de forma amostral, nas disciplinas de Português e Matemática nos anos de 1981, 1983 e 1985, com alunos das 2ªs e 4ªs séries e, além das provas, foram aplicados questionários no intuito de levantar dados referentes a “forma de atuação desta escola referente ao seu contexto concreto” (GATTI; VIANNA; DAVIS 1991, p.10).
Paralelamente à ocorrência do programa EDURURAL, em pleno momento de crise, no final da década de 1980, o Instituto Nacional de Estudos e Pesquisas Educacionais (INEP) planejara a elaboração de um sistema de avaliação em larga escala que tinha por objetivos realizar o diagnóstico do sistema educacional no país e dos fatores que poderiam interferir no desempenho do aluno, fornecendo um indicativo sobre a qualidade do ensino que estava sendo oferecido pelas instituições brasileiras. As informações produzidas visavam subsidiar a formulação, reformulação e o monitoramento das políticas na área educacional nas esferas municipal, estadual e federal, no intento de racionalizar a destinação de recursos públicos visando o reaparelhamento dos sistemas e aperfeiçoamento profissional, contribuindo para a melhoria da qualidade do ensino.
Naquele momento, uma avaliação em larga escala sobre as condições da educação brasileira fazia-se necessária pois, até então, com exceção do sistema da pós-graduação (Capes) não existia no país avaliação em outros níveis de ensino, dessa forma não havia a certeza de que as políticas implementadas produziam os resultados esperados (CASTRO, 2009), além disso, os dados disponíveis pelo INEP nesse período, demostravam um maior número de matrículas na educação básica, porém, apontavam também para um grande percentual de repetência, grande
distorção entre idade e série e elevado percentual de evasão escolar.( BONAMINO; FRANCO, 1999).
Seriam necessários dados mais concretos para entender, além da razão desses fenômenos, qual era a situação da educação, em se tratando do desempenho escolar dos alunos das redes de ensino, questão que se tornou emergente após 1988, quando da promulgação da nova Constituição da República Federativa do Brasil, que explicitava o termo “garantia de padrão de qualidade” em
seu artigo 205 – VII.
Dada à experiência adquirida com o programa EDURURAL, associado às demandas do Banco Mundial, dentre elas, o levantamento de ações direcionadas ao desenvolvimento de uma sistemática de avaliação, é que se tem início a implementação de uma política sistemática de avaliação dos sistemas de ensino no Brasil, que mais tarde, se denominaria Sistema de Avaliação da Educação Básica, ou SAEB.
A origem do SAEB relaciona-se com demandas do Banco Mundial referentes à necessidade de desenvolvimento de um sistema de avaliação do impacto do Projeto Nordeste, segmento Educação, no âmbito do VI Acordo MEC/Banco Internacional de Reconstrução e Desenvolvimento – BIRD (Brasil, 1988)43. Tal demanda, aliada ao interesse do MEC em implementar um sistema mais amplo de avaliação da educação, levou a iniciativas que redundaram na criação do Sistema Nacional de Avaliação do Ensino Público de 1º Grau – SAEP. Já em 1988, houve uma aplicação piloto do SAEP nos estados do Paraná e Rio Grande do Norte, com o intuito de testar a pertinência e adequação de instrumentos e procedimentos. No entanto, dificuldades financeiras impediram o prosseguimento do projeto, que só pôde deslanchar em 1990, quando a Secretaria Nacional de Educação Básica alocou recursos necessários à viabilização do primeiro ciclo do Sistema Nacional de Avaliação do Ensino Básico. (BONAMINO; FRANCO, 1999, P.110)
A primeira aplicação do Saeb aconteceu em 199044 com a participação
amostral de unidades educacionais que dispunham de turmas de 1ª, 3ª séries do
Ensino Fundamental I e 1ª e 3ª séries do Ensino Fundamental II45 das escolas
públicas da rede urbana. Os alunos foram avaliados em Língua Portuguesa, Matemática e Ciências. As 1ª e 3ª séries do Ensino Fundamental II também foram avaliadas em produção textual.
43
BRASIL. Ministério da Educação e Cultura. IICA. Proposta de Avaliação do Programa de Educação Básica para o Nordeste. VI Acordo, 1988. (mimeo)
44 Ainda com o nome SAEP, assumindo a nomenclatura atual (SAEB) somente em 1991. (HORTA NETTO, 2010, p. 99).
Esta primeira edição objetivava “conhecer e construir parâmetros de rendimento dos estudantes com base nas propostas curriculares já existentes” (ORTIGÃO; SZTAJN, 2001, p.72). Como foi a primeira experiência de avaliação em larga escala promovida no Brasil, seu objetivo se pautou no aprofundamento da capacidade avaliativa dos órgãos envolvidos. Ela serviu como experimentação para as edições seguintes, embora seus resultados já fossem utilizados como base para o início da série histórica de análises sobre o desenvolvimento da educação básica das escolas brasileiras.
Depois de uma série de balanços e pareceres produzidos pelos envolvidos no processo, as evidências indicaram a necessidade de alguns ajustes para as edições seguintes. As principais críticas se basearam na produção das questões da avaliação, como por exemplo:
Provas com questões inadequadas/mecanizadas; questões com vocabulários que propiciavam entendimento diversificado nas diferentes regiões do país; questões com ilustrações que davam margem a várias interpretações, mas com respostas únicas fixadas e desconhecimento das propostas desenvolvidas por parte das secretarias. (ORTIGÃO; SZTAJN , 2001, p.73)
Embora a primeira edição da avaliação tenha sido aplicada em apenas 20 escolas, o volume de informações levantado foi considerável, pois, além das provas aplicadas aos estudantes, pretendia se verificar outros aspectos, relacionados às características de infraestrutura, o perfil dos diretores das escolas e a atuação na gestão escolar, o perfil e a prática docente, as características sociais e culturais, bem como os hábitos de estudo dos alunos. Este levantamento foi produzido por intermédio de questionários encaminhados aos gestores, professores e aos alunos. Em razão do volume e da complexidade das informações levantadas, os organizadores optaram por fazer estes levantamentos, bem como a aplicação do exame padronizado, numa periodicidade bienal.
Intentando exemplificar a importância da primeira edição do SAEB como instrumento de coleta de dados sobre a realidade educacional, apontamos que esta avaliação, associada à outros estudos do Ministério da Educação e entidades independentes, serviram como diagnostico para fins de composição das estratégias
para o desenvolvimento do Plano Decenal de Educação Para Todos 1993 – 2003,
por meio de investimentos na estrutura física da escola e na qualificação do profissional de educação.
Os insatisfatórios resultados dos processos de ensino fundamental se devem, em parte, a estas deficiências [inadequação física das escolas]. Mas também a graves problemas de ordem pedagógica. Várias pesquisas permitem conhecer alguns aspectos destes problemas e as recentes
experiências brasileiras em avaliação externa46, embora ainda incipientes, já permitem identificar de modo mais preciso seus focos mais críticos. (BRASIL, 1993, p. 23)
Devido aos problemas orçamentários, a segunda edição do SAEB , previsto para acontecer em 1992, foi aplicada somente em 1993 (HORTA NETTO, 2010, p. 99) para a avaliação desse ano foi mantido o formato da primeira, ocorrendo ajustes
na configuração dos testes. “Dentre as principais novidades para este ciclo,
destacam-se: definição do conteúdo e do tipo de questões, elaboração de um banco de questões, analise do banco de questões e elaboração da versão final dos testes de rendimento.” (ORTIGÃO; SZTAJN, 2001, p.73).
Para a edição de 1995, o MEC/INEP decidiu que o SAEB seria aplicado somente nos anos finais de cada ciclo escolar (4ª e 8ª séries do Ensino Fundamental e 3º ano do Ensino Médio). Além da amostra da rede pública, foi acrescentada uma amostra da rede privada. Nesta edição foram aplicados testes relacionados somente as disciplina de Língua Portuguesa e Matemática.
Amparado pela Portaria n° 1.795, publicada no Diário Oficial da União no dia 27 de dezembro de 1994, verificamos uma reformulação na aplicação do SAEB (CASTRO, 1997, p.40). O INEP, juntamente com as instituições privadas, Fundação Carlos Chagas e a CESGRANRIO, responsáveis “tanto da elaboração das provas aplicadas aos alunos, como da condução do processo de aplicação dos testes e de análise dos resultados” (BONAMINO; FRANCO, 2009, p.117) se responsabilizaram pela definição das matrizes de conteúdos que serviriam de base para a confecção das questões da avaliação, além disso, adotaram uma nova metodologia de interpretação dos conceitos assinalados nas avaliações, se utilizando da “construção das Escalas Comuns de Proficiência, ou definição de métricas, que são interpretadas em termos do que os alunos conhecem, compreendem e são capazes
de fazer, com base nos resultados do seu desempenho” (CASTRO, 2009, p.278),
esta métrica, conhecida como Teoria de Resposta ao Item (TRI)47, abriu a
possibilidade de comparabilidade entre os resultados das avaliações ao longo do tempo, uma vez que a nova métrica possibilitou a criação de escalas contendo níveis
de desempenho para as disciplinas aplicadas (Anexo F).
A comparabilidade permitiu ao Estado lançar um olhar mais direcionado aos sistemas de ensino relacionando os investimentos em educação aos resultados obtidos nos testes padronizados. Porém, pelo fato de o SAEB se tratar de uma avaliação amostral, cujos resultados permitem levantar um diagnóstico sobre o sistema, auxiliando no direcionamento de políticas públicas, a amostragem dificultava a tradução dos dados pelos gestores escolares, uma vez que as unidades de ensino apresentam características peculiares em relação ao sistema como um todo, dificultando o uso dos resultados do SAEB como parâmetro para a aplicação de mudanças pontuais de ordem administrativa ou pedagógica, como aponta o relatório sobre os dados do SAEB de 1997:
Devido ao caráter complexo da amostra do SAEB e ao objetivo descritivo do presente trabalho, alertamos ao leitor que as comparações ensejadas pelas descrições apresentadas têm o propósito exclusivo de explorar os dados e gerar hipóteses. O aprofundamento da análise apresentada no presente documento deverá ser feito a partir das técnicas e modelos estatísticos que levam em conta o efeito do plano amostral. (BRASIL, 1999a, p.8)
Na edição de 1997 o INEP optou em não promover grandes mudanças em relação à edição anterior. Ortigão e Sztajn (2001) apontam que a mais significativa
47 A TRI [Teoria de Resposta ao Item] baseia-se em modelos matemáticos que permitem a elaboração de provas diferentes com o mesmo grau de dificuldade. O modelo é baseado em três parâmetros gerais — grau de dificuldade da questão, nível de discriminação (o quanto o item consegue diferenciar o quanto o candidato sabe ou não) e a probabilidade de acerto ao acaso (chute).
Testadas antes da prova, as questões ganham um peso que varia de acordo com o desempenho dos estudantes nos pré-testes — quanto mais alunos acertam uma determinada pergunta, menor o peso que ela terá na prova. Isso porque o grau de dificuldade é supostamente menor.
A aplicação da teoria da resposta ao item é frequente nas avaliações em testes de múltipla escolha aplicados em diversos países.
Entre as vantagens metodológicas da TRI está a possibilidade de elaboração de provas diferentes para o mesmo exame. Essas provas podem ser aplicadas em qualquer período do ano, com o mesmo grau de dificuldade, e permitem a comparabilidade no tempo.
A TRI prioriza o uso de habilidades reflexivas e analíticas em detrimento da memorização de conteúdos, o que representa um avanço importante em relação a outros modelos de avaliação.
In: http://portal.mec.gov.br/index.php?option=com_content&view=article&id=17189:teoria-de-resposta-ao- item-garante-isonomia-das-provas&catid=222&Itemid=86 acesso em 07 de junho de 2012.
foi o resgate por parte da instituição organizadora em formular as definições sobre o que o SAEB deveria avaliar “o que se materializou pela elaboração, no âmbito do próprio INEP e com a colaboração de assessores, das Matrizes Curriculares de Referencia para o SAEB” (p, 75).
A partir dos dados levantados nessa edição o INEP passou também a publicar relatórios mais detalhados sobre seus resultados e disponibilizá-los na internet, facilitando a divulgação e o acesso às informações a respeito da avaliação.
Nessa edição (1997), bem como para a edição seguinte, em 1999, o INEP incluiu testes de Ciências, para os alunos matriculados nas 4ª e 8ª séries do Ensino Fundamental e para os alunos de 3º ano do Ensino Médio, foram incluídas as disciplinas de História, Geografia, Física, Química e Biologia.
Em virtude da reelaboração dos questionários aos professores, gestores e alunos, foi possível determinar, a partir de 1999, resultados relativos às transformações recentemente ocorridas nas redes de ensino, sobretudo no que tange a estrutura de organização em série ou em ciclos, diagnosticando, inclusive, a existência de:
distintas formas de organização do processo de escolarização [num mesmo sistema educacional] (ensino seriado e ciclos, por exemplo) e diferentes propostas curriculares e pedagógicas a exemplo dos programas de aceleração da aprendizagem (BRASIL, 2000, p.09).
Nas edições de 2001 e 2003 o Saeb passou a avaliar apenas as áreas de Língua Portuguesa e Matemática. Em 2001 “as Matrizes de Referência foram atualizadas em função da ampla disseminação pelo MEC dos Parâmetros Curriculares Nacionais” (HORTA NETTO, 2007, p.10).
Em 2005 o SAEB passou por um novo processo de reestruturação, por meio da Portaria Ministerial nº 931, de 21 de março de 2005:
O MINISTRO DE ESTADO DA EDUCAÇÃO, no exercício das atribuições estabelecidas pelo Art. 87 § único, inciso II da Constituição Federal e atendendo ao disposto no artigo 9o, inciso VI da Lei 9394, de 20 de dezembro de 1996, resolve:
Art. 1o Instituir o Sistema de Avaliação da Educação Básica - SAEB, que será composto por dois processos de avaliação: a Avaliação Nacional da Educação Básica - ANEB, e a Avaliação Nacional do Rendimento Escolar - ANRESC, cujas diretrizes básicas são estabelecidas a seguir.
§ 1o A ANEB manterá os objetivos, características e procedimentos da avaliação da educação básica efetuada até agora pelo SAEB realizado por meio de amostras da população, quais sejam:
a) a ANEB tem como objetivo principal avaliar a qualidade, eqüidade e a eficiência da educação brasileira;
b) caracteriza-se por ser uma avaliação por amostragem, de larga escala, externa aos sistemas de ensino público e particular, de periodicidade bianual;
[...]
d) as informações produzidas pela ANEB fornecerão subsídios para a formulação de políticas públicas educacionais, com vistas à melhoria da qualidade da educação, e buscarão comparabilidade entre anos e entre séries escolares, permitindo, assim, a construção de séries históricas; [...]
§ 2o A Avaliação Nacional do Rendimento no Ensino Escolar - ANRESC tem os seguintes objetivos gerais:
a) avaliar a qualidade do ensino ministrado nas escolas, de forma que cada unidade escolar receba o resultado global;
b) contribuir para o desenvolvimento, em todos os níveis educativos, de uma cultura avaliativa que estimule a melhoria dos padrões de qualidade e eqüidade da educação brasileira e adequados controles sociais de seus resultados; (BRASIL, 2005a, p. 16)
A partir de então, o levantamento de dados passou a ser composto por dois sistemas de avaliações: Avaliação Nacional da Educação Básica (Aneb) e Avaliação Nacional do Rendimento Escolar (Anresc), conhecida como Prova Brasil.
A Aneb manteve os procedimentos da avaliação amostral, das redes públicas e privadas, com foco na gestão da educação básica que até então vinha sendo realizada no SAEB, cujos objetivos eram de avaliar o sistema de ensino. A Prova Brasil (Anresc), por sua vez, passou a avaliar de forma censitária as escolas que atendessem aos critérios de quantidade mínima de estudantes na série avaliada, permitindo gerar resultados por escola (HORTA NETO, 2010).
A Prova Brasil e o SAEB passaram a ter seus resultados interpretados a partir de um único instrumento de avaliação. Em razão disso, muitos concluíram que a Prova Brasil (Anresc) e SAEB (Aneb) se fundiram numa só avaliação, após a criação da primeira, porém, o quadro a seguir, extraído do portal do INEP, esclarece as diferenças entre os dois sistemas. Vejamos:
Semelhanças e diferenças
48A Prova Brasil e o Saeb são dois exames complementares que compõem o Sistema de Avaliação da Educação Básica. Para saber mais sobre o assunto veja o quadro comparativo abaixo.
Dessa forma você vai entender melhor os pontos em comum e as diferenças entre as duas avaliações.
Prova Brasil Saeb
A prova foi criada em 2005. A primeira aplicação ocorreu em 1990. Avalia as habilidades em Língua Portuguesa (foco em
leitura) e Matemática (foco na resolução de problemas) Alunos fazem prova de Língua Portuguesa (foco em leitura) e Matemática (foco na resolução de problemas) Avalia apenas estudantes de ensino fundamental, de 5°
e 9° anos.
Avalia estudantes de 5° e 9° anos do ensino
fundamental e também estudantes do 3º ano do ensino médio.
A Prova Brasil avalia as escolas públicas localizadas em
área urbana e rural. Avalia alunos da rede pública e da rede privada, de escolas localizadas nas áreas urbana e rural. A avaliação é quase universal: todos os estudantes das
séries avaliadas, de todas as escolas públicas urbanas e rurais do Brasil com mais de 20 alunos na série, devem fazer a prova.
A avaliação é amostral, ou seja, apenas parte dos estudantes brasileiros das séries avaliadas participam da prova.
Como resultado, fornece as médias de desempenho para o Brasil, regiões e unidades da Federação, para cada um dos municípios e escolas participantes.
Oferece resultados de desempenho apenas para o Brasil, regiões e unidades da Federação.
Parte das escolas que participarem da Prova Brasil ajudará a construir também os resultados do Saeb, por meio de recorte amostral.
Todos os alunos do Saeb e da Prova Brasil farão uma única avaliação.
Quadro 3: Semelhanças e Diferenças entre a Prova Brasil e o Saeb
Após a reestruturação em 2005, o SAEB manteve a sua configuração para os exames seguintes.