No intento de, entre outros, coletar e sistematizar dados e produzir informações mais detalhadas, além das já levantadas pelas avaliações federais, sobre o desempenho do sistema de educação de uma forma geral e dos alunos que compõem a Rede Municipal de Educação de São Paulo além de orientar diretrizes para o processo de formação continuada, em especial a desenvolvida no próprio local de trabalho por meio da Jornada Especial Integral de Formação (JEIF), a Secretaria Municipal de Educação criou o Sistema de Avaliação de Aproveitamento Escolar dos Alunos da Rede Municipal de Ensino de São Paulo através da Lei
Municipal nº 14.063, de 14 de outubro de 2005 e regulamentada pelo Decreto nº
47.683, de 14 de outubro de 200655.
O documento norteador do referido sistema de avaliação denomina-se Matrizes de Referencia para a Avaliação do Rendimento Escolar e passou por um longo processo de discussão, até o seu resultado final ser apresentado em meados de 2007. Segundo este documento, sua primeira versão foi produzida por técnicos contratados pela Secretaria Municipal de Educação e discutida em reuniões “com professores e representantes de todas as coordenadorias técnico-pedagógicas e
seus representantes convocados oficialmente pela SME” (SÃO PAULO, 2007d, p.
03).
Durante as reuniões os presentes faziam uma análise crítica do documento, debatiam e apresentavam propostas de inclusão e/ou retirada de alguma matriz de habilidades.
A consolidação do documento final se deu com o resultado apresentado do texto já rediscutido durante o período de planejamento de atividades para o ano de
200756, neste momento, todos os professores e especialistas das escolas municipais
puderam manifestar suas opiniões sobre as referências orientadoras da avaliação que iria ser realizada.
Nessa consulta, as matrizes foram acompanhadas de uma ficha de validação na qual todos os professores puderam indicar sua concordância ou discordância sobre cada uma das habilidades e, nos casos positivos, sobre a possibilidade de serem avaliadas ainda em 2007 ou somente em 2008.
Os professores de cada ano/ciclo discutiram com seus pares as matrizes propostas em suas respectivas escolas e, estando de acordo, sintetizaram em uma única planilha suas opiniões, enviando os dados para sua
55 Sua primeira edição ocorreu no final do ano de 2007, e, segundo a legislação em vigor, seus objetivos são: I - desenvolver um sistema de avaliação do desempenho escolar dos alunos do ensino fundamental e médio da Rede Municipal de Ensino de São Paulo, que subsidie a Secretaria Municipal de Educação nas tomadas de decisão quanto à Política Educacional do Município;
II - verificar o desempenho dos alunos nas séries do ensino fundamental e médio, nos diferentes componentes curriculares, de modo a fornecer ao sistema de ensino, às equipes técnico-pedagógicas das Coordenadorias de Educação e às Unidades Educacionais informações que subsidiem:
a) a política de formação continuada dos recursos humanos do magistério;
b) a reorientação da proposta pedagógica desses níveis de ensino, de modo a aprimorá-la;
c) a viabilização da articulação dos resultados da avaliação com o planejamento escolar, a formação dos professores e o estabelecimento de metas para o projeto pedagógico de cada escola;
d) a orientação para os trabalhos desenvolvidos nas Salas de Apoio Pedagógico - SAPs das unidades escolares com os alunos que necessitam de reforço na aprendizagem.
56 Antes do início das aulas as escolas da Rede Municipal de São Paulo reserva um período de reuniões entre professores e equipe técnica das unidades objetivando o planejamento de atividades e estratégias de intervenções pedagógicas para o ano letivo. Este momento é conhecido como Reunião de Planejamento.
coordenadoria que os encaminhou ao Núcleo de Avaliação da Secretaria Municipal.
Os dados foram analisados em reuniões técnicas com especialistas e orientaram a nova redação das Matrizes de Referência. Os critérios de decisão para manutenção de algumas habilidades, que não obtiveram o percentual mínimo de 60% de aceitação estabelecido, foram a importância de cada uma para o domínio da aquisição do conhecimento dentro da área e sua adequação à aprendizagem dos alunos.
Houve também ajuste da redação de algumas habilidades em virtude de sua reformulação em campos de aprendizagem mais amplos, em alguns casos referendando a opinião dos professores sobre a especificação ou complexidade da habilidade. No geral, poucas foram as habilidades não validadas e, sempre que possível, as opiniões foram aceitas e algumas habilidades transferidas de ano ou modificadas, conforme sugestão. (SÃO PAULO, 2007d, p. 4)
Também foi levada em conta a necessidade de adequação às Matrizes de Referência do Saeb / Prova Brasil, para quartas e oitavas séries, uma vez que a matriz e a própria avaliação deveriam representar os conhecimentos consensualmente aceitos e avaliados também em nível nacional.
A Prova São Paulo é aplicada, numa periodicidade anual. Em sua primeira edição, aplicada no final de 2007, foram avaliados o rendimento escolar de 244 000 alunos do 2º e 4º anos dos Ciclos I e II de 470 escolas municipais nas disciplinas de Língua Portuguesa e Matemática, além da produção de texto. Foram aplicados, também, questionários, nos quais foram recolhidas informações relacionadas ao perfil dos usuários e profissionais da Rede Municipal de Ensino.
Além das provas foram aplicados dois questionários para os alunos (sendo um de contextualização socioeconômica, entregue antecipadamente e, outro, de hábitos de estudo anexado à Prova de Matemática). Foram aplicados questionários para os professores de Língua Portuguesa e Matemática dos anos/ciclos avaliados, para os coordenadores pedagógicos, diretores de escola e supervisores escolares. Esses questionários serviram de base para o levantamento das correlações com a aprendizagem dos alunos revelada através do seu desempenho na Prova São Paulo 2007. (SÃO PAULO, 2008b, p. 6)
A avaliação foi estruturada se utilizando de duas medidas de escala de proficiência diferentes. A avaliação do 2ºano teve uma escala própria, enquanto as provas das demais séries se utilizaram da mesma escala adotada pelo Saeb (SÃO PAULO, 2008c). A modelagem estatística empregada na avaliação mesclava a
Teoria Clássica de Medida com a Teoria de Resposta ao Item57, esta última métrica, como já apontamos, também utilizada nas avaliações do SAEB/ Prova Brasil.
Os resultados obtidos na Prova São Paulo 2007, possibilitaram o planejamento de ações e intervenções no processo de aprendizagem, com Políticas de formação docente e elaboração de documentos curriculares, sob a responsabilidade da Diretoria de Orientação Técnica (DOT) da Secretaria Municipal de Educação, objetivando sua aplicação já para o ano de 2008. (SÃO PAULO, 2008c).
A segunda edição da Prova São Paulo, aplicada em 2008 envolveu 512 escolas de Ensino Fundamental e quase 290 mil alunos da 2ª a 8ª séries,
propalados da forma que se apresenta na Tabela 1:(SÃO PAULO, 2009b): 58
Tabela 1: Universo de alunos da Rede Municipal de Educação atendidos pela
Prova São Paulo 2008.59
57“egu do VARGA“ et all 2008 : Na teo ia lássi a de edidas TCM , as a álises são feitas o a so a dos escores do conjunto de itens como um todo. Na TRI, o interesse principal está na resposta, afirmativa ou não,
ue u espo de te o t pa a ada ite , e ão o es o e uto.
58 Para impedir que as crianças prossigam na escola sem desenvolverem adequadamente as habilidades de leitura e escrita, Secretaria Municipal de Educação desenvolveu o PIC – Projeto Intensivo no Ciclo I para a 3ª e 4ª séries (4ºs e 5ºs anos do Ensino Fundamental de 9 anos). Pelo projeto são criadas turmas, com número reduzido de alunos que não atingiram a proficiência leitora e escritora adequada para os anos finais do Ciclo I, O projeto apresenta um currículo adaptado desenvolvido pela Secretaria Municipal de Educação e pela Diretoria de Orientação Técnica da Prefeitura Municipal de São Paulo.
59 Alunos cujo desempenho diagnosticado foi inferior ao conceito 150 na Prova São Paulo 2007, considerado abaixo das expectativas mínimas para a 4ª série do Ensino Fundamental, foram convocados a realizar a Prova São Paulo em 2008. Para entender o significado deste conceito, vide a Escala de Proficiência – Anexo F deste trabalho.
A tabela 1 nos apresenta que algumas séries envolvidas foram avaliadas por amostragem e outras de forma censitária. Em razão dos dias destinados à aplicação da avaliação (10 e 11 de dezembro), a frequência dos avaliados foi uma das mais baixas da série histórica, sobretudo nas séries finais do Ensino Fundamental do Ciclo II.
Nessa edição, também foi criado um único ponto de corte, denominado Não Satisfatório, objetivando identificar os alunos com baixas proficiências, afim de que as unidades de ensino pudessem intervir diretamente nas dificuldades diagnosticadas, com vistas a suprir as necessidades educacionais identificadas nos educandos.
A sequência da série histórica, possibilitou a comparação dos resultados do grupo de dos alunos avaliados em relação ao ano anterior, identificando os avanços ou
não dos grupos. Vejamos:
Tabela 2: Resultados comparados dos grupos de alunos que realizaram as avaliações em 2007 e 2008 (SÃO PAULO 2009 b):
E possibilitou também a comparação entre as séries de seus respectivos ciclos em relação ao ano anterior, identificando avanços, ou não no sistema educacional da rede de ensino municipal, através da comparação de proficiências médias entre os anos de 2007 e 2008, vejamos:
Tabela 3: Resultados comparados das médias de proficiência atingidas nos anos de cada Ciclo nas avaliações em 2007 e 2008 (SÃO PAULO, 2009b).
Outra mudança em relação à edição anterior (2007) diz respeito ao envio de carta aos pais para orientação sobre a metodologia, a realização e os objetivos das provas.
No início de 2009, a SME elaborou e distribuiu para as unidades educacionais o Relatório de Análises Pedagógicas, apontando a descrição dos níveis de proficiência, as intervenções pedagógicas adequadas; e a divulgação dos resultados da Prova São Paulo 2008. Coube aos componentes do Núcleo de Avaliação Educacional e da Diretoria de Orientação Técnica organizar reuniões com toda a administração pedagógica da Rede, desde os supervisores escolares, diretores de escola e coordenadores pedagógicos, com a finalidade de orientar os membros das equipes gestoras escolares a interpretar os dados descritos no Relatório, relacionando-os com a realidade de cada unidade educacional. Aos coordenadores pedagógicos coube à responsabilidade de divulgar, junto aos professores de suas unidades, em horário de formação (JEIF), em reuniões pedagógicas ou em outros
encontros escolares de formação60, os resultados, as análises e, repensar, junto à
equipe docente, estratégias de intervenção, “O proposito é que essas informações subsidiem a identificação de práticas escolares que possam contribuir para a promoção da melhoria da qualidade de ensino, entendida como a ampliação dos níveis de aprendizagem dos alunos” (SÃO PAULO, 2009a, p. 11).
A terceira edição da Prova São Paulo foi aplicada nos dias 17 e 18 de novembro de 2009. “Foram avaliados 300.606 alunos no primeiro dia e 299.200, no
60
De acordo com as portarias de reorganização das unidades escolares para o ano letivo, baixadas anualmente pela Secretaria Municipal de Educação, cada unidade escolar deve dispor de no mínimo quatro reuniões pedagógicas anuais. Além dessas, há as reuniões de organização pedagógica da unidade para o ano letivo (antes do inicio das aulas), que em 2012 contaram com três encontros e as Jornadas Pedagógicas, que em 2012 ocorreram também em outras três ocasiões.
segundo” (SÃO PAULO, 2010a, p.18).em 526 escolas da rede municipal, com uma participação média de 90,5% dos alunos da rede
Na tentativa de estabelecer um dialogo entre a Prova São Paulo e outras avaliações externas, a partir desta edição passaram a se utilizar do mesmo grupamento de pontos de escala de proficiência adotados pela Prova Brasil/SAEB, definindo quatro os níveis de proficiência dos alunos: Abaixo do Básico, Básico, Adequado e Avançado,
Numa perspectiva geral, é possível definir cada nível de proficiência pelo que se segue abaixo:
Abaixo do básico – os alunos neste nível demonstram domínio insuficiente dos conteúdos, competências e habilidades desejáveis para o ano escolar que se encontram
Básico – os alunos neste nível demonstram desenvolvimento parcial dos conteúdos, competências e habilidades requeridas para o ano que se encontram.
Adequado – os alunos neste nível demostram domínio dos conteúdos, competências e habilidades desejáveis para o ano escolar em que se encontram.
Avançado – os alunos deste nível demonstram conhecimentos e domínio dos conteúdos, competências e habilidades acima do requerido no ano escolar em que se encontram. (SÃO PAULO, 2010a, p.19)
Cada um dos níveis de proficiência foi contextualizado na intenção de que a cada ano de escolaridade o aluno vá evoluindo na escala ou nível de proficiência tendo em vista o desenvolvimento acumulado a cada ano, conforme a tabela abaixo:.61:
61
Também disponível em <http://portalsme.prefeitura.sp.gov.br/Projetos/nucleo/AnonimoSistema/ MenuTexto.aspx?MenuID=27&MenuIDAberto=23> acessado em 10 de julho de 2012.
Níveis de Proficiência de Língua Portuguesa Prova São Paulo 2009
Ano Escolar Abaixo do Básico Básico Adequado Avançado
2º ano Ciclo I <11562 de 115 a < 150 de 150 a < 200 ≥200 3º ano Ciclo I <135 de 135 a < 175 de 175 a < 225 ≥225 4º ano Ciclo I <150 de 150 a < 200 de 200 a < 250 ≥250 1º ano Ciclo II <165 de 165 a < 215 de 215 a < 265 ≥265 2º ano Ciclo II <175 de 175 a < 225 de 225 a < 275 ≥275 3º ano Ciclo II <185 de 185 a < 250 de 250 a < 300 ≥300 4º ano Ciclo II <200 de 200 a < 275 de 275 a < 325 ≥325
Níveis de Proficiência de Matemática Prova São Paulo 2009
Ano Escolar Abaixo do Básico Básico Adequado Avançado
2º ano Ciclo I <125 de 125 a < 175 de 175 a < 225 ≥ 225 3º ano Ciclo I <150 de 150 a <200 de 200 a < 250 ≥ 250 4º ano Ciclo I <175 de 175 a < 225 de 225 a < 275 ≥ 275 1º ano Ciclo II <190 de 190 a < 240 de 240 a < 290 ≥ 290 2º ano Ciclo II <200 de 200 a < 250 de 250 a < 300 ≥ 300 3º ano Ciclo II <210 de 210 a < 275 de 275 a < 325 ≥ 325 4º ano Ciclo II <225 de 225 a < 300 de 300 a < 350 ≥ 350
Quadro 5: Níveis de Proficiência para a Prova São Paulo, a partir de 2009.
A métrica de observação dos resultados, por meio de agrupamento dos pontos da escala de proficiência permite entender melhor a diferença no desenvolvimento dos alunos envolvidos na avaliação.
Em relação à metodologia para a composição dos cadernos de prova foi utilizado o método BIB:
A prova é planejada de maneira que um conjunto completo, formado por mais de 250 questões de uma dada área do conhecimento, é respondido pelos alunos de uma turma inteira. Entretanto, cada aluno responde apenas a uma parte delas, por volta de 30 questões. Esse planejamento se baseia na distribuição em espiral das questões pelas provas realizadas denominada Blocos Incompletos Balanceados (BIB). ( SÃO PAULO, 2010, p. 14)
Uma última novidade implementada a partir de 2009 foi a inserção dos alunos com deficiência visual na avaliação, com a confecção de provas em braile ou avaliações ampliadas, para alunos com baixa visão.
Para a divulgação dos resultados, a organização da Prova São Paulo gerou Boletim de Sala, permitindo aos profissionais de educação verificar a proficiência exata dos alunos que participaram das duas últimas edições, em ambas as disciplinas, e o Boletim do Aluno, que foi enviado à residência de cada aluno
62
Para entender o significado de cada conceito, ou sua equivalência em relação aos saberes dos educandos, vide a Descrição da Escala de Desempenho do SAEB/Prova Brasil – Anexo F deste trabalho.
participante da avaliação, com as proficiências em Língua Portuguesa e Matemática. Esta iniciativa objetivava melhorar a qualidade das intervenções pedagógicas, uma vez que conhecidas as proficiências dos alunos, seria possível planejar ações que promovessem desenvolvimento escolar dos mesmos. Os Boletins do Aluno, permitiram o acompanhamento do desempenho dos alunos por suas famílias a cada aplicação da avaliação.
A quarta edição da Prova São Paulo, realizada nos dias 10 e 11 de novembro de 2010 contou com a participação de quase 290 mil alunos.
Em relação a edição anterior não ocorreram mudanças significativas, a sua elaboração, continuou sendo constituída a partir das Matrizes de Referencia para a Avaliação do Rendimento Escolar da Rede Municipal de Ensino de São Paulo. Esta por sua vez foi revisada e ampliada. A metodologia utilizada na composição dos cadernos de provas baseou-se novamente nos Blocos Incompletos Balanceados e foram utilizados itens provenientes de edições anteriores da Prova Brasil/SAEB, para garantir a comparabilidade com as avaliações realizadas pelo governo federal. Quanto ao tratamento dos dados, mantiveram-se a análise estatística contemplando a Teoria Clássica dos Testes e a Teoria de Resposta ao Item e nesta edição, alunos, pais, professores e equipe técnica-pedagógica responderam questionários relacionados aos aspectos sociais, econômicos, estruturais, entre outros (SÃO PAULO, 2011b, p.7 - 9). Os alunos realizaram avaliação de Língua Portuguesa e Matemática de múltipla escolha e produção de texto, que voltou a fazer parte da Prova São Paulo, depois de dois anos consecutivos de ausência. Outra mudança se deu na contratação de ledores e escribas para auxiliarem alunos com necessidades educacionais especiais a realizarem suas avaliações.
A empresa contratada para a organização da avaliação, a Cespe – UnB,
instituiu para esta edição o Instrumento de Controle da Aplicação (SÃO PAULO, 2011b, p.9 - 10) que consistia em Lista de Presença, a ser preenchida pelo professor
aplicador63; Formulário de Controle da Aplicação, formulário onde o professor
aplicador deveria registrar o início e término da prova, a quantidade de alunos presentes e qualquer ocorrência passível de registro, acontecida durante a aplicação
da avaliação; e os relatórios do monitor64, do coordenador local65 e do coordenador
63
Os professores aplicadores eram profissionais da própria unidade de ensino.
regional66. Segundo a empresa responsável pela aplicação esses instrumentos “foram desenvolvidos para permitir maior controle no processo de aplicação [devendo] desencadear uma série de procedimentos padronizados e sincronizados de forma a garantir a validade dos resultados” (SÃO PAULO, 2011b, p.9)
A edição 2011 da Prova São Paulo foi aplicada entre os dias 22 e 24 de outubro de 2011, sendo avaliado um total aproximado de 264 mil alunos do Ensino Fundamental regular dos Ciclos I, exceto 1º e 2º ano do Ensino Fundamental de 9 anos, e Ciclo II.
Em 2011 pela primeira vez, foram inseridos testes da disciplina de Ciências, com a inclusão de itens extraídos do Saeb, intentando a construção da escala de proficiências dessa área. Outra mudança em relação aos anos anteriores ocorreu em relação ao atendimento a alunos com deficiência. Além das provas em Braile e em tamanho ampliado, com acompanhamento de ledores e escribas para sua aplicação, foram adaptados instrumentos para estudantes com deficiência auditiva, com a utilização de provas em Libras, e recursos online de aplicação, sendo os itens acompanhados por vídeos em que intérpretes da linguagem de sinais apresentavam
as comandas.67
Quando da divulgação dos resultados as unidades de ensino receberam um login e senha para obterem acesso aos proventos da avaliação por meio do site da
empresa contratada68 para a aplicação da avaliação. Os resultados gerais foram
divulgados apenas internamente (escolas e diretorias de ensino) e traziam: um relatório completo contendo gráficos que apresentavam a série histórica sobre o desempenho das turmas que realizaram a avaliação nas escolas, nas disciplinas avaliadas, (Anexo G), os resultados individuais dos alunos (Anexo H), gráficos comparativos entre o desempenho da unidade, da Diretoria de Ensino da qual pertence a escola e da média de proficiência das escolas municipais de São Paulo nas diferentes disciplinas avaliadas ( Anexo I) e gráficos comparativos entre o desempenho da unidade, da Diretoria de Ensino da qual pertence a escola e da 65 O coordenador local é o responsável pela aplicação e treinamento dos professores de uma unidade de ensino
66 O coordenador regional é o responsável pela organização e aplicação da avaliação num conjunto de escolas situadas numa determinada região geográfica.
67
Disponível em : http://www.avaliadigital.com.br/resultados/Info/Externa.aspx acessado em 22 de julho de 2012.
68 Para a organização, aplicação, correção e divulgação dos resultados a Prova São Paulo 2011, a Secretaria Municipal de Educação de São Paulo contratou, por meio de licitação pública, a empresa Avalia Assessoria Educacional.
média geral de proficiência das escolas municipais de São Paulo (Anexo J), entre outras informações. Os resultados de cada aluno foram enviados para as residências dos responsáveis por meio do Boletim do Aluno (Anexo K).
A Prova São Paulo foi se transformando, no decorrer dos anos, no sentido de aprimorar os métodos de análise dos resultados e se traduziu numa avaliação que apresenta condições globais de avaliação dos alunos e do sistema municipal de educação, evidenciamos esta característica quando observamos que a mesma foi adaptada para atender aos alunos com necessidades educacionais especiais, uma realidade cada vez mais presente nas escolas públicas.
O aprimoramento dos métodos de análises, sobretudo a elaboração de séries históricas individuais, para cada aluno e a comparabilidade da série entre as unidades de ensino com a média da Diretoria Regional de Educação, proporciona dimensionar as reais condições das unidades de ensino em relação às outras escolas da mesma região geográfica, este processo concede a identificação das principais dificuldades enfrentadas pelos discentes das unidades de ensino e o