3. FRÅ AUTORITÆRT STYRE UNDER SADDAM HUSSEIN TIL
5.2 METODOLOGISKE UTFORDRINGAR
As considerações finais destinam-se a uma reflexão sobre as análises apresentadas nos capítulos III e IV sobre o Sistema X de Avaliação. Para isso faz-se necessário retomar a hipótese apresentada de que o conjunto de informações gerado pelo Sistema X de Avaliação, que chega às escolas, contribui, de forma significativa, para a melhoria da proficiência média dos alunos avaliados. No entanto, sabe-se que gerar e disponibilizar informações, por si só, não gera mudança em educação. O que gera, de fato, mudança em qualquer sistema de ensino é a criação de estratégias eficazes a partir dessas informações, razão de também retornar à premissa levantada anteriormente da necessidade de identificarem-se quais estratégias desenvolvidas contribuíram com a melhoria do desempenho acadêmico e se estas podem vir a ser generalizadas para outros tipos de sistema de avaliação.
Identificou-se, ao analisar o Sistema X de Avaliação, as seguintes características variáveis que podem ter contribuído para a melhoria do desempenho acadêmico:
1) Tempo do processo e inclusão dos educadores: Gadotti (1997) ao discorrer sobre a obra de Paulo Freire afirma que a educação “não pode se orientar pelo paradigma da empresa que dá ênfase apenas a eficiência”, pois isto ignoraria o ser humano e muito de suas possibilidades de intervenção, e acrescenta que o “ato pedagógico é democrático por natureza”; para Freire só se muda processo quando temos paciência histórica, paciência pedagógica e paciência afetiva. No contexto dessa dissertação acrescenta-se que é preciso analisar o momento da escola, seu contexto e sua história, ou seja, compreender quais fatores interferem nos resultados acadêmicos, para só então, de posse dos resultados da avaliação, re- planejar, propor mudanças que sejam efetivas e afetivas; acompanhar essas mudanças, monitorar os resultados e aguardar para que as mudanças de fato aconteçam. É esta uma das características variáveis do sistema de avaliação pesquisado. A partir dos resultados da Avaliação do Sistema X, a instituição pesquisada criou estratégias de formação, tanto para seus gestores, como para seus docentes; monitorou os resultados acadêmicos; deu tempo para que o Sistema X se consolidasse; os resultados da avaliação re-orientou o currículo e retro-alimentou a
própria avaliação educacional; as escolas participantes do Sistema X puderam re- avaliar seus processos, de forma efetiva e afetiva, chamando para a ação os seus principais atores: os professores por meio da formação docente. E esta pesquisadora afirma, categoricamente, que não acredita em mudanças na educação, que não passe pela sala de aula e pelo seu agente principal: o professor. E, finalmente, ao se consolidar durante onze anos este sistema, comprova-se a importância de não tratar as questões educacionais com soluções imediatistas, e sim, defendendo uma política educacional com programas, a longo prazo, que garantam de fato a aprendizagem dos alunos.
2) Concepção de Avaliação do Sistema X: Ao focar seu sistema de avaliação em uma concepção pluralista e não apenas utilitarista, as características dessa avaliação tomou uma direção diversa da apresentada nos demais programas analisados, pois no seu centro estava a interação de seus educadores e não o interesse dos que conceberam o sistema. Seus resultados interessavam a todos envolvidos e não apenas a alguns. Esta concepção possibilitou que a Avaliação do Sistema X se tornasse dialógica, no entanto, foi necessário tempo para que isso ocorresse. Os documentos pesquisados indicam que a Avaliação do Sistema X partiu de uma concepção utilitarista para uma concepção pluralista ao longo dos anos, ou seja, mesmo que no início tenha sido necessário que o sistema se adaptasse a avaliação, com o tempo houve uma adaptação da própria avaliação ao sistema.
3) Formação dos educadores: A decisão por parte da instituição de formar seus educadores em avaliação em larga escala, em elaboração de itens, em construções de matrizes e suas interpretações, em cursos de capacitação das áreas avaliadas, traçando e alinhando os seus pressupostos teóricos e metodológicos, também foi uma característica variável que colaborou para a melhoria dos resultados acadêmicos. Este processo tornou os educadores mais críticos, tanto em relação à Avaliação do Sistema X, quanto a sua própria avaliação na sala de aula, e os fez rever sua práxis pedagógica.
132 pais, em forma de boletins individuais, também é uma característica variável que, com certeza, contribuiu para a melhoria do desempenho acadêmico, principalmente porque mesmo dando o resultado não se perdeu a série histórica, ou seja, não comprometeu o sigilo dos itens. Esta medida envolveu mais os alunos na resolução das provas, conseqüentemente na fidedignidade dos resultados obtidos. Constatou-se, pois, que o aluno que recebe de volta seu resultado responde à prova com muito mais seriedade do que um aluno que não terá retorno nenhum deste trabalho. Porém dois fatores devem ser considerados: a) o prazo desta devolutiva e b) o conteúdo que consta nesse boletim. O resultado apresentado ao aluno pelo Sistema X situam-no em relação a seus pares em forma de “ranking”, e aponta, de acordo com os itens que o aluno respondeu em cada prova e em cada disciplina, em quais habilidades ele precisa se empenhar mais. Este cálculo e feito a partir da TCT e não da TRI, o que limita o resultado, pois, não leva em consideração a dificuldade do item. Destaca-se ainda, que 89% da equipe técnica diretiva afirmam que entregam os resultados aos alunos e seus pais, como os gestores têm liberdade de entregar ou não esses resultados, este é um forte indicador que o boletim do aluno é bem visto pelos educadores.
5) Metodologia: No que se refere à metodologia, a Avaliação do Sistema X se equipara aos demais sistemas de avaliação, até pela necessidade de comparação externa, utilizam os mesmos conjuntos teóricos. As características variáveis que se fazem nota sobre esta questão são que: a) a avaliação é feita em todas as áreas curriculares do núcleo comum e não apenas em Língua Portuguesa e Matemática; b) os questionários são dirigidos a todos os educadores da escola e não apenas aos gestores e professores titulares das disciplinas avaliadas, como em muitos sistemas de avaliação.
6) Interpretação própria da escala por níveis em todas as disciplinas do núcleo
comum e alinhamento do programa curricular: A instituição desenvolveu textos da interpretação com os pressupostos teóricos metodológicos que auxiliam a
formação dos professores, em todas as disciplinas avaliadas, divididos por níveis do conhecimento que fazem com que os professores, mediante seus resultados, procurem avançar nestes níveis. O alinhamento do programa curricular garantiu
que todas as unidades escolares seguissem numa única direção auxiliando no processo de formação docente. Não adianta avaliar e ter dados quantitativos se estes dados não têm uma ligação qualitativa e nem refletem o dia-a-dia da sala de aula. A avaliação não se encerra com os seus resultados, mas, nas ações decorrentes do re-planejamento didático apontado pelos resultados.
7) A ferramenta de BI (Business Intelligence) e seu uso pelos educadores: Sobre o conjunto de informações que a escola avaliada recebe por meio do sistema de BI, percebe-se uma diferença muito grande dos demais sistemas de avaliação. O cruzamento dos dados coletados aproxima os educadores do sistema de avaliação e, conseqüentemente da informação, tornando-os juízes dentro deste processo; facilita o trabalho do gestor; elimina custos de impressão de material; diminui o tempo de devolutiva dos resultados, o que hoje é considerado um grande entrave em vários sistemas de avaliação; e colabora, efetivamente, como instrumento de gestão, aqui entendido como gestão da escola e gestão de sala de aula. A capilaridade dos dados obtidos é muito maior, pois o resultado não chega apenas por escola, mas também por turnos, por turmas, e por alunos. Em relação ao uso da ferramenta de BI foi observado que mais de 90% da equipe técnica diretiva e mais de 50% dos professores têm acesso aos resultados e participam do monitoramento pedagógico. Como o questionário é respondido por todos os professores, mesmo aqueles cujas disciplinas não são avaliadas como, Educação Infantil, Sociologia, Educação Física, Filosofia, etc... considera-se esse percentual elevado. Destaca-se ainda que 73% da equipe técnica e diretiva e 47% dos professores conhecem e fazem uso da ferramenta de BI e a maioria que não conhece deseja conhecer.
8) Melhoria da proficiência média:Os dados da comparação da proficiência média nas disciplinas de Língua Portuguesa e Matemática, analisados no capítulo IV, comprovam que as medidas de intervenções pedagógicas tomadas, ano após ano, por meio do monitoramento pedagógico, foram eficazes. O aumento médio de 32 pontos na escala na disciplina de matemática e de 29 pontos na disciplina de Língua Portuguesa fala por si só, destaca-se que a escola privada no Brasil neste
134 mobilizar e jamais acomodar as escolas, pois, caso esta comparação pudesse ter sido feito com dados da avaliação internacional, o que infelizmente não é possível, eles, ainda assim, não seriam suficientes para que sejam aclamados como resultados “excelentes”, porém, muito melhores para, no caso da escola privada, conseguir melhores resultados do que a 24ª posição no PISA conforme obtidos em 2006.
9) A aceitação da avaliação pelos educadores: Sobre a opinião dos gestores sobre o uso da avaliação e do sistema de BI, observou-se uma aceitação geral do sistema de avaliação, ao contrário do que nos diz o senso comum que, de maneira geral, os educadores não aceitam bem a avaliação externa. O fato de a instituição manter este sistema por onze anos fez com que se criasse uma cultura de avaliação, sendo, hoje, aceita pela maioria dos educadores e percebida como um instrumento que “colabora muito” com o desenvolvimento de seu trabalho.
Não se pode pretender e esperar que esse estudo de caso, com apenas oito escolas, que estão inseridas dentro de uma instituição privada muito bem consolidada no mercado nacional, possa servir de base para generalizações no tocante aos programas de avaliações que estão, hoje, sob responsabilidade do INEP. Não se deve, também, esperar que o MEC venha a fazer um trabalho nas mesmas condições da instituição de ensino privada pesquisada. No entanto, as ações destacadas abaixo, são possíveis de serem generalizadas ou, ao menos merecem um estudo específico que, sem dúvida, aprofundaria o tema aqui pesquisado.
1) Divulgar e melhorar o texto da interpretação da escala: recomenda-se a elaboração de textos de apoio para a formação dos professores para que compreendam melhor o Programa de Avaliação Educacional, suas finalidades e pressupostos teóricos, com exemplos de itens que os alunos erram, para que os educadores possam abstrair melhor estes resultados, com “link” que remetam os resultados aos textos dos documentos nacionais de educação como os Parâmetros Curriculares Nacionais e a textos específicos de formação de educadores. A crítica que se faz aqui aos programas de avaliação não é pela ausência de documentação, mas pela forma como ela é apresentada e como estas informações estão
desarticuladas.
2) Formação dos docentes alinhada às avaliações: Percebe-se, sobretudo nos últimos dois anos, ações de formação por parte do MEC, inclusive com grandes investimentos, a questão é: esta formação está alinhada com o que se cobra nas avaliações? Os resultados das avaliações, seus pontos fracos, ou seja, aqueles conteúdos cujos alunos demonstram menor desempenho estão contemplados nos programas de formação docente? Apesar de termos parâmetros curriculares nacionais, são eles que estão dentro das escolas hoje? Existe hoje, no INEP, um conjunto de informações quantitativas por regiões e redes de ensino sobre o desempenho acadêmico dos alunos, três ações poderiam ser recomendadas: a) avançar para ter um conjunto de informações qualitativas destes resultados; b) que essas informações qualitativas gerem programas de formação docente mais específica por regiões; c) que o conjunto de informações qualitativas seja monitorado por regiões e divulgado por escolas.
3) Melhoria no currículo dos cursos de licenciaturas: Alterar os currículos dos cursos de licenciaturas garantindo que os futuros docentes aprendam sobre os diversos tipos de avaliação de uma escola, e não somente a avaliação da aprendizagem.
4) Investir em pesquisas de análises multiníveis: mensurar os resultados apenas não é suficiente, e conclui-se que é necessário considerar também os fatores que geram estes resultados. O avanço da tecnologia, aliado a modelos estatísticos, contribue sobremaneira, nos anos 90, para uma análise mais apurada. Destacam-se as pesquisas realizadas por Willms em 1999 com o desenvolvimento da análise de “gradientes” e posteriormente os estudos de Raudenbusch e Bryk em 1988, Goldstein em 1995 e Randenbush e Willms em 1995 com o desenvolvimento da análise multinível. Esta análise permite o cruzamento de variáveis sobre o desempenho acadêmico dos alunos, ou seja, a relação que antes era bivariada ganha muito mais possibilidades ao cruzar diversas variáveis com os resultados acadêmicos. Recomenda-se que os programas de avaliação educacional explorem mais estas análises apontando quais são os fatores que estão gerando resultados
136 realizados até hoje “mostram claramente na cultura do sistema a imputação do fracasso escolar, ora aos próprios alunos, ora a seus pais, ora ao sistema sociopolítico, raramente aos professores, sua formação ou à organização escolar.” Ou seja, o fracasso escolar é tratado de forma natural, como parte do processo educativo, não é visto pelos educadores, nem pela sociedade de modo geral como um problema a ser resolvido e debatido. A literatura nos fornece inúmeros estudos sobre fracasso escolar, porém para Ribeiro (1991) “cobrem um largo espectro de análises marxistas de dominação e poder, de teorias de reprodução social, de prontidão e de privação cultural, entre outras.” De certa forma estas teorias vem justificando o problema, mas não explicam o fato de ele acontecer com tanta freqüência e em extratos sociais díspares.
5) Revisão dos textos das peças editalícias dos sistemas nacionais: ao desenvolver esta pesquisa, procurou-se entender o porquê de algumas questões perdurarem tanto tempo nos programas de avaliação educacional nacionais sem uma mudança efetiva, uma vez que diversos autores, nos últimos anos, apontam para soluções de melhoria. Observou-se que as peças editalícias do INEP pouco mudaram seu teor nos últimos anos, ou seja, o “objeto contratado” não muda. Indica-se esta questão para que seja aprofundada em um estudo específico, pois, pode ser um indicador de não haver mudanças substanciais nos Programas de Avaliações Educacionais.
Conforme citado no capítulo I essa dissertação não teve a pretensão de esgotar este assunto, nem de que este estudo de caso respondesse a questões tão complexas, que norteiam os sistemas de avaliação no Brasil, no entanto, espera-se que esta pesquisa possa de alguma forma, contribuir para que os Programas de Avaliação Educacional sejam mais difundidos, discutidos, polemizados e criticados.
REFERÊNCIAS BIBLIOGRAFICAS
ALVES, Fátima e ORTIGÃO, Isabel. A Repetência Escolar e os Diferentes Tipos de
Capital: Um Estudo a partir dos dados do SAEB- 2001. GT. Sociologia da Educação/ n.14.
PUC-Rio, 2003.
ANDRADE, Dalton F. Comparando desempenhos de grupos de alunos por intermédio da
teoria de resposta ao item. Estudos em Avaliação Educacional, São Paulo: Fundação
Carlos chagas, (30), vl. 23, p. 31-70, jan-jun, 2001.
ANDRADE, Dalton F., TAVARES, H.R. e VALLE, R.C. Teoria da resposta ao item:
conceitos e aplicações. São Paulo: ABE - Associação Brasileira de Estatística, 2000.
BABBIE, Earl. The practice of social research. 5.ed. Califórnia: Wadsworth, 1989.
BAUER, M & GASKELL, G . Pesquisa qualitativa com texto, imagem e som: um manual
prático. São Paulo: Vozes, 2000.
BLOOM e colaboradores. Taxonomia de Objetivos educacionais. Porto Alegre: Globo S.A., 1972.
BOLIVAR, Antônio – Avaliação Institucional: Uma possibilidade de Crescimento Geral – Anais do 3 Congresso Internacional sobre Avaliação na Educação – EDUCARE – São Paulo. 2005.
BRASIL. Ministério da Educação e Cultura – Documento Básico do ENEM – Brasil: MEC/Inep, 2000, 2002.
BRASIL. Ministério da Educação e Cultura – Guia do SAEB 2003 – Brasil: MEC/Inep, 2000
BRASIL. Ministério da Educação e Cultura –- Matrizes Curriculares de Referência, SAEB
– 2ª edição –Brasil: MEC/Inep, 1999
BRASIL. Ministério da Educação e Cultura – MEC/Inep - Nota Técnica - Índice de
138 BRASIL. Ministério da Educação e Cultura - Semelhanças e Diferenças do SAEB e Prova
Brasil. Disponível in http://provabrasil.inep.gov.br
BRASIL. Ministério da Educação e Cultura. Inep/Daeb - Banco Nacional de Itens. Guia
para elaboração de itens de matemática. Brasília, nov/2003.
BRASIL. Ministério da Educação e Cultura. Relatório: Primeiros Resultados: Médias de desempenho do SAEB/2005 em perspectiva comparada. 2007. Disponível em http://www.inep.gov.br/
BRASIL/MEC. Censo Escolar 2007. Disponível em: http://www.inep.gov.br/download/estatisticas/sinopse_estatistica_2007/. Acesso em: 19 jun.
2008.
BROOKE, Nigel & SOARES, José F. Pesquisa em Eficácia Escolar – origem e trajetórias – Belo Horizonte: UFMG, 2008
BROOKE, Nigel. O Futuro das Políticas de Responsabilização Educacional no Brasil. in Cadernos de Pesquisa, v. 36, n. 128, p. 377-401, maio/ago. 2006)
BRUNER, Jerome. Actos de Significado – Para uma Psicologia Cultural. Nova Biblioteca 70. Portugal: Edições 70, 1990.
BRYMAN, Alan. Research methods and organization studies. London: Unwin Hyman,
COUTINHO, P.C.; CHAVES, J.H. O Estudo de Caso na Investigação em Tecnologia
Educativa em Portugal. Revista Portuguesa de Educação, ano/vol.15, número 001-
Universidade Minho, Braga, Portugal.
DEMO, Pedro. Mitologias da Avaliação: De como ignorar em vez de enfrentar problemas. São Paulo: Ed. Autores Associados, 1999.
DENZIN, N. K. & LINCOLN, Y. S. Introduction: the discipline and practice of
qualitative research. In: DENZIN, N. K. & LINCOLN, Y. S. (Ed.). Handbook of qualitative
FERRÃO, M.E., FERNANDES, C. O efeito-escola e a mudança dá para mudar? Revista Electrónica Iberoamericana sobre Calidad, Eficacia y Cambio en Educación. Vol 1, 1. 2003. FRANCO, Creso (org.) - Avaliação, Ciclos e Promoção na Educação. Porto Alegre: Artmed, 2001.
FONTANIVE, Nilma Santos e KLEIN, Ruben. Uma visão sobre o Sistema de Avaliação da
Educação Básica do Brasil – SAEB. Ensaio, Rio de Janeiro, 2000.
FONTANIVE, Nilma. O uso pedagógico dos testes. In: SOUZA, Alberto de Mello (Org.).
Dimensões da Avaliação Educacional. Petrópolis: Vozes, 2005.
GADOTTI, Moacir. Escola cidadã. São Paulo: Cortez, 2000.
GASPARETTO, Agenor – Avaliação Institucional: processo Doloroso de Mudança; A
Experiência da UESC, Ilhéus – Bahia – Revista da Rede de Avaliação Institucional da
Educação Superior – Campinas v.4 n.3. p.73-84 – Set. 1999
GIL, Antônio Carlos. Métodos e técnicas de pesquisa social. 5ª ed. São Paulo. Ed.Atlas, 1999.
GOMES, Cândido. Seminário Internacional Ética e Responsabilidade na Educação: Compromisso e Resultados realizado em Brasília em 2008
GÓMEZ, Gregorio R., FLORES, Javier. G. e JIMÉNEZ, Eduardo G. Metodología de la
investigación cualitativa. Archidona: Aljibe, 1996.
GUERRA, Miguel A.S. Evaluar es Comprender; de la Concepción Técnica a La
Dimensión Crítica. Anais 3º Congresso Internacional sobre Avaliação na Educação. Educare
– São Paulo, 2005.
GORDON, W. & LANGMAID, P. Qualitative Market Research: a Practitioner’s Guide. Aldershot:Gower, 1988.
HOUSE, E.R. Philosophy of evaluation. New Directions for Program Evaluation, no 19. San Francisco: Jossey-Bass
140 KERLINGER, F. Foundations of behavioural research. New York: Holt. 1964
KLEIN, Ruben in Ensaio: Avaliação Políticas Públicas. Educ., Rio de Janeiro, v.14, n.51, p. 139-172, abr./jun. 2006.
LAURELL, Asa Cristina (org.) Estado e políticas sociais no neoliberalismo. Trad. Rodrigo León Contrera. São Paulo: Cortez, 1995.
LINCOLN, Y. S.; GUBA, E. G. Naturalistic Inquiry. Califórnia: Sage Publications, Inc., 1985. London, 1989.
MARCHESI, Álvaro. Qualidade do Ensino em Tempos de Mudança. Porto Alegre, Artmed, 2003
MATTOS, Maria J. V. M. de e PERES, José Roberto Rus. A Reforma Educacional de
Minas Gerais: promoção da Autonomia Escolar. Disponível em
http://www.unimep.br/fch/revcomunica/jun%202003/05.pdf
MÉNDEZ, Juan Manuel. Avaliar Para Conhecer Examinar Para Excluir. Porto Alegre: ARTMED, 2002.
MINAS GERAIS. Secretaria de Estado da Educação. Projeto Básico do Sistema Mineiro de
Avaliação da educação Pública. Disponível in
www.educacao.mg.gov.br/index.php?option=com_content&task=view&id=421&Itemid=257
NATIS, L. Modelos Lineares Hierárquicos. Dissertação de Mestrado, Instituto de Matemática e Estatística da USP, 2000.
OCDE/BRASIL. Ministério da Educação. Relatório PISA. MEC/Inep 2000 e 2006 disponível em: http://www.pisa.oecd.org/document
ORTIGÃO, Maria Isabel Ramalho. Avaliação e Políticas Públicas: possibilidades e
desafios para a Educação Matemática. Bolema, Rio Claro (SP), Ano 21, nº 29, 2008, pp. 71 a 98 disponível em http://cecemca.rc.unesp.br/ojs/index.php/bolema/article/view/1719/1496
Vozes, 2003
PERRENOUD, Philippe. Avaliação Da excelência à Regulação das Aprendizagens –
Entre Duas Lógicas. Porto Alegre: ARTMED, 1999.
PESSOA, Fernando - O Sensacionismo, forma de arte moderna. In: Obras em Prosa. Rio