Conta-se que o Muito Honorável Conde de Beaconsfield17 (1804-1881) teria dito que “Há três tipos de mentiras: mentiras, mentiras terríveis e estatísticas”18. Ainda que tal frase não tenha sido realmente pronunciada, exprime com desconcertante clareza a desconfiança, não apenas em torno dos métodos estatísticos, mas principalmente, dos propósitos com que indicadores estatísticos são produzidos, divulgados e utilizados, em especial quando envolvem questões de ordem política e/ ou econômica.
A estatística, porém, não é por si só vilã ou heroína. O desconhecimento de alguns de seus conceitos e técnicas por parte do público geral e a forma como informações de conteúdo estatístico são divulgadas nos meios de comunicação, revestidas muitas vezes de uma aura de “verdade inquestionável”, são provavelmente os geradores de tal desconforto.
Um exemplo recente do uso equivocado de uma informação estatística como forma de justificar uma decisão política foi dado pela Secretaria de Educação do Estado de São Paulo, no episódio da reorganização da rede estadual de ensino. Sem a intenção de nos prolongarmos demasiado, faremos um rápido histórico do ocorrido.
Em 26 de outubro de 2015, o então secretário da educação do Estado de São Paulo, Herman Voorwald, divulgou a intenção de promover uma reorganização da rede estadual de educação. De acordo como a página da Secretaria de Educação na Internet,
A reestruturação atende a dois fatores: mudança demográfica no Estado, com um declínio de 2 milhões de alunos desde 1998, e à constatação de que escolas de segmento único, modelo a ser intensificado, têm um rendimento até 22% superior às demais. (...)
Segundo o resultado do Idesp em 2014, as escolas de segmento único dos Anos Iniciais tiveram um rendimento 14,8% superior às demais; as escolas de segmento único dos Anos Finais, 15,2%; e as escolas de segmento único do Ensino Médio, 28,4% superior. (SÃO PAULO (ESTADO), 2015)
17 O Conde de Beaconsfield, aliás Benjamin Disraeli, foi um dos mais importantes políticos ingleses do século
XIX. De origem judaica e afiliado ao partido Conservador (“Tory”), Disraeli foi primeiro-ministro da Grã Bretanha por duas vezes, de 27 de fevereiro a 2 de dezembro de 1868, e de 21 de fevereiro de 1874 a 22 de abril de 1880 (LANGER, 1952, p. 614-616)
18 No original em inglês “There are three kinds of lies: lies, damned lies, and statistics”. A atribuição de tal frase
a Disraeli foi feita pelo escritor americano Mark Twain em sua autobiografia, embora seja duvidoso que o político britânico a tenha realmente pronunciado (VELLEMAN, 2008)
Ou seja, com base nos indicadores do Idesp, chegou-se à conclusão de que, como as escolas de segmento único possuem rendimento superior, é esse o modelo que deveria prevalecer na rede pública estadual.
Dois dias depois, a Secretaria da Educação do Estado de São Paulo divulgou uma lista de 93 escolas que seriam fechadas com a reorganização (G1, 2015). Quase ao mesmo tempo iniciaram-se ações de protesto, inicialmente, através da ocupação de escolas da rede estadual de ensino e, posteriormente, em manifestações públicas de alunos e simpatizantes, reprimidas de forma violenta pela Polícia Militar. Não obstante, o projeto tornou-se, efetivamente, o decreto 61.672, de 30 de novembro de 2015, ainda que, nessa data, cerca de 200 escolas estivessem sob ocupação dos alunos da rede estadual19.
Entrementes, as análises realizadas pela Secretaria da Educação do Estado de São Paulo que embasaram a reorganização da rede estadual foram colocadas em dúvida por especialistas e acadêmicos. Em particular, uma avaliação feita por professores da Universidade Federal do ABC (UFABC), a pedido do Ministério Público Estadual e publicada na edição do jornal O Estado de S. Paulo de 1º. de dezembro de 2015, concluiu que esses estudos não apresentam evidências científicas de que a implementação de escolas estaduais de ciclo único implique na melhoria do rendimento dos alunos no Idesp (O ESTADO DE S.PAULO, 2015). Segundo os autores desse parecer, o estudo da Secretaria da Educação não incluiu variáveis relevantes segundo a literatura acadêmica da área, e não realizou os controles estatísticos e qualitativos mais adequados para comparar o desempenho dos alunos das escolas de ciclo único e de ciclos mistos, não sendo possível afirmar, com base nessa análise, que haja uma relação entre ciclo único e melhoria do rendimento (O ESTADO DE S.PAULO, 2015).
O Governo do Estado de São Paulo, porém, se manteve firme em sua decisão até o dia 4 de dezembro de 2015, quando o governador Geraldo Alckmin anunciou a suspensão do plano de reorganização da rede. Segundo a página da Secretaria da Educação do Estado de São Paulo, o adiamento se deu “a fim de ampliar o diálogo com pais, alunos e comunidade escolar” (SÃO PAULO (ESTADO), 2015a). É importante notar que o anúncio se deu no mesmo dia em que foi publicada uma pesquisa de opinião pública, realizada pelo Instituto de Pesquisas Datafolha, em que se registrou o pior índice de avaliação do governo estadual desde o início da gestão Geraldo Alckmin (FOLHA DE S.PAULO, 2015). No dia seguinte, 5 de
19 Os números fornecidos pela Secretaria da Educação referiam-se a 194 escolas, enquanto a Associação dos
Professores do Ensino Oficial do Estado de São Paulo (APEOESP) contabilizava 205 unidades escolares. (VALOR ECONÔMICO, 2015)
dezembro de 2015, o Governo do Estado de São Paulo publicou um novo decreto, no. 61.692, que revogou o anterior.
É clara e completa, neste episódio, a dissociação entre as práticas de gestão democrática e a utilização de indicadores estatísticos: não houve um debate ou mesmo um esclarecimento público sobre a forma como foram feitas as análises ou sobre como se chegou às suas conclusões20. O Governo do Estado de São Paulo se comportou de forma autoritária, apegando-se à sua decisão como se a estatística tivesse o condão de assegurar, sozinha, a validade de qualquer argumento, e que a comunidade escolar deveria, simplesmente, tê-la aceito sem maiores questionamentos, como verdade absoluta. Tal atitude passou ao largo dos conceitos de gestão democrática, governança e accountability.
Ironicamente, em meio às ocupações de escolas e protestos de alunos, pais e professores, parece ter sido um outro dado estatístico o que precipitou o desfecho do caso: o índice de aprovação do governo estadual.
O episódio serve para mostrar que a redução de indicadores estatísticos a meros instrumentos para justificação de decisões políticas alheias à participação da comunidade é um recurso estreito, limitado e ineficaz. Esses índices deveriam constituir parte de um sistema muito maior de indicadores sociais, como fontes de informação para um debate mais amplo sobre as políticas públicas em educação: o papel da comunidade escolar, observando-se o trinômio que compõe a gestão democrática (participação – descentralização – autonomia) no uso das informações para o controle da gestão pública (governança e accountability) e a elaboração de decisões relacionadas ao rendimento escolar.
Nessa direção, Santana e Rothen (2014) fazem uma análise do Saresp e concluem que esta avaliação em larga escala tem sido utilizada como instrumento de controle do Estado sobre a educação básica, inserido em um contexto neoliberal de políticas públicas, e que tem tido consequências funestas para o conteúdo curricular. (SANTANA; ROTHEN, 2014). Segundo essa análise, ao se reduzirem ao papel de instrumentos classificatórios e punitivos da escola e dos profissionais de ensino (SANTANA; ROTHEN, 2014), o Saresp tem contribuído para a realimentação de uma espiral de desmotivação e ressentimento que não ajuda a melhorar a qualidade do ensino público.
20 Segundo a matéria publicada no jornal O Estado de S.Paulo de 1º. de dezembro de 2015, o documento da
Secretaria da Educação do Estado de São Paulo que descreve o estudo sobre os dados do Idesp que fundamentaram a reorganização da rede estadual não se encontra disponível publicamente, sendo necessário recorrer à Lei de Acesso à Informação para se obtê-lo. (O ESTADO DE S.PAULO, 2015)
Os autores, porém, vislumbram a possibilidade de que a comunidade escolar promova uma ruptura com essas práticas e efetivamente se apodere dos indicadores como uma ferramenta para promover a melhoria do rendimento escolar:
O Saresp, ou qualquer outra avaliação externa, só adquire sentido quando serve de base para intervenções e transformações que visem o aumento da qualidade da aprendizagem dos estudantes. Partimos do pressuposto, que não basta apenas constatar um mau resultado, é preciso discuti-lo, entendê-lo e fomentar ações para modificá-lo, por isso é preciso criar momentos para se discutir estes resultados na escola e aumentar os investimentos na área da educação (...)
A avaliação externa oferece dados que podem ser trabalhados junto com a equipe escolar; eles podem guiar ações de formação continuada que possam buscar avanços na aprendizagem dos alunos; se as avaliações não forem trabalhadas pelos profissionais da unidade escolar, pouco contribuirá para a melhoria da educação pública. (SANTANA; ROTHEN, 2014, p. 397).
Pode-se concluir, segundo os autores, que indicadores de avaliações externas não se contrapõem, necessariamente, à gestão democrática da educação. Eles deveriam operar, isto sim, como ferramentas de apoio à gestão:
(...) as avaliações têm potencial para serem trabalhadas de modo diferente e contribuírem para o aumento da qualidade da educação básica, elas podem servir de instrumentos para o diálogo, propiciando momentos de formação continuada dentro da escola. Para que o diálogo ocorra e os resultados possam ser trabalhados a fim de melhorar a qualidade da educação, é preciso que os sistemas de ensino não tenham como intenção responsabilizar as escolas pelos fracassos encontrados, nem que a sua intenção seja avaliar e supervisionar os professores. Um diálogo entre representantes de enfoques diferentes agregaria novos olhares para a avaliação externa possibilitando que ela se torne um instrumento mais criterioso e útil para a escola. Nesta perspectiva dialógica, a interação entre avaliação externa e escola se apresenta como uma via de mão dupla, na qual ambos têm algo a aprender um com o outro, cada um domina um saber e a partir da interação todos ganham. (SANTANA; ROTHEN, 2014)
Nessa mesma linha, há vários trabalhos que procuram compreender as relações existentes entre os indicadores provenientes de avaliações em larga escala, dados secundários, variáveis sócio-demográficas e outras informações primárias. O entendimento dessas relações pode indicar quais as características das unidades escolares que apresentaram desempenho acima da expectativa nas avaliações e que teriam algum tipo de correlação com seus resultados, trazendo à luz novos caminhos e possibilidades na elaboração de políticas públicas.
Um exemplo particularmente interessante desse tipo de análise refere-se ao trabalho de Lucchesi et al (2015), que focaliza o processo de escolha do diretor escolar e avalia seu impacto direto e indireto sobre o desempenho dos alunos no IDEB, considerando as avaliações de 2007 e 20011. O estudo, patrocinado pela Fundação Itaú, utilizou os microdados da Prova Brasil, do IDEB e do Censo Escolar, optando por uma abordagem longitudinal, metodologia distinta da que utilizamos no presente estudo. Embora as análises
não permitam concluir que há relação direta entre alguma das formas de provimento do cargo (eleição, seleção, concurso público, indicação e formas mistas) e a melhoria do IDEB, os pesquisadores demonstraram que há uma relação indireta. Por exemplo, os melhores índices referem-se a escolas cujos diretores permanecem na mesma escola por um período de tempo mais longo e que promovem a formação continuada de professores, características mais associadas a diretores eleitos ou selecionados através de concurso público do que a diretores que chegaram ao cargo por indicação.
Outro exemplo é encontrado em Parandekar, Oliveira e Amorim (2008), que identifica e analisa um conjunto de práticas adotadas pelas secretarias de educação de 12 municípios, que tiveram desempenho na Prova Brasil de 2005 acima do valor médio esperado em função do seu PIB per capita. Dentre as principais práticas identificadas pelo estudo, encontram-se: o acompanhamento, a capacitação e o desenvolvimento sistemáticos de professores da rede; a experiência prévia do secretário da educação como diretor escolar; a existência de processos de interação entre a comunidade e a escola, tanto como participação da comunidade em atividades escolares como também a escola operando como elemento transformador da comunidade; a atenção à educação inclusiva; a continuidade da equipe da secretaria de educação (redução da rotatividade).
É importante notar que as ações adotadas por essas secretarias de educação não necessariamente foram orientadas ao objetivo de elevar os indicadores de rendimento escolar. O que o estudo demonstra, ao contrário, é que houve uma série de práticas orientadas à melhoria de condições de ensino e aprendizagem, com a participação da comunidade escolar, que trouxeram, entre outros benefícios, a melhoria do desempenho na Prova Brasil.
Um terceiro exemplo desse enfoque analítico pode ser encontrado no trabalho de Artoni (2012), que estudou as políticas públicas voltadas à Educação no Campo e relacionou os indicadores de desempenho (IDEB e Prova Brasil 2007 e 2009) com o perfil socioeconômico e as taxas de abandono em escolas de ensino fundamental (4ª. e 8ª. séries) das redes municipais e estadual, localizadas no Estado de São Paulo, a partir de dados oficiais obtidos na página do INEP na Internet. A metodologia do estudo incluiu, ainda, uma reclassificação de escolas entre urbanas e rurais, segundo um critério alternativo ao utilizado pelo IBGE e proposto por Veiga (2003 apud Artoni). O estudo mostrou que há uma forte associação positiva entre o nível socioeconômico das escolas e os indicadores de desempenho, e que o critério de classificação do IBGE tende a produzir resultados piores para escolas localizadas em municípios ditos rurais, ao passo que, após a reclassificação proposta por Veiga (2003 apud Artoni), as escolas localizadas em municípios rurais passam a ter
desempenho comparativamente melhor (ARTONI, 2012). O estudo concluiu que escolas de pequenas cidades podem possuir desempenho mais destacado em função de uma maior participação dos pais na educação dos alunos, especialmente em famílias com perfil socioeconômico mais elevado (ARTONI, 2012).
Outro exemplo deste tipo de abordagem se encontra no trabalho realizado por Silva (2012), em 8 escolas municipais de Juiz de Fora que apresentaram variação positiva do IDEB das séries iniciais entre 2005 e 2007. O estudo concluiu que as escolas pesquisadas desenvolveram ações de melhoria do processo de ensino-aprendizagem que respeitavam a capacidade de aprendizado e as dificuldades dos alunos. Assim, a elevação do IDEB está associada a uma proposta pedagógica diferenciada, ao invés da aplicação de um conjunto de iniciativas orientadas exclusivamente à elevação do índice (SILVA, 2012). O estudo mostrou, porém, que entre os educadores das escolas estudadas persistia o desconforto e a ansiedade em relação às avaliações externas, em função do desconhecimento da forma como o IDEB é calculado, dos objetivos a que o indicador serve e pela desconfiança de que os resultados não se convertam necessariamente em ações de melhoria efetiva das escolas (SILVA, 2012), mostrando que é preciso esclarecer este público sobre as características dos indicadores e os benefícios que podem ser auferidos a partir de uma utilização adequada do seu conteúdo.
Como se vê, em que pesem as leituras críticas das avaliações em larga escala como instrumentos de poder (e que são pertinentes para a discussão sobre a forma como as políticas educacionais vêm ou não atendendo às necessidades da comunidade escolar), há, também, análises bastante aprofundadas dos resultados dessas avaliações e de sua correlação com outras fontes de dados, bem como a geração de outros estudos para o entendimento de quais fatores os influenciam. Estes trabalhos mostram que as avaliações de larga escala em educação deveriam estar mais integradas a outros indicadores sociais, pois dessa forma seria possível delinear um quadro mais amplo da questão educacional e revelar elementos com potencial de efetivamente aproximar as políticas públicas da realidade escolar.