As escolas foram selecionadas a partir dos resultados de proficiência do PROEB em Língua Portuguesa referentes ao ano de 2008, articulados com os indicadores socioeconômicos, que trataremos como Níveis Socioeconômicos (NSE) disponibilizados pelo Grupo de Avaliação e Medidas Educacionais (GAME42). Esta opção se explica por algumas razões. Primeiramente, a intenção foi contemplar em nossa pequena amostra realidades escolares diferentes em relação ao nível socioeconômico e aos resultados de proficiência por entendermos que a realidade contextual dos alunos pode interferir nos resultados cognitivos obtidos, e por entendermos ainda que, mesmo cerceadas por condições materiais desfavoráveis, as escolas podem driblar tais condições e produzir bons resultados. Existe ainda a possibilidade de a escola não produzir bons resultados a despeito de possuir um nível socioeconômico elevado. É nossa intenção verificar tais relações e tentar descobrir pistas que possam nos auxiliar a entender estas contradições. Embora não seja o objetivo principal de nosso trabalho, estes mecanismos de produção ou não de resultados improváveis podem evidenciar o que Maroy e Dupriez (2000) chamam de “regras do jogo” que os atores vão
42 Para maiores informações ver: SOARES, José Francisco; ANDRADE, Renato Júdice de. Nível
socioeconômico, qualidade e equidade das escolas de Belo Horizonte. Ensaio: Avaliação e Políticas Públicas em Educação. V.14 n.50. Rio de Janeiro jan./mar. 2006. Disponível em: <http://www.scielo.br. Acessado em 23/11/2008
157 estabelecendo e acordando no cotidiano escolar. Os resultados podem ser condicionados por inúmeros fatores. Em relação a este aspecto, Soares & Andrade (2006) explicam que:
Entre os fatores que impactam o desempenho cognitivo dos alunos da educação básica destacam-se sua família, as estruturas da sociedade e a escola que ele estuda. (...) Algumas escolas, públicas e privadas, pelas suas políticas e práticas pedagógicas conseguem fazer diferença no desempenho de seus alunos mesmo quando eles são socioeconomicamente desfavorecidos. (SOARES & ANDRADE, 2006, p. 01)
Outra justificativa para a elaboração dos quatro critérios para a seleção das escolas refere-se à natureza da pesquisa, sua delimitação e limitação em relação a tempo de realização, recursos e disponibilidade do pesquisador, impossibilitando um estudo com todas as escolas da rede estadual de Minas Gerais. Logo, esta opção intentou abranger e contemplar distintas realidades presentes no conjunto das escolas da rede. Em suma, todas as escolas, respeitando as devidas proporções e particularidades, se encaixam em um destes critérios, permitindo de certa forma, uma generalização dos achados da pesquisa.
Portanto, necessitávamos de informações sobre os níveis socioeconômicos das escolas para realizarmos o cruzamento desses dados com os dados de proficiência. A Secretaria de Estado de Educação ao ser consultada sobre o fornecimento das informações referentes à proficiência dos alunos nos testes agregadas à análise do nível socioeconômico, informou- nos que possuía apenas os índices de proficiência. Consultamos ainda o CAED de Juiz de Fora, responsável pelas avaliações, bem como sua página na internet, mas não obtivemos resposta. Recorremos, então, ao estudo desenvolvido por Soares e Andrade (2006). Consultamos uma planilha de dados e indicadores produzidos por esses autores para escolas de Belo Horizonte, dentre eles os dados referentes ao nível socioeconômico das escolas. A base de dados utilizada para a elaboração da planilha é composta por informações provenientes dos questionários socioeconômicos e pelas medidas de desempenho cognitivo dos estudantes das escolas de Belo Horizonte presentes no SIMAVE 2002 e nos vestibulares da UFMG em 2002, 2003 e 2004. O fato de não haver estes indicadores para outras localidades, foi um dos motivos que nos levaram a restringir a pesquisa somente a escolas de Belo Horizonte. Logo, foram selecionadas escolas com realidades distintas a partir das relações a seguir:
158 a) Níveis de proficiência alta versus Nível socioeconômico alto - 2 escolas
b) Níveis de proficiência alta versus Nível socioeconômico baixo - 2 escolas c) Níveis de proficiência baixa versus nível socioeconômico alto - 2 escolas d) Níveis de proficiência baixa versus nível socioeconômico baixo - 2 escolas
Primeiramente recortamos da planilha de indicadores socioeconômicos todas as escolas estaduais disponibilizadas, pois na mesma constavam dados de escolas federais, estaduais, municipais e privadas. A partir deste recorte, por eliminação, selecionamos as escolas que apresentavam os maiores e os menores índices socioeconômicos e agregamos aos dados de proficiência disponibilizados pela Secretaria de Educação. Após associarmos os indicadores socioeconômicos com os níveis de proficiência, selecionamos as oito escolas que mais evidenciavam os contrastes.
Optamos por desconsiderar o critério de que as escolas deveriam oferecer simultaneamente as três etapas avaliadas pelo PROEB (5º ano, 9º ano e 3º ano do Ensino Médio), pois este recorte reduziria as possibilidades de associação mais definida entre os indicadores contrastantes (NSE X Proficiência). Em seguida, também por eliminação e cotejam
! " "
E ! + D % * D !
4 # + " sponde à sequência de
seu pertencimento aos critérios “NSE X Proficiência” apresentados no quadro a seguir: Quadro 1- Contrastes entre nível sócio-econômico X índice de proficiência
ESCOLAS ESTADUAIS NSE PROFICIÊNCIA 5ª/ 9º MET
NSE ALTO / PROFICIÊNCIA ALTA .
Escola 1- NSE ALTO/PROFICIENCIA ALTA 0,689 275,4 (9°) A Escola 2- NSE ALTO/ PROFICIÊNCIA ALTA 0,392 279,1 (9º) A NSE ALTO / PROFICIÊNCIA BAIXA
Escola 3 – NSE ALTO/ PROFICIÊNCIA BAIXA 0,601 231,8 (5°) A Escola 4- NSE ALTO/PROFICIÊNCIA BAIXA 0,418 213,8 (5°) A NSE BAIXO/ PROFICIÊNCIA BAIXA
Escola 5- NSE BAIXO/PROFICIÊNCIA BAIXA -0,532 169,6 (5°) B Escola 6- NSE BAIXO/PROFICIÊNCIA BAIXA -0,518 151,8 (5°) A NSE BAIXO/ PROFICIÊNCIA ALTA (RELATIV)
Escola 7- NSE BAIXO/ PROFICIÊNCIA ALTA -0,326 260,9 (9°) B Escola 8 – NSE BAIXO/PROFICIÊNCIA ALTA -0,375 240,3 (9º) A
159 As quatro escolas que compõem o quesito “nível socioeconômico alto” estão localizadas em regiões e bairros centrais de 2 1 4 % $
E : # 9 ! ( 4 +
" ,9 ! J - " E % $ J ,
todas têm favelas ( 4 + 9
precária, bem distante da região central e de difícil acesso. Em síntese, as escolas podem assim ser dispostas:
Quadro 2- Localização das escolas
ESCOLAS CRITÉRIOS LOCALIZACÃO
ESCOLA 1 ( E1) NSE ALTO/PROFICIÊNCIA ALTA Central ESCOLA 2 (E2) NSE ALTO/PROFICIÊNCIA ALTA Central ESCOLA 3 (E3) NSE ALTO/ PROFICIÊNCIA BAIXA Central ESCOLA 4 (E4) NSE ALTO/ PROFICIÊNCIA BAIXA Central ESCOLA 5 (E5) NSE BAIXO/PROFICIÊNCIA BAIXA Periférica ESCOLA 6 (E6) NSE BAIXO/PROFICIÊNCIA BAIXA Periférica ESCOLA 7 (E7) NSE BAIXO/ PROFICIÊNCIA ALTA Periférica ESCOLA 8 (E8) NSE BAIXO/ PROFICIÊNCIA ALTA Central
Conforme estabelecido, as escolas escolhidas deveriam contemplar um dos níveis de atendimento avaliados pelo PROEB, a saber, 5° e 9°anos do Ensino Fundamental e 3° ano do Ensino Médio, não sendo necessário abranger todos. Portanto, ficaram assim constituídas:
Quadro 3- Etapa de atendimento das escolas
Etapa de Atendimento Frequência
1° ano Ensino Fundamental ao 5° ano Ensino Fundamental 02 1° ano Ensino Fundamental ao 9° ano Ensino Fundamental 03 1° ano Ensino Fundamental ao 9° ano Ensino Fundamental/Ensino Médio 01 6°ano Ensino Fundamental ao 9° ano Ensino Fundamental/Ensino Médio 02
*", " ! " &
! " & ( " 4
pesquisa nas escolas. Com o documento em mãos, procedemos ao agendamento para realização da pesquisa com os diretores das respectivas escolas.
160 Como técnica de coleta de dados nas escolas, o questionário foi escolhido para atender ao objetivo de traçar o perfil socioeconômico e cultural do diretor, conhecer a percepção que ele tem sobre seu trabalho, as condições nas quais ele o exerce e apreender sua percepção sobre a inserção e implicações das avaliações externas na sua práxis.
Aos diretores foram aplicados questionários seguidos pelas entrevistas. Os questionários não foram autoaplicáveis e, por isso, foi necessário o acompanhamento da pesquisadora. Nas escolas que possuíam vice-diretor foi feita apenas a entrevista. Esta decisão foi motivada pelo fato de não haver vice-diretores em todas as escolas.
O questionário se constituiu de 46 questões " : perfil socioeconômico e dados pessoais; condições de trabalho; gestão e percepção. Ainda que este instrumento seja por natureza objetivo, não prescinde do aspecto qualitativo, haja vis
" " A ; + " !
( .
Esse instrumento foi aplicado pela pesquisadora mediante agendamento prévio com cada diretor escolar, por telefone. Na maioria das ocasiões, o diretor não se encontrava, estava resolvendo algum problema interno ou externo ou estava em reunião na escola ou na Superintendência. Apesar da dificuldade em contactar o diretor, no momento em que obtivemos êxito, todos se demonstraram dispostos a participar da pesquisa. Houve escolas que mesmo com o agendamento prévio, ao chegarmos ao local, o diretor não se encontrava, sendo necessário remarcar a entrevista, como o caso da escola E7 que demandou três visitas da pesquisadora.
A composição d " ( " + ! " "
" A , ora por pessoas que demandavam algo do diretor (questões administrativas, assinaturas em documentos) ora por chamadas telefônicas, por vezes repetidas e longas. O ruído peculiar das escolas também interferiu e até mesmo prejudicou algumas entrevistas, dificultando um pouco a etapa da transcrição das falas. Em algumas escolas, a estrutura não oferecia um local apropriado e tranquilo para a realização das entrevistas sem interferências externas. Na escola E2, por exemplo, a quadra de esportes ficava ao lado da sala da direção e no momento da entrevista os alunos estavam jogando bola.
A aplicação do questionário também foi gravada possibilitando a captura de desabafos,
161
9 ! ", ! E (
enriqueceram as interpretações dos dados quantitativos.
Para a análise dos dados utilizamos o sistema de tratamento das informações que possibilitou o agrupamento delas e a elaboração de gráficos e tabelas ilustrativos. Para o trabalho de digitação, tratamento e composição do banco de dados foi utilizado o Software Statiscal Package for Social Sciences (SPSS), versão 12, que possibilitou a computação dos dados e a elaboração + ( , constituindo-se em um consolidado de informações de 120 páginas, contendo tabelas com as frequências simples das respostas dos diretores e gráficos. Em relação às entrevistas, o propósito foi ampliar e expandir as possibilidades de captura de informações, inclusive para melhor compreensão dos dados fornecidos pelo questionário. Com a população dos diretores, o objetivo foi subsidiar as informações extraídas do questionário na identificação da percepção desses sujeitos acerca das mudanças na escola e em seu trabalho, após a implantação das avaliações e as implicações relativas às demandas por resultados. Nas superintendências e na Secretaria de Educação, o objetivo foi colher informações sobre a política avaliativa, a dinâmica de divulgação dos resultados, as exigências feitas às escolas e aos seus diretores e a concepção de qualidade esperada das escolas. A partir destes dados, buscamos compreender a lógica que permeia as medidas avaliativas por parte da Secretaria e então cotejar com as informações advindas das escolas. Com os diretores, as entrevistas semiestruturadas seguiram-se à aplicação dos questionários. Os roteiros de entrevista foram elaborados com questões orientadoras, mas abertos à inserção livre por parte do pesquisador de novas indagações, conforme a conveniência e a pertinência. O roteiro do diretor foi composto por treze itens e foi utilizado também com os vices, com
al+ " A % &
& " J " , constituído de oito questões.43 Dessa maneira, para ambos os roteiros, muitas questões e informações ricas surgiram espontaneamente, extrapolando o roteiro previamente elaborado. Uma das peculiaridades deste instrumento é exatamente a flexibilidade permitida ao pesquisador ante o sujeito de sua pesquisa.
O roteiro do diretor foi composto de perguntas relativas à divulgação dos resultados das avaliações, à interpretação dos dados, aos procedimentos de intervenção para melhoria do desempenho dos alunos nos testes, bem como questões mais subjetivas relacionadas às mudanças
162 ocasionadas na prática do diretor a partir das demandas avaliativas e aos mecanismos de incentivo promovidos pela Secretaria de Estado de Educação.
As entrevistas foram realizadas em ambiente de trabalho. Com os diretores e vice-diretores, nas próprias escolas e na SEE e nas SRE procedeu-se às entrevistas com os diretores de avaliação. As entrevistas com os responsáveis pelas avaliações nestas duas Superintendências, também chamadas de Metropolitanas, foram determinadas pelo pertencimento das escolas às respectivas regionais.
As entrevistas foram gravadas com o prévio consentimento dos interlocutores que assinaram um termo de compromisso e permissão para a utilização e divulgação dos dados. Todas as entrevistas foram realizadas e transcritas pela pesquisadora. Certamente demandou tempo e esforço que foram compensados pela intimidade com os conteúdos ocasionada por prolongada exposição e contato, desde a sua realização à transcrição e posterior tratamento dos dados. A
d ! " 9 >==
"(+ . Utilizamos então o instrumento de tratamento de dados do software NVivo, versão 7, que a partir de códigos (nodes) previamente estabelecidos possibilitou a apreensão de temas recorrentes nos depoimentos, os quais foram agrupados por
analogia aos nodes! + ( D 4 ,
abordado nos capítulos iniciais. As categorias identificadas foram: intensificação do trabalho, avaliação, resultados, responsabilização, autonomia, constrangimentos. Depois de organizado o banco de informações, procedemos à seleção de excertos que melhor subsidiassem e ilustrassem a interpretação dos dados.
A partir destes excertos, nos debruçamos sobre a percepção dos interlocutores diante das diferentes questões abordadas. Ressaltamos que, neste quesito, os depoimentos não são tomados como absolutos e representativos da realidade de fato. É sabido que dentro das limitações e possibilidades desta forma de coleta de dados, os depoimentos podem estar condicionados a diferentes circunstâncias: podem ser previamente elaborados e pensados para atender conveniências construídas socialmente, podem estar adequados a uma expectativa prévia, podem servir à manutenção de uma imagem, de um ideário; podem ser conformados e cerceados pelo receio às punições e sanções. Enfim, ressaltamos que as interpretações são também intermediadas e perpassadas pela subjetividade inerente ao pesquisador. Isto deixa em aberto a possibilidade de outras interpretações e leituras.
A relação de interlocutores e as siglas que identificarão suas falas se apresentam no quadro a seguir:
163 Quadro 4- Relação de Interlocutores
NATUREZA LOCUS SIGLA CARGO SIGLA
Escola 1 E1 Diretor D1
Escola 2 E2 Diretor D2
Escola 3 E3 Diretor D3
QUESTIONÁRIOS E ENTREVISTAS Escola 4 E4 Diretor D4
Escola 5 E5 Diretor D5
Escola 6 E6 Diretor D6
Escola 7 E7 Diretor D7
Escola 8 E8 Diretor D8
Escola Vice-Diretor E VDE
Escola Vice-Diretor E VDE
ENTREVISTAS Escola Vice-Diretor E VDE
Secretaria Estado Educação SEE Diretor Avaliação SEE DASEE
Metropolitana A MA Diretor Avaliação MA DAMA
Metropolitana B MB Diretor Avaliação MB DAMB