Which factors determine the usefullness of risk assessments?

Para cumprir um dos objetivos deste estudo, que é identificar e quantificar o efeito de mudanças ocorridas nas características observáveis e não-observáveis (e no retorno destas características) individuais, familiares e escolares sobre as mudanças no desempenho escolar ao longo de 1997 e 2005, optamos pela utilização de técnicas empíricas de decomposição baseadas em simulações contrafactuais. Esta metodologia é definida por Barros et al. (1995) da seguinte forma:

As Técnicas Empíricas de Decomposição têm por objetivo organizar a evidência empírica sobre as variações num dado resultado de um dado sistema, procurando relacioná-las a concomitantes variações nas

características dos componentes do mesmo. A idéia básica subjacente a estas técnicas é o fato de que o resultado de um sistema varia se, e somente se, a(s) característica(s) de algum(ns) de seus componentes varia(m). Assim, Técnicas Empíricas de Decomposição constituem fundamentalmente um método contábil que permite determinar que parcela das variações empiricamente observadas no resultado do sistema advém de concomitantes variações em cada uma das características dos componentes que formam este sistema. (p.35)

No caso deste estudo, o “sistema” é construído pela relação entre o desempenho obtido pelos alunos nos exames de proficiência e os fatores ou as características associadas a este desempenho. Na literatura educacional, esta relação é comumente modelada por meio de uma função de produção educacional. Como resultados desta função, temos o grau de sensibilidade do desempenho escolar aos insumos individuais, familiares e escolares inseridos neste processo (representado pela estrutura de coeficientes da regressão) e o componente não-explicado (o resíduo) que, em geral, é atribuído às características não- observáveis pelo pesquisador, mas que exercem influência sobre o aprendizado do aluno. O uso das técnicas de decomposição baseadas em simulações contrafactuais permite, portanto, mensurar o impacto da variação em cada um dos componentes da função de produção educacional (insumos, coeficientes e resíduo) sobre as variações intertemporais ocorridas no desempenho escolar (entendido como o produto desta função). Isto é feito através da imputação de dados, como pode ser visto na DIAG. 2:

DIAGRAMA 2 – Esquema da microssimulação contrafactual Dados Imputados Implicação política SIMUL A ÇÃO C O NTR A FAC T

UAL Teoria Dados

Especificação do

Modelo Estimação do Modelo Implicação política

E C ONOM E T RI A CLÁS SI CA Teoria Dados Especificação do

Modelo Estimação do Modelo

Fonte: adaptação feita com base no programa do curso de microssimulação contrafactual ministrado por Barros, R e Franco, S. (2006).

Como pode ser visto pela DIAG. 2, a diferença entre a econometria clássica e a micro- simulação contrafactual está na existência de dados imputados, também conhecidos como dados contrafactuais. Observa-se que em ambas há um aporte teórico por trás da especificação do modelo e são necessários dados para que o modelo seja estimado.

Neste estudo, utilizamos o método de decomposição da distribuição relativa e as simulações contrafactuais elaboradas por Oaxaca-Blinder (1973) e Junh, Murphy e Pierce (1993), amplamente utilizados nos estudos sobre desigualdade de renda. O uso de simulações contrafactuais é bastante instrutivo por isolar cada efeito dos demais em contextos que envolvem processos multifatoriais, como é o caso da relação entre o desempenho cognitivo e seus fatores associados41. A formalização destas metodologias e a integração das mesmas aos dados educacionais são elaboradas separadamente nos capítulos

41As técnicas de decomposição possuem uma estreita relação com as técnicas de padronização comumente utilizadas

nos estudos demográficos, na medida em que recorrem a uma distribuição padrão (ou referência) para isolar o efeito de características que afetam a comparação direta dos resultados de medidas-síntese entre dois períodos, grupos ou regiões.

onde são apresentados os resultados. Entendemos que esta estrutura facilita a compreensão do método e a interpretação dos resultados obtidos pelos mesmos.

4 ANÁLISE COMPARATIVA DAS MUDANÇAS NA

DISTRIBUIÇÃO DO DESEMPENHO ESCOLAR ENTRE

1997 E 2005

Na análise da evolução do desempenho escolar médio no período 1997-2005, apresentada na seção 2.3, capítulo 2, constatamos que os estudantes da educação básica brasileira apresentaram resultados mais baixos nos exames de proficiência escolar. O declínio e a manutenção do desempenho escolar médio em níveis abaixo do que é considerado suficiente para a 4ª série do ensino fundamental – 225 pontos em matemática42 – suscita questões acerca dos fatores que podem ter contribuído para este processo. Antes de explorarmos esta questão43, procuramos entender um pouco mais sobre as mudanças ocorridas nos escores que medem a proficiência escolar dos alunos entre 1997 e 2005. Como o desempenho escolar médio é uma medida-resumo da distribuição de freqüência do desempenho de um conjunto de alunos, a redução desta medida pode refletir uma piora nos resultados educacionais do conjunto de alunos como um todo ou uma piora no desempenho de algum segmento deste conjunto de alunos – por exemplo, uma redução no desempenho escolar dos alunos com maiores dificuldades de aprendizado e, portanto, localizados no segmento inferior da distribuição. Neste cenário, o declínio do desempenho escolar seria acompanhado de um aumento na desigualdade educacional.

Para avaliar estes pontos, utilizamos o método da distribuição relativa, desenvolvido por Handcock e Morris (1999). Este método compara e sintetiza toda diferença existente entre duas distribuições dos escores definidas em dois pontos no tempo (por exemplo, as diferenças entre t0 e t1) e a decompõe nas parcelas atribuídas ao efeito de mudanças na localização (nível) e dispersão (distribuição). Neste sentido, o estudo elaborado neste capítulo traz novos elementos para o debate sobre o declínio do desempenho escolar médio observado nos últimos anos.

42

Movimento Todos pela Educação, 2008.

43

O capítulo se divide em três seções. Na primeira seção, apresentamos o método da distribuição relativa. Na segunda seção, apresentamos e analisamos tecnicamente os resultados obtidos por este método. Por fim, procuramos fazer uma síntese dos resultados encontrados e uma discussão com o debate existente na literatura.