Economic Viability of Transnistria

Além dos testes para aferição do rendimento escolar, são elaborados também instrumentos de coleta de dados, sobre o perfil dos alunos, educadores, pais e ou responsáveis e das escolas. Estes instrumentos têm por objetivo o levantamento recorrente de informações sobre o perfil socioeconômico dos alunos e sua família, e do contexto em que o aluno está inserido.

Na avaliação em larga escala normalmente estes instrumentos de coleta se resumem a questionários que são respondidos pelos participantes da avaliação. Nos programas de avaliação pesquisados, observamos que a predominância recai sobre o questionário survey, que, segundo Kerlinger (1964), consiste em uma coleção de dados de uma população ou parte para verificar a incidência relativa, a distribuição e as relações de fenômenos que ocorrem naturalmente. E de acordo com Bryman (1989), envolve a reunião de dados em uma quantidade de unidades, usualmente em um tempo único, com o objetivo de coletar sistematicamente um corpo de dados quantificáveis em conexão com certo número de variáveis que são examinadas para que se diferenciem padrões associativos.

Tem como vantagens os seguintes aspectos: produzem resultados mais rapidamente, não são influenciados pela presença do pesquisador, oferecem segurança de anonimato e são mais baratos que outros métodos. Porém, caracterizam-se como desvantagens o fato de as questões poderem ser interpretadas de modo muito diferenciado, de os dados serem superficiais e afetados pelas características dos respondentes.

Sendo assim, o questionário deve ter como propósito geral, um objetivo específico central, além dos objetivos secundários relacionados a esse objetivo central. Segundo Vianna (1998), o ponto inicial do planejamento de uma avaliação reside na fixação dos seus objetivos.

Um programa de avaliação deve coletar o maior número possível de dados de forma a compor o perfil que caracterizará o aluno avaliado em diversas dimensões, assim a análise dos dados permitirá a compreensão de seu desempenho e áreas distintas. As informações obtidas nos questionários dos programas de avaliação em larga escala, por exemplo, devem permitem o cruzamento dos dados da proficiência média obtida pelos alunos nos testes de aferição de rendimento escolar com os dados, por exemplo, do perfil socioeconômico.

No entanto, Vianna (1998) destaca que um dos aspectos críticos dos programas de medidas é a “comparabilidade dos instrumentos empregados” uma vez que não se percebe a similaridade na construção dos instrumentos, o que, consequentemente, gera um quadro confuso de informações que dificulta a interpretação dos dados pelos avaliadores e ou pesquisadores, não permitindo a comparação dos alunos avaliados.

Esta falta de planejamento prévio pode ser observada no questionário do SAEB, por exemplo, no que se refere à repetência e evasão, até o ano de 2005 foi aplicado, utilizando amostras independentes que não identificam o aluno, não permitindo assim estudos longitudinais do mesmo grupo de alunos. Embora o MEC tenha garantido a aplicação em anos consecutivos em um mesmo grupo de escolas para que estudos similares pudessem ser realizados, estes ainda não ocorreram.

Segundo Alves & Ortigão (2003), em pesquisa realizada com os dados do SAEB 2001: “Os questionários dos alunos perguntavam se eles tinham repetido de série e quantas vezes, não oferecendo informações sobre a época e as condições em que esta ocorrera.” Este fato faz com que se torne impossível vincular a repetência às variáveis da escola e do professor. A mesma limitação é citada em pesquisa realizada por Ferrão & Fernandes (2003) onde eles citam que: “O SAEB não é especificamente desenhado para investigar a eficácia escolar, pois não existe mensuração do conhecimento prévio do aluno.” E também por Franco que descreve, não só a preocupação com a elaboração dos questionários, como também a forma como são comparáveis as variáveis, como citamos:

Não há qualquer previsão de estudo de avaliação por comparação entre o modo como os questionários mensuram os construtos privilegiados e o modo como esses

construto estão realmente medindo este construto? Será que os itens alocados nos questionários dos alunos para mensurar “capital cultural” estão realmente medindo este construto?... Na falta deste tipo de validação, o que pode ser feito é usar o bom senso e adaptar escalas para populações distintas da população de alunos, professores e diretores brasileiros. É licito considerar que estas estratégias podem ser, em muitos casos, insuficientes, devido às diferenças do contexto brasileiro em relação ao contexto em que a escala foi validada (FRANCO, CRESO, 2001, pgs. 129 e 130).

Para Vianna (1998) a análise dos instrumentos utilizados hoje no meio educacional, como medidas de rendimento escolar, revela níveis distintos de qualidade técnica. Sendo poucas as avaliações que, conseguem medir aquilo a que realmente se propõem. Chama-nos a atenção esta situação, uma vez que instrumentos de coleta de dados mal elaborados influenciam diretamente nos resultados acadêmicos para os quais a avaliação educacional pretende apontar rumos. Para Vianna (1998) o problema não reside “neste ou naquele tipo de prova, mas na ausência do domínio da tecnologia dos instrumentos de medidas educacionais”.

Vianna (1998) defende que, o êxito de um programa de medidas educacionais, depende da definição prévia de vários elementos, aos quais destacamos: definição dos objetivos; tomada de decisão sobre quais instrumentos a serem utilizados; e seleção dos instrumentos que mensurem um conjunto de variáveis específicas de acordo com os objetivos que se pretende alcançar.

Neste sentido, destacamos que, não basta enumerarmos uma lista de instrumentos necessários a uma avaliação educacional, sem, preocuparmos com a qualidade técnica destes instrumentos, até porque eles variam de acordo com os objetivos da avaliação.