Em relação à revisão da literatura sobre as concepções de avaliação de alunos universitários brasileiros, destacamos alguns pontos importantes:
a) Mesmo que poucos estudos tenham conseguido captar e inter-relacionar concepções múltiplas de avaliação dos alunos, ficou evidente a partir desta revisão que uma gama extensa de concepções de avaliação foi identificada nas experiências e pensamentos de estudantes universitários brasileiros. Estão incluídas aqui a consciência de responsabilização do aluno, responsabilização da escola, melhora e irrelevância. A concepção de responsabilização aparece oito
vezes nos estudos, a de melhora sete vezes e a de irrelevância cinco vezes. Alertamos para o fato de que a concepção de melhora aparece algumas vezes
como uma “situação ideal” ou um “posicionamento teórico” e não prático dos
envolvidos no processo. Assim, a concepção dominante parece ser uma reação emocional negativa (irrelevância) com relação à responsabilização do aluno. De forma secundária aparece também uma concepção de avaliação para melhora. b) Existem evidências de que formas tradicionais de práticas avaliativas (ex:
provas) são mais fortemente associadas com o propósito de responsabilização, enquanto tipos de avaliação mais alternativos e informais (ex: autoavaliação e avaliação feita pelos colegas) parecem estar relacionados com a concepção de melhora. Por fim, existem também evidências de que as práticas avaliativas formais dominam a sala de aula e as práticas universitárias no Brasil.
c) Considerando especificamente a revisão da literatura que fizemos sobre as concepções de avaliação dos alunos, constatamos uma carência de publicações de trabalhos da área em revistas científicas. Em primeiro lugar, ainda não existe
uma cultura no Brasil quanto à publicação de trabalhos do tipo “estado da arte”,
mesmo que em grande parte as dissertações de mestrado e as teses de doutorado apresentem revisões da literatura. Entendemos que a publicação desses estudos facilitaria muito a divulgação da produção científica da área. Além disso, durante a realização dessa revisão, muitos trabalhos foram encontrados somente no formato de dissertações ou teses. Por fim, os sistemas de busca e armazenamento de trabalhos no Brasil ainda apresentam muitos problemas. Como às vezes encontramos somente os resumos dos estudos, esses trabalhos não foram incluídos na revisão da literatura. A existência de iniciativas como a
“Biblioteca Digital Brasileira de Teses e Dissertações” já representa um avanço.
Mas mesmo nesse caso infelizmente nem todas as universidades disponibilizam ou atualizam seus dados nesse site. Destacamos ainda outras dificuldades adicionais como o fato da algumas universidades não liberarem o acesso aos trabalhos na íntegra.
d) Percebemos na revisão da literatura sobre as concepções de avaliação uma predominância de métodos de pesquisa qualitativos. Entendemos que isso reflete no Brasil não só a produção científica nesse campo de estudos, mas toda a produção acadêmica brasileira. Além disso, as poucas pesquisas encontradas na revisão que apresentavam métodos quantitativos utilizavam apenas métodos de análise muito simples como frequências/porcentagens ou no máximo o uso de
estatística descritiva, demonstrando um descompasso com a literatura internacional da área. Assim, apontamos como uma possível direção para as pesquisas sobre as concepções de avaliação de alunos no Brasil o uso de métodos mais robustos de análise de dados, principalmente de estatística multivariada (esse argumento também é válido para outras áreas da pesquisa educacional). Os pesquisadores deveriam dar mais atenção ao uso de técnicas como Análise Fatorial (Exploratória e Confirmatória), Escalonamento Multidimensional, Modelagem de Equações Estruturais, Teoria de Resposta ao Item, dentre outros métodos. A seguir, discutimos de forma um pouco mais aprofundada a questão dos métodos quantitativos. Essa discussão é importante, pois o uso de métodos quantitativos na pesquisa educacional ainda é incipiente.
Primeiramente, destacamos que as pesquisas baseadas em abordagens quantitativas têm sido em grande parte ignoradas por estudiosos da área educacional. Alguns entendimentos equivocados podem contribuir para essa resistência entre os pesquisadores. Segundo Gatti (2004), é comum encontrar a afirmação de que até meados do século passado predominavam no Brasil estudos de natureza quantitativa, que foram batizados inadequadamente de positivistas ou tecnicistas. Essa afirmação expressa o fato de que durante décadas o uso de métodos de pesquisa quantitativos foi visto por boa parte da comunidade acadêmica brasileira como um resquício do positivismo ou simplesmente uma metodologia acrítica e desprovida de profundidade. Atualmente, a principal crítica se refere a uma postura política neoliberal. Afonso (2002), por exemplo, afirma que a teoria da avaliação, que vinha evoluindo com base em epistemologias anti-positivistas e pluralistas, sofre hoje um novo viés positivista. Isso ficaria evidenciado pela adoção de uma política neoliberal baseada em indicadores mensuráveis.
Destacamos que a resistência com relação ao uso de métodos quantitativos mostra um descompasso com a literatura de metodologia científica, já que há algum tempo se reconhece a complementaridade entre os métodos quantitativos e qualitativos. Na literatura, fica evidenciada a necessidade de adequação do método de acordo com o objetivo da pesquisa. Dessa forma, não existem métodos de pesquisa que sejam bons ou ruins em si mesmos. Nessa direção, Minayo e Sanches (1993) apontam que não devemos construir um continuum entre a pesquisa quantitativa e a qualitativa, tendo num polo a objetividade e no outro a subjetividade. Assim, nenhuma pesquisa é puramente quantitativa. A interpretação das análises estatísticas envolve teoria e
também um processo subjetivo. Já Gatti (2004) faz as seguintes colocações: uma boa análise irá depender de boas perguntas feitas pelo pesquisador; dados como tabelas em si não dizem nada, pois o significado dos resultados é dado pelo pesquisador em função de sua teoria; deve-se conhecer o contexto em que os dados foram produzidos e a área em que os problemas estudados se situam. A autora ainda destaca que os métodos quantitativos podem ser muito úteis na compreensão de vários problemas educacionais, lembrando que a combinação com métodos qualitativos pode enriquecer a compreensão dos fenômenos.
Assim, os dados não “falam por si só”. Dessa forma, toda pesquisa quantitativa
seguiria o seguinte processo: qualitativo quantitativo qualitativo. No início da pesquisa, devemos usar teoria, construir hipóteses e planejar o estudo. No segundo momento, podemos utilizar um método quantitativo coletando dados por meio de algum instrumento (que se foi bem elaborado, também usou teoria). No final, temos que recorrer novamente à teoria para atribuir sentido e interpretar os dados. Obviamente existem pesquisas quantitativas que merecem ser criticadas por carecerem de uma base mais sólida. Algumas pesquisas educacionais de origem estadunidense, por exemplo, são bastante criticadas por possuírem técnicas estatísticas muito avançadas, mas serem pobres do ponto de vista teórico-interpretativo. No entanto, no atual nível de conhecimento científico, algumas críticas com relação aos métodos quantitativos do tipo
“os estudantes não podem ser resumidos a números e tabelas” são consideradas no
mínimo ingênuas. Além disso, determinadas críticas direcionadas às pesquisas quantitativas (ex: pobreza teórica) também são válidas para pesquisas qualitativas de baixa qualidade. Ou seja, não é o método que garante um trabalho bem realizado.
Finalmente, com relação à atual configuração do uso de métodos quantitativos na educação, Gatti (2004) realizou um criterioso levantamento sobre a produção brasileira nos últimos anos. Foram analisados todos os números publicados no período de 1970-2004 dos periódicos: Revista Brasileira de Estudos Pedagógicos (Inep/MEC), Cadernos de Pesquisa (Fundação Carlos Chagas), Educação e Realidade (UFRS), Educação e Sociedade (Cedes/Unicamp), Revista Brasileira de Educação (ANPEd), Estudos em Avaliação Educacional (Fundação Carlos Chagas), Ensaio (Fundação Cesgranrio). A autora chegou às seguintes conclusões: atualmente, na pesquisa educacional, poucos estudos empregam metodologias quantitativas; o uso de bases de dados existentes sobre educação é muito pequeno (isso seria uma evidência da dificuldade dos educadores em lidar com esse tipo de dados); existe uma dificuldade de leitura crítica dos trabalhos que utilizam métodos quantitativos; o uso de dados
quantitativos na pesquisa educacional no Brasil nunca teve uma tradição sólida; entre os poucos estudos que utilizavam métodos quantitativos, a maioria empregava apenas análise descritiva de tabelas de frequências, alguns poucos correlações e raríssimos estudos empregavam análise multidimensional (chegamos a essa mesma conclusão na nossa revisão da literatura sobre as concepções de avaliação dos alunos); os estudos quantitativos na área de educação que usam técnicas de análise mais sofisticadas na maioria das vezes não são realizados por educadores, e sim por profissionais com formação em outras áreas (isso pode ser considerado um indício de que a formação acadêmica na área da educação não tem contemplado os métodos quantitativos); no campo de estudos da avaliação educacional se encontra a maioria dos trabalhos quantitativos nos últimos anos, sendo nessa área que modelos de análise mais sofisticados vêm sendo usados (teoria da reposta ao item, modelos de análise hierárquica, estudos de relações multivariadas, entre outros).
Nesse sentido, acreditamos que nosso trabalho justifica-se pela necessidade de suprir uma lacuna existente nas pesquisas educacionais brasileiras, inclusive nas pesquisas sobre as concepções de avaliação dos alunos: o pouco uso de metodologias quantitativas, principalmente de métodos de análise de dados mais robustos. Por isso, decidimos analisar as concepções de avaliação dos alunos do ensino superior por meio de um questionário denominado Students’ Conceptions of Assessment - version VI - SCoA-VI (BROWN, 2006) (ANEXO A), usando os seguintes métodos quantitativos: Escalonamento Multidimensional, Análise Fatorial Exploratória e Confirmatória, Análise de Variância, Modelagem de Equações Estruturais. Tais métodos se mostram adequados para retratar grandes coletivos, para conhecer grandes grupos de alunos ou escolas. O próximo capítulo descreve de forma mais detalhada o SCoA e o capítulo 5 apresenta todos os métodos quantitativos citados.