Private Equity i Europa

Segundo Sigot (2004, p.110), “O teste de escolha múltipla é a forma mais comum de avaliar a compreensão em leitura...”. Para Bordón (2000, p. 116) trata-se de “um dos procedimentos mais frequentemente adotados para a obtenção de respostas fechadas...”87. Além disso, constatamos em nossa pesquisa de mestrado (KANASHIRO, 2007) que a maior parte das questões de língua espanhola dos vestibulares da região sudeste do Brasil constantes no corpus analisado era do tipo de múltipla escolha.

Esse tipo de teste consiste na apresentação de um enunciado, seguido de alternativas para que o avaliado selecione a opção correta. Os testes de múltipla escolha podem assumir algumas variações (VIANNA, 1982): com resposta única, com várias respostas possíveis, enunciados com lacunas e alternativas contendo as possíveis respostas para preencher os espaços, item pictórico (as alternativas apresentam fotografias, mapas, gráficos) etc.

Destacamos a distinção entre teste construído pelo professor e teste padronizado. Este procura avaliar um público bem mais amplo, é organizado por grupos especializados, utiliza padrões e tem um maior rigor científico, diferente daquele que tem menor abrangência, seja quanto ao número de pessoas ou quanto aos conhecimentos e habilidades avaliados. Para Lindman (1987, p. 100), os testes padronizados

destinam-se a ser úteis numa multidão de situações e sistemas escolares, cujos objetivos e conteúdo podem variar consideravelmente. Em geral um teste padronizado cobre uma faixa muito extensa de finalidades e conteúdo do que faria um teste objetivo construído pelo professor a fim de avaliar o aproveitamento numa unidade particular de trabalho. [...]

Os comentários seguintes considerarão as questões de múltipla escolha dentro do âmbito dos testes padronizados. Vale lembrar que muitas características dos testes padronizados podem e devem ser consideradas na elaboração de questões de múltipla escolha pelo professor.

87 _{No original: “uno de los procedimientos más frecuentemente adoptados para la obtención de respuestas}

Bachman e Palmer88 (1996 apud TUMOLO e TOMITCH, 2007) descrevem três etapas para a construção dos testes de múltipla escolha:

a) planejamento: etapa em que se define o que se quer medir;

b) operacionalização: fase de elaboração de itens procurando atingir o que foi planejado;

c) administração: fase de revisão dos testes, isto é, o teste é colocado à prova.

Eguiluz Pacheco e Eguiluz Pacheco (2005) relatam que para construir um banco de questões para as provas de compreensão leitora do Diploma de Español como

Lengua Extranjera (DELE), os responsáveis pela avaliação inicialmente selecionam as

propostas dos elaboradores. Em seguida, o material selecionado passa por testes e é incorporado ao banco com os resultados obtidos. A avaliação do teste ocorre com indivíduos que estão acima do nível exigido, no nível exigido e abaixo dele. O resultado desse procedimento permite classificar os itens em alto grau de dificuldade, os que estão próprios ao nível e aqueles muito fáceis. Na sequência, os responsáveis pela avaliação do teste recebem uma planilha para expressar as características do público receptor, do texto ou do suporte da prova, comentar as alternativas e os resultados, além de manifestar sugestões. Na planilha também se deve quantificar as porcentagens obtidas, comentar as características das alternativas quanto às dificuldades detectadas, entre outros dados.

Nesse sentido, segundo Gabriel e Frömming (2002) e Vianna (1982), o elaborador de questões de múltipla escolha deve:

• ter domínio da área a examinar, ou seja, ter conhecimento do assunto para que elabore alternativas plausíveis e atrativas;

• compreender os objetivos do teste, definir se o teste assumirá caráter eliminatório, visará a avaliar ao grau de aproveitamento de um grupo ou diagnosticar os conteúdos defasados, por exemplo;

• compreender as características dos candidatos; • conhecer o idioma, construindo enunciados claros;

88 _{BACHMAN, L.; PALMER, A. Language testing in practice. Oxford, UK: Oxford University Press,}

• conhecer a técnica do item que exige alguns cuidados especiais como discorreremos mais adiante.

Sobre a escolha do texto, Eguiluz Pacheco e Eguiluz Pacheco (2005, p. 1031- 1033) revelam que é importante:

• evitar referências políticas, temas polêmicos ou delicados, visões negativas de algum país;

• não recorrer a textos que abordem temas muito regionais, com muitas alusões a nomes e lugares;

• selecionar textos que tenham suficiente originalidade e que não permitam responder as questões sem a leitura prévia do texto;

• selecionar textos que apresentem uma estrutura mais ou menos fechada, com certa autonomia de significado que não exija chaves extratextuais para sua compreensão;

• que os textos sejam autênticos, não sejam criados para fins avaliativos, embora se considere a possibilidade de adaptação dos textos;

• selecionar textos adequados para o nível e para o tipo estabelecido no formato da prova;

• selecionar textos bem elaborados, evitando, por exemplo, temática sobre termos estrangeiros.

Embora esses aspectos possam ser válidos para qualquer avaliação, entendemos ser fundamental que os professores de LE os tenham presentes no momento de selecionar textos para serem usados em avaliações específicas de outros idiomas que não o materno.

Com relação à técnica dos itens anteriormente mencionada, Eguiluz Pacheco e Eguiluz Pacheco (2005, p. 1033-1035) afirmam que os testes devem observar alguns aspectos:

• respeitar a ordem linear dos textos89;

• a formulação das alternativas deve ser breve;

• deve-se evitar interferências entre as perguntas de um mesmo texto para que uma não possa ajudar a verificar a resposta das outras;

• evitar que se possa dar a resposta sem a leitura do texto; • a formulação da questão deve ser clara e precisa;

• a dificuldade não consiste em acrescentar detalhes errôneos no enunciado;

• deve-se fazer referências diretas ao conteúdo do texto e não à opinião do avaliador;

• deve-se evitar ambiguidade na formulação de perguntas e das opções de forma que somente uma seja correta;

• deve-se evitar a presença de determinadas marcas linguísticas como

principalmente, exclusivamente etc, que provoquem a escolha ou o

descarte imediato de uma opção;

• deve-se evitar enunciados com assertivas negativas, ou então, quando não for possível evitar esse tipo de questão, o enunciado deve atentar para o caráter de negação do enunciado (por exemplo, “Escolha a resposta INCORRETA”);

• as opções devem ter equilíbrio de extensão e complexidade. Devem, portanto, apresentar todas as mesmas estruturas, ou que todas sejam diferentes, mas não deve conter duas opções similares e uma diferente. Vianna (1982) afirma que a tarefa de elaborar itens é uma arte, já que exige criatividade e talento do construtor, além de esforço e tempo.

Conforme Woodford (1991), existem vantagens e desvantagens em utilizar esse instrumento nas verificações de compreensão leitora. Entre as vantagens figura o fato da rapidez na correção, sobretudo em situações que apresentam muitos candidatos (como provas de proficiência, vestibulares e concursos) e dispõe-se de pouco tempo para divulgação dos resultados. Além disso, segundo o pesquisador, quando bem elaborados e provados, os testes de múltipla escolha apresentam alto grau de confiabilidade90. Por outro lado, suas desvantagens são o fato de limitar-se a avaliar a compreensão e a dificuldade em elaborar bons testes. Outra crítica às provas de múltipla escolha é sua

90 _{Segundo o QECR (CONSELHO DA EUROPA, 2001) a confiabilidade corresponde à qualidade}

constante de uma avaliação, isto é, implica a consistência e a estabilidade na obtenção dos resultados. Ver 2.1.2.3. Tipos de provas na área de LE e seus requisitos, p. 70.

falta de autenticidade, já que nenhum indivíduo avaliado precisa escolher a alternativa correta numa comunicação real. Entretanto, deve-se levar em conta a inviabilidade de ficar horas entrevistando cada aprendiz a fim de verificar o quanto compreendeu de um texto e que estratégias utilizou, sobretudo quando há um grande número de pessoas a serem avaliadas. Além disso, Bordón (2000, p. 117) ressalta que é preciso considerar que a própria situação de “fazer uma prova é uma tarefa autêntica para qualquer aprendiz de língua estrangeira”91

Como já abordamos na parte de conceituação de avaliação, medida e testes, nem todo teste atende aos propósitos da avaliação, assim como com nem toda avaliação se fundamenta em resultados dos testes. Contudo, segundo Hoffmann92 (1997, apud SILVA, M.C., 2002, p. 181) a aplicação do teste pode ser “um procedimento investigativo”, “capaz de iluminar o processo mais abrangente da avaliação”. Tudo isso dependerá de como os resultados serão utilizados.

No caso específico das provas de vestibular em língua estrangeira, cada instituição de ensino superior tem liberdade para selecionar o conteúdo e a(s) habilidades a serem avaliados, bem como a quantidade e o tipo de questão (dissertativa, de múltipla escolha etc.) em seus processos seletivos. O Enem apresenta somente questões de múltipla escolha (180 questões, sendo 5 de língua estrangeira). De nosso ponto de vista, é importante ressaltar que conviria estabelecer vínculos entre o que dizem os documentos oficiais referentes ao ensino médio e as habilidades e conhecimentos relevantes para que o aluno ingresse no ensino superior. Acreditamos que a compreensão escrita é fundamental no nível superior, posto que, independentemente da área de estudo, o aluno certamente entrará em contato com a literatura científica disponível em outros idiomas. Nesse sentido, concluímos que o teste de múltipla escolha, assim como o teste cloze podem ser utilizados para medir aspectos da compreensão leitora, desde que se considerem cuidados e limitações relacionados a cada tipo de procedimento. O resumo e as questões dissertativas não são opções excludentes para integrarem uma prova de seleção, uma vez que demonstrar a compreensão de um texto em língua estrangeira por meio da elaboração de um texto adequado pode e deve ser considerado como habilidade requerida na seleção de um estudante universitário. O que dificultaria o uso desses dois últimos instrumentos é o

91 _{No original: “hacer un examen es una tarea auténtica para cualquier aprendiz de lengua extranjera”.} 92 _{HOFFMANN, J. Avaliação: mito e desafio. Porto Alegre: Mediação, 1997.}

prazo restrito para a correção, considerando o número de candidatos numa prova como o Enem. Na última edição, a de 2011, foram mais de 5 milhões inscritos.

Capítulo 3

MATRIZES: o ponto a ponto da tessitura

Este capítulo está dedicado ao detalhamento dos procedimentos adotados para a realização da análise dos textos, dos enunciados das questões e das alternativas referentes à prova de língua espanhola no Enem de 2010 (1ª e 2ª aplicação) e no de 2011. O corpus constitui-se, portanto, de 3 provas, com 5 questões em cada uma, totalizando 15 perguntas.

A parte inicial deste capítulo inclui uma ficha com 4 quadros que propomos para sintetizar as informações que configuram cada prova. No primeiro apresentamos: data de aplicação, cor da prova analisada, áreas e disciplinas que integram o caderno do exame, número de questões, e tempo máximo disponível para realizar a prova. No seguinte tratamos de descrever os textos presentes: título, fonte, gênero textual, tema(s) abordado(s), presença ou não de imagens e número de questões vinculadas ao texto. No terceiro quadro apresentamos os dados relacionados às perguntas: quantidade e tipo de questão, idioma do comando do item, idioma das alternativas. E no último, revelamos as habilidades requeridas em cada item, conforme a Matriz de Referência proposta pelo Inep.

Na segunda parte deste capítulo comentamos como procedemos às análises das provas em si, considerando, entre outros elementos, as habilidades destacadas na Matriz proposta para o Enem. Também apresentamos a matriz proposta por Nery (2002) em sua tese doutoral como linha norteadora para analisar os itens referentes ao texto em espanhol. Da mesma forma, fundamentaram nossa análise os conceitos teóricos apresentados no capítulo anterior a respeito da avaliação e da leitura.