Os índices de dificuldade serão calculados considerando os procedimentos baseados no âmbito da TCT e da TRI.
3.2.3.1.1 Procedimento no âmbito da TCT
De maneira geral, a dificuldade de um teste ou de um item, na Psicometria clássica (TCT), diz respeito à proporção de sujeitos que respondem corretamente a ele – Bradfield & Moredock (1963); Baquero (1968); Anastasi (1968); Muñiz (2003); Arias, Lloreda & Lloreda (2006); Urbina (2007) – sendo dado por:
t a df n n I = , [3.7]
onde n é o número de candidatos que responderam corretamente ao item e, a nT, o número total de candidatos que respondem ao teste.
Considerando que esse índice representa uma proporção, seu valor varia de
1
0≤Idf ≤ . Quanto mais próximo de “1”, mais fácil será considerado o item, e quanto mais próximo de “0”, mais difícil ele se apresentará. Assim, um item que é respondido corretamente por 70% dos candidatos é considerado mais fácil do que outro que seja respondido corretamente por apenas 30% desses candidatos.
Para Arias, Lloreda & Lloreda (2006, p. 83) esse índice, assim calculado, devia se denominar índice de facilidade, já que valores muito altos representam itens muito fáceis, enquanto valores muito baixos representam itens muito difíceis.
3.2.3.1.2 Procedimento no âmbito da TRI
Na Psicometria moderna, a dificuldade do item é representada pelo valor do parâmetro “b” nos modelos logísticos da TRI, estando associada à quantidade de habilidade ou aptidão que o sujeito deve possuir para resolvê-lo.
Como podemos ver no gráfico 15, a seguir, a dificuldade, representada na mesma escala da aptidão que um testando necessita para responder corretamente ao item de um teste, corresponde ao ponto de inflexão da Curva Característica do Item e representa uma probabilidade 0,5 de acerto desse item.
Gráfico 15 – Curva Característica do Item – CCI e o parâmetro de dificuldade “b”, por meio da TRI
Fonte: adaptado de Hambleton, Swaminathan & Rogers (1991, p. 14)
Como se pode ver, o item 3 é o mais difícil dos três. O testando necessita de mais habilidade para resolvê-lo corretamente do que os outros dois. Dessa forma, o item 1é o mais fácil deles, tendo o item 2 uma dificuldade intermediária.
O nível de dificuldade dos itens de um teste depende da sua finalidade. Para Ribeiro (2004, p.15-16), quando o interesse está em verificar o poder de um teste para discriminar diferentes níveis de habilidade de candidatos, como é o caso das provas de rendimento, requer-se uma distribuição equilibrada dos sujeitos em torno da dificuldade média da prova. Anastasi & Urbina (2000); Baquero (1983); Pasquali (2001, 2003), dentre outros, sugerem que a medida de dificuldade dos itens, nesse caso, deva ficar em
1,0 item 3 item 2 item 1 0,5 0,0 b1 b2 b3 θ -3 -2 -1 0 1 2 3 Nível de Aptidão (θ) ou Habilidade do Respondente
P
robabilidade de Acerto do ite
torno de 50%. Pasquali (2003, p.128-129) propõe a seguinte distribuição proporcional de sujeitos como a ideal para descrever o comportamento da aprendizagem em testes de rendimento escolar, conforme se pode ver no gráfico 16.
Gráfico 16 – Distribuição proporcional do comportamento de aprendizagem em testes de rendimento escolar
Fonte: adaptado de Pasquali (2003, p. 129)
Esse gráfico mostra que 40% dos candidatos necessitam ter uma aptidão entre mais ou menos meio desvio-padrão da nota média padronizada do teste para responder corretamente ao item do teste. Esse percentual aumenta para 80% quando se amplia para ±1,28 desvios-padrão o intervalo de aptidão necessária para a resolução correta do item.
Os valores contidos nos extremos do gráfico mostram que 10% dos candidatos mais habilidosos estão a +1,28 desvios-padrões acima da nota média padronizada do teste, enquanto os 10% menos habilidosos estão abaixo de -1,28 desvios-padrão dessa nota padronizada.
No caso das provas de seleção, tais como os concursos vestibulares, a distribuição ideal para descrever o comportamento dos dados é a distribuição assimétrica positiva (URBINA, 2007, p. 67-68). Essa distribuição tem o comportamento de uma prova difícil onde poucos respondentes conseguem obter a nota mínima de aprovação, que é o ponto de corte, para permanecer no concurso. Graficamente, essa distribuição tem a seguinte forma:
Proporção de candidatos 10% 20% 40% 20% 10% -1,28σ -0,5σ 0,0 0,5σ 1,28σ Nota Padronizada
Gráfico 17 – Distribuição probabilística das dificuldades dos itens
Fonte: adaptado de Urbina (2007, p. 68)
Esse ponto de corte representa o mínimo de aptidão que o candidato deve demonstrar no teste para desempenhar adequadamente a tarefa a que ele se propõe. No caso do concurso vestibular da UECE, essa tarefa se refere ao curso escolhido para sua qualificação.
Esse formato do gráfico, ou seja, de representar uma distribuição assimétrica positiva, tanto é recomendável para a TRI como para a TCT, em testes de seleção como os dos concursos vestibulares.
Proporção dos candidatos que obtiveram nota acima do ponto de corte.
3.2.4 Critério dos distratores
Complementando a análise dos parâmetros de dificuldade e discriminação dos itens, o estudo do comportamento de seus distratores, quando estes são de eleição múltipla, permite explicar a inadequabilidade de alguns deles.
Conforme Muñiz (2003, p. 230), um item com baixo índice de discriminação pode ser explicado, às vezes, pela atração dos respondentes a uma das alternativas falsas, de forma igual ou massivamente, tanto dos mais competentes quanto dos incompetentes no teste. Em outros casos, alternativas que não são respondidas por ninguém também não contribuem para a discriminação do item e devem ser substituídas.
Para Urbina (2007, p. 228), “um item de múltipla escolha ideal é aquele em que (a) a alternativa correta é óbvia para o testando que conhece a resposta e (b) os distratores parecem igualmente plausíveis para aqueles que não a conhecem”.
De acordo com Pinto (2001, p. 7), a construção de distratores adequados não se constitui um processo trivial. Quando eles não têm o mesmo poder de atração que a opção correta, perdem eficácia e é facilmente rejeitado por estudantes que possuem, minimamente, um conhecimento sobre o tema em questão. A opção correta de um teste com quatro alternativas por item, por exemplo, deve aparecer cerca de 25% em cada posição de opção (“a”, “b”, “c”, “d”), o que diminui a probabilidade de acerto ao acaso por parte dos examinados. Distratores deficientes acarreta num aumento progressivo da probabilidade de acerto da resposta correta passando de 0,25, para itens com quatro opções, para 0,5 ou até mesmo para 1, por item.
Urbina (2007, p. 228) comenta que “o número de distratores afeta diretamente os índices de dificuldade do item porque a probabilidade de se adivinhar a resposta correta é mais alta quando o número de opções é menor”. De maneira geral o número de alternativas em um teste tem variado de três a cinco, sendo quatro a quantidade mais comum, embora trabalhos empíricos desenvolvidos por Lord (1980, p. 106-112) dão a entender que itens com duas ou três alternativas dão confiabilidade tão boas ou melhores que itens com quatro ou cinco alternativas.
Conforme Urbina (2007, op. cit., p. 228-229), depois da aplicação de um teste, uma análise dos distratores deve ser conduzida, a começar pelo número de testandos que selecionou cada distrator. Para esta autora, “o exame cuidadoso da
frequência com que os vários distratores foram escolhidos por testandos de diferentes níveis de habilidade serve para detectar possíveis falhas nos itens”. Assim, seguindo esta orientação, esse procedimento será aplicado neste ensaio, como contribuição adicional à análise dos itens das provas deste concurso vestibular.