A análise psicométrica dessa prova será realizada por critérios que mediram a dificuldade, a discriminação e o acerto ao acaso dos itens, no âmbito da TCT e da TRI.
5.5.1 Critério de dificuldade
A análise desse critério será realizada pelo índice de dificuldade dos itens e do teste, sendo que, pela TCT, representa a proporção de pessoas que respondem corretamente a ele, enquanto que, pela TRI, concerne à capacidade, habilidade ou aptidão que o candidato possui para resolvê-lo.
No caso da TCT, o índice de dificuldade é denotado por Idf, enquanto na
TRI o é pelo parâmetro “b” do modelo logístico de três parâmetros.
5.5.1.1 Índice de dificuldade pela TCT
Considerando como n o número de candidatos que responderam a corretamente ao item e, nT, o número total de candidatos que respondem ao teste, o índice de dificuldade na TCT é dado por:
t a df n n I = . [5.1]
Na realidade, esse índice deveria ser chamado de índice de facilidade, como comentam Arias, Lloreda & Lloreda (2006, p. 83), dado que, quanto maior o número de acertos do item (n ), maior o valor da proporção (a Idf ), indicando ser o item muito fácil. Caso contrário, ou seja, quanto menor o número de acertos, maior a dificuldade do item.
Como esse índice representa uma proporção, seu valor varia de 0≤Idf ≤1.
Quanto mais próximo de “1”, mais fácil será o item, e quanto mais próximo de “0”, mais difícil ele se torna. Assim, a tabela 13, apresenta a proporção dos acertos, por item, de todos os candidatos que se submeteram à prova de Matemática sob exame.
Tabela 14 – Índice de Dificuldade (Idf), por meio da TCT, dos itens da prova de
Matemática para os 20016 candidatos ao Concurso Vestibular da UECE/2007.1
Item1 Item2 Item3 Item4 Item5 Item6 Item9 Item10 NºAcertos 9878 6288 11521 7822 8671 5461 7629 7663
Idf 0,494 0,314 0,576 0,391 0,433 0,273 0,381 0,383
Fonte: dados de pesquisa.
De modo a se ter uma visão mais imediata do comportamento evolutivo dos índices de dificuldade dos itens dessa prova, seus valores foram plotados no gráfico 33, apresentado a seguir:
Gráfico 33 – Índice de Dificuldade (Idf), por meio da TCT, dos itens da prova de
Matemática para os 20016 candidatos ao Concurso Vestibular da UECE/2007.1
Fonte: dados da pesquisa.
É simples verificar que os índices de dificuldade variaram de 27% a 58%, gerando um valor médio de 40,6% para a prova como um todo.
Considerando que a escala de dificuldade pode variar de extremamente fácil (100% de acerto) a extremamente difícil (0% de acerto), podemos concluir, por esse critério, que essa prova possui um comportamento mais voltado para uma tendência classificatória, em seu grau de dificuldade, de média a difícil.
Valor médio de dificuldade da prova: 0,406
5.5.1.2 Índice de dificuldade pela TRI
Na TRI a dificuldade do item está associada, não à proporção de acertos, mas à quantidade de aptidão ou de conhecimento que o candidato deve possuir sobre o tema para resolvê-lo. Dessa forma, o item pode se apresentar difícil se o conhecimento do candidato sobre o assunto em questão não é suficiente para resolvê-lo. Caso contrário, o item se apresentará fácil.
Considerando o ponto de inflexão da CCI como de referência na análise, vemos que a probabilidade p = 0,5 de resposta correta se alcança quando o valor da habilidade do candidato se iguala ao valor da dificuldade do item θ = bi, como se pode
ver no gráfico 34.
Gráfico 34 – Curva Característica do Item – CCI e o
parâmetro de dificuldade (b), mediante a TRI. Fonte: adaptado de Pasquali (2003, p. 87) Dessa forma, e considerando o mesmo valor de probabilidade de acerto (p = 0,5), diz-se que um item com índice de dificuldade bj é mais difícil do que bi, se bj for maior que bi, ou seja, se for preciso mais conhecimento para resolvê-lo. Na escala de habilidades (θ), a maiores valores de dificuldade bi do item, maiores serão os valores θ = θi necessários para alcançar essa probabilidade p=0,5 de acertar o item. A tabela 15 exibe os valores das dificuldades dos itens da prova de Matemática, em estudo, gerados pelo software BILOGMG 3.0: CCI 1,0 0,5 bi bj 0,0
Nível de Aptidão ( θ) ou Habilidade do Candidato
Probabilidade de Acerto do Ite
Tabela 15 – Índice de Dificuldade (b), por meio da TRI, dos itens da prova de Matemática para os 20016 candidatos ao Concurso Vestibular da UECE/2007.1.
Item1 Item2 Item3 Item4 Item5 Item6 Item9 Item10
b E. P. E.* 0,066 0,019 1,304 0,019 -0,212 0,016 1,203 0,024 0,955 0,021 1,348 0,021 1,159 0,022 0,925 0,019 Fonte: dados da pesquisa, gerados pelo software BILOGMG 3.0 (*) E. P. E. – Erro Padrão de Estimativa.
Graficamente, esses índices de dificuldade apresentam o seguinte comportamento:
Gráfico 35 – Índice de Dificuldade (b), mediante a TRI, dos itens da prova de Matemática para os 20016 candidatos ao Concurso Vestibular da UECE/2007.1
0,066 1,304 ‐ 0,212 1,203 0,955 1,348 1,159 0,925 ‐0,50 0,00 0,50 1,00 1,50 Item01 Item02 Item04 Item05 Item06 Item09 Item10 Nível de dificuldade do item (b)
Pela análise gráfica desses índices, percebe-se mais nitidamente que as dificuldades dos itens da prova de Matemática estão agrupadas em dois conjuntos de valores. O primeiro deles, formados pelos itens 1 e 3, considerados os mais fáceis, possuem nível de dificuldade entre –0,221 e 0,066, enquanto o segundo grupo, mais difíceis, com níveis de dificuldade entre 0,925 e 1,348.
Distribuindo esses valores de dificuldade dos itens ao longo da seguinte escala de classificação, do tipo Likert, pode-se ter uma idéia melhor do nível de dificuldade da prova como um todo, ou seja:
Item03
Gráfico 36 – Posição relativa dos índices de dificuldade de cada item da prova de Matemática do Concurso Vestibular da UECE/2007.1, para os 20016 candidatos, em relação à dificuldade média da prova, por meio da escala de dificuldade em z; b (±3). b2 b3 b1 b4; b9 b6 b5;b10 -3 -2 -1 0 1 2 +3 (z;b)
Muito Fácil Dificuldade Difícil Muito
Fácil Média Difícil
Valor médio da dificuldade da Prova (b = 0,897)
Fonte: dados da pesquisa
Considerando todos os valores de dificuldade dos itens, em termos absolutos, verifica-se que essa prova possui um índice médio de dificuldade de 0,897, caracterizando a prova entre média e difícil.