O processo de constru¸c˜ao de um teste que satisfa¸ca os crit´erios de precis˜ao e validade, defendidos pela psicometria cl´assica, perpassa pela necessidade inicial de an´alise das suas unidades b´asicas, a saber, os itens. Segundo Primi (2012), “As an´alises quantitativas incluem a an´alise da distribui¸c˜ao de respostas nos itens (ou o ´ındice de dificuldade, quando o item ´e dicotˆomico), o poder discriminativo, a an´alise das alternativas, a probabilidade de acerto ao acaso e a validade externa do item”.
O primeiro passo na an´alise dos itens dentro da abordagem da TCT foi avaliar a consistˆencia interna da prova para verificar a qualidade daquele instrumento na mensura¸c˜ao das proficiˆencias dos candidatos. Este procedimento foi realizado por meio da an´alise do Coeficiente Alfa de Cronbach, obtido por meio do software BILOG ou do pacote ltm do software R (RIZOPOULOS, 2013). A an´alise do resultado foi feita com base em Nunnally (1978), que atribue qualidades da consistˆencia interna do instrumento, com base no coeficiente em quest˜ao.
de respostas dos candidatos, por meio do percentual de acertos e erros para cada item e, posteriormente, o c´alculo do ´Indice de Dificuldade. Tal procedimento viabilizou identificar itens com maior ou menor graus de dificuldade e, assim, o comportamento dos percentuais de acerto aos itens em quest˜ao.
Um dos primeiros atributos dos itens a ser observado na an´alise explorat´oria ´e o ´ındice de dificuldade (ID), que representa a probabilidade de acerto no item sob an´alise e pode ser calculado como ID = piN, em que pi representa o n´umero de sujeitos que acertaram
o item i e N representa o n´umero de sujeitos que responderam `aquele item.
Primi (2012) enfatiza que, ao se considerar somente o ID, um bom item ´e aquele que possui alta variˆancia no ID, uma vez que o teste objetiva enfatizar as varia¸c˜oes que existem entre os indiv´ıduos, de tal forma que itens com alta variˆancia no ID contribuem para uma maior variˆancia do escore do teste. Isso permite uma maior discrimina¸c˜ao dos indiv´ıduos em fun¸c˜ao dos escores. ´E importante ter indiv´ıduos distribu´ıdos em toda escala de habilidades para que as estimativas dos parˆametros sejam boas.
Um m´etodo frequentemente utilizado para avaliar a contribui¸c˜ao de um item na diferencia¸c˜ao de sujeitos ´e o c´alculo do coeficiente de correla¸c˜ao ponto bisserial (ρpbi),
tamb´em chamado de poder discriminativo do item, que expressa a correla¸c˜ao entre uma vari´avel categ´orica dicotˆomica (certo ou errado) e uma vari´avel intervalar (o escore total). Soares (2005) enfatiza que as correla¸c˜oes bisserial e ponto bisserial medem a correla¸c˜ao do resultado de um item em particular do teste com o resultado do teste (isto ´e, o escore bruto total), sendo, portanto, uma medida da capacidade de discrimina¸c˜ao do item em rela¸c˜ao ao resultado do teste.
Altas correla¸c˜oes entre o item e o escore configuram alta contribui¸c˜ao do teste para aumentar a variˆancia dos escores, ajudando na discrimina¸c˜ao dos sujeitos. Seguindo Soares (2005, p.85-86), ao se admitir que S represente o escore bruto obtido no teste e Y o resultado da resposta atribu´ıda a um item, o ´ındice de correla¸c˜ao de Pearson pode ser definido como:
ρSY = E(SY ) − E(S)E(Y )
σyσS
, (32)
cuja estimativa natural ´e:
¯ ρpb = ¯ Sp− ¯S ¯ σS r ¯p ¯ q, (33)
em que ¯Sp ´e o escore m´edio no teste para os sujeitos que acertaram o item; ¯S o escore m´edio
para todos os candidatos; ¯p ´e a propor¸c˜ao dos que acertaram o item no teste (¯q = 1 − ¯p); ¯σS
´e o desvio padr˜ao dos escores obtidos nos testes pelos respondentes e, a estimativa ¯ρpb para
a correla¸c˜ao de Pearson, ´e o que frequentemente denomina-se na literatura, como coeficiente de correla¸c˜ao ponto bisserial.
“Em suma, um bom teste deve ser composto por itens com alta variˆancia (ID)
e com alta correla¸c˜ao com o escore total (rpbi). Isso faz com que a variˆancia
do escore seja alta e possa captar as varia¸c˜oes do atributo psicol´ogico que ´e mensurado.”(PRIMI, 2012, p.306)
Soares (2005, p.87) tamb´em mostra que uma estimativa para a correla¸c˜ao bis- serial de Pearson ´e dada por:
¯ ρbis= ¯ Sq− ¯Sp −h(z¯p) ¯ q − −h(z¯p) ¯ p 1 ¯ σS , (34)
em que ¯Sq ´e o escore bruto m´edio para os respondentes que erram o item, ¯Sp ´e o escore
bruto m´edio para os respondentes que acertam o item, h(zp¯) ´e o valor da fun¸c˜ao de densidade
normal padr˜ao em zp¯, ¯p ´e a propor¸c˜ao dos que acertaram o item no teste e ¯σS ´e o desvio
padr˜ao dos escores brutos obtidos pelos candidatos no teste. Soares (2005) tamb´em mostrou a rela¸c˜ao entre as correla¸c˜oes bisserial e a ponto bisserial, que tem sua equa¸c˜ao escrita da seguinte forma: ¯ ρbis= ¯ρpb √ ¯ p¯q h(zp¯) . (35)
No primeiro momento de an´alise dos dados, foi realizada uma an´alise dos itens, no enfoque da teoria cl´assica dos testes, situa¸c˜ao em que se calculou para cada item avali- ado, o n´umero e o percentual de itens respondidos corretamente, caracterizando o ´ındice de dificuldade do item, al´em da contribui¸c˜ao do item no processo de diferencia¸c˜ao dos sujeitos, obtido pelo c´alculo do coeficiente de correla¸c˜ao bisserial. Este procedimento viabilizou a identifica¸c˜ao imediata de itens que n˜ao contribuem para o teste, no que se refere ao aumento da sua precis˜ao, devendo n˜ao ser considerados no processo.
A op¸c˜ao de uso da correla¸c˜ao bisserial foi feita, pelo fato da mesma ser menos influenciada pela dificuldade dos itens e mais est´avel entre diferentes situa¸c˜oes de testagem do que a correla¸c˜ao ponto bisserial (WILSON, WOOD e GIBBONS, 1991).