CapNFC

Segundo Fletcher (2010), a teoria cl´assica tem suas origens no modelo de escore verdadeiro e de erro apresentado pelo psic´ologo britˆanico Charles Spearman (1863-1945) em 1904. O autor enfatiza que o fasc´ınio de Spearman pelo conceito de correla¸c˜ao, o fez publicar uma s´erie de ensaios matem´aticos onde argumentou que os resultados das provas s˜ao imperfeitos por natureza e portanto, a correla¸c˜ao observada entre duas medidas falhas seria fatalmente inferior `a correla¸c˜ao realmente existente, caso fossem conhecidos seus “valores objetivos verdadeiros”. Ao explicar o significado dos termos medidas falhas e valores objetivos verdadeiros, Spearman criou os fundamentos da TCT.

Tradicionalmente a avalia¸c˜ao do desempenho, por exemplo de alunos, ´e baseada na observa¸c˜ao da quantidade de quest˜oes respondidas corretamente dentre um conjunto total de quest˜oes, obtendo o que se conhece por escore do teste. Este procedimento ´e conhecido como a Teoria Cl´assica dos Testes (TCT) e foi formulado matematicamente por Novick (1966) e descrito em textos cl´assicos como Lord e Novick (1968).

A TCT consiste em um modelo fundamentado na observa¸c˜ao dos escores ob- tidos por um estudante em um teste (escore observado) Xij do respondente j no item i,

definido por Lord e Novick (1968, p.34) como:

Xij = Tj + εij, (1)

em que Tj ´e o verdadeiro escore do respondente i (j = 1, ..., n) na vari´avel medida pelo teste

e εij ´e o erro do avaliado j no item i (i = 1, ..., I), que ocorre em fun¸c˜ao da imprecis˜ao das

medidas psicol´ogicas.

Segundo Primi (2012) o verdadeiro escore (Tj) do sujeito j pode ser concebido

teoricamente de duas maneiras: (a) como uma medida da vari´avel sob estudo, quando um instrumento perfeito ´e utilizado (sem erro) ou (b) como a m´edia de um conjunto de infinitas

medidas da mesma vari´avel, no mesmo sujeito, quando as vari´aveis s˜ao independentes, usando um instrumento n˜ao perfeito (com erros de medidas).

Primi (2012) destaca ainda que o erro εij pode ser entendido como uma vari´avel

aleat´oria associada a eventuais erros oriundos de condi¸c˜oes particulares na aplica¸c˜ao do ins- trumento avaliativo, assumido como assistem´atico, aleat´orio, n˜ao mostrando tendˆencia sis- tem´atica de assumir valores positivos ou negativos. Ainda segundo essa l´ogica, trˆes postulados s˜ao explicitados:

(1) Se os erros s˜ao assistem´aticos, em um conjunto grande de medidas, a m´edia dos erros ser´a igual a zero, ou seja, ¯ε = 0;

(2) em um grande conjunto de medidas, espera-se que n˜ao exista correla¸c˜ao entre os escores verdadeiros e os erros (ρT,ε = 0);

(3) sup˜oe-se que n˜ao existir´a correla¸c˜ao entre os erros de dois testes diferentes a e b, que me¸cam a mesma vari´avel, portanto testes paralelos, ρεa,εb = 0.

No caso em que um instrumento perfeito ´e utilizado, com ausˆencia do erro do avaliado, a TCT assume que cada avaliado tem um escore verdadeiro (T), definido como o n´umero esperado de acertos realizados sobre um n´umero infinito de testes independentes.

Tj = µi = E(Xij).

Dessa forma, existe uma distribui¸c˜ao de probabilidade para a vari´avel aleat´oria do verdadeiro escore dada por f (xij) com m´edia µi e variˆancia V ar(Xij) = V ar(εij).

Considerando-se que µi ´e uma constante, tem-se que o erro aleat´orio possui uma distri-

bui¸c˜ao dada por f (εij) com m´edia zero e variˆancia V ar(εij) = V ar(Xij) = σi2. Considerando

que εij = Xij − µi, tem-se que:

E(εij) = E(Xij − µi) = E(Xij) − E(µi) = µi− µi = 0, (2)

e

V ar(εij) = V ar(Xij − µi) = σi2. (3)

Segundo Klein (2013), como consequˆencia do postulado (2), tem-se que a variˆancia do escore observado ´e igual `a soma das variˆancias do escore verdadeiro e do erro do escore.

V ar(Xij) = V ar(Tj) + V ar(εij). (4)

A covariˆancia entre X e T ´e:

Cov(X, T ) = Cov(T + ε, T ) = V ar(T ) + Cov(T, ε) = V ar(T ). (5)

Ainda segundo Klein (2013), um conceito importante na TCT ´e de confiabili- dade do teste, R, definido como sendo o quadrado da correla¸c˜ao entre o escore observado e o escore verdadeiro. R = Cor2(X, T ) = Cov 2_{(X, T )} V ar(X)V ar(T ) = V ar2_{(T )} V ar(X)V ar(T ) = V ar(T ) V ar(X), (6) ou seja, R = V ar(T ) V ar(T ) + V ar(ε) = 1 − V ar(ε) V ar(X). (7)

As express˜oes (6) e (7) indicam que a confiabilidade pode ser interpretada tamb´em como a propor¸c˜ao da variˆancia do escore observado explicada pela variˆancia do escore verdadeiro ou ainda por 1 menos a raz˜ao entre a variˆancia do erro e a variˆancia do escore observado (KLEIN, 2013, p.3). Uma confiabilidade alta indica que o escore observado ´e uma boa estimativa do escore verdadeiro.

Na TCT tamb´em se utiliza com frequˆencia o termo mensura¸c˜ao paralela, de- finida quando, para duas medidas distintas Xij e Xij∗, suas esperan¸cas s˜ao iguais (µi) e da

mesma forma, suas variˆancias tamb´em s˜ao iguais (σ2

i). Em outras palavras a mensura¸c˜ao

paralela consiste em se construir “provas” diferentes com o mesmo n´ıvel de dificuldade, o que n˜ao ´e uma tarefa trivial. Segundo Tavares (2012), “Infelizmente a pr´atica nos diz que n˜ao conseguimos produzir provas paralelas, ou seja, com o mesmo n´ıvel de dificuldade”.

Na TCT o estudo dos escores obtidos pelos respondentes dependem da forma como os instrumentos de avalia¸c˜ao foram constru´ıdos. Uma das propriedades m´etricas b´asicas ´e a precis˜ao do instrumento.

2.2.1 Consistˆencia interna do instrumento

Segundo Primi (2012) a precis˜ao do instrumento de medida est´a associada ao erro de medida, ou seja, `a diferen¸ca entre o escore observado de um sujeito em um teste, e o valor verdadeiro que ele tem na vari´avel latente. Ainda segundo o autor, uma pr´atica corrente ´e estimar a precis˜ao de um determinado teste para conseguir estabelecer uma expectativa de qu˜ao errˆonea poder´a ser a medida.

Primi (2012) enfatiza que a pr´atica de estima¸c˜ao da precis˜ao de um teste en- volve, de alguma forma, correlacionar medidas paralelas. Anastasi (1977) faz uma descri¸c˜ao detalhada dos m´etodos empregados na estima¸c˜ao do ´ındice de precis˜ao, onde destaca a pre-

cis˜ao por consistˆencia interna, proposta por Lee J. Cronbach (1951) e conhecido como coe-

ficiente alfa de Cronbach. Este m´etodo de estimar a precis˜ao do instrumento de avalia¸c˜ao baseia-se na suposi¸c˜ao de que cada item representa uma medida paralela do mesmo construto, possibilitando que a referida estimativa seja baseada na covariˆancia entre os itens.

O coeficiente alfa de Cronbach tem a seguinte equa¸c˜ao:

α = i i − 1. S2 x− I X i=1 Si2 S2 x , (8) em que: i) S2

x ´e a variˆancia do escore observado x

ii)

I

X

i=1

S2

i ´e a soma das variˆancias dos i itens

O coeficiente alfa de Cronbach ´e um valor que varia no intervalo [0, 1], de tal forma que quanto mais pr´oximo de 1 maior a consistˆencia interna do instrumento e, analo- gamente, quanto mais pr´oximo de zero, menor ser´a a consistˆencia interna do instrumento. Streiner (2003) mostra que testes com consistˆencia interna aceit´avel s˜ao aqueles cujos valores do coeficiente alfa de Cronbach se encontrem no intervalo de 0,8 a 0,9, uma vez que valores muito altos podem indicar que existem itens redundantes, ou seja, medindo exatamente o mesmo elemento de um construto.

“Se a propor¸c˜ao da variˆancia dos escores observados, devido a fontes de varia¸c˜ao

consideradas aceit´aveis, ultrapassa 80%, geralmente a medi¸c˜ao ´e considerada satis-

fat´oria. Se for inferior a 80%, deve-se tentar melhorar o dispositivo de informa¸c˜ao.”

Segundo Lord e Novick (1968), a confiabilidade cresce se acrescentarmos itens ao teste. Klein (2013) enfatiza que itens muito dif´ıceis ou muito f´aceis e itens com correla¸c˜ao entre acerto e o escore total (coeficientes bisserial ou ponto bisserial) baixo ou negativo acrescentam pouco `a confiabilidade e devem ser substitu´ıdos. Isso ocorre uma vez que, ao se acrescentar um item ao teste para aumentar “razoavelmente” o Alpha de Cronbach, Var(X) tem de crescer “bem” mais que a variˆancia do item. No caso de um item em que todos erram ou todos acertam, Var(X) n˜ao se modifica e a variˆancia do item ´e zero. Se o item for muito dif´ıcil ou f´acil, Var(X) vai crescer “pouco”, alterando pouco o Alpha de Cronbach. No caso do coeficiente ponto bisserial baixo ou negativo, Var(X) cresce “pouco” tamb´em, pois o acr´escimo de um ponto de acerto n˜ao tendo a consistˆencia esperada tende a acrescer pouco `a variˆancia (KLEIN, 2013).

2.2.2 Problemas da Teoria Cl´assica dos Testes - TCT

Na TCT os resultados de uma avalia¸c˜ao dependem diretamente dos escores obtidos em uma prova, desconsiderando a importˆancia dos itens. De acordo com Pasquali e Primi (2003, p.100 − 101), existem outros graves problemas relacionados com a TCT, que dificultam uma avalia¸c˜ao mais justa e de melhor qualidade, podendo ser elencados da seguinte forma:

i) Altera¸c˜ao do parˆametro de dificuldade do item de teste para teste, em fun¸c˜ao da amostra de sujeitos. Os parˆametros dos itens de um teste dependem da amostra de sujeitos em que eles foram calculados, de tal forma que para amostras de sujeitos mais inteligentes, um item se torna mais f´acil e contrariamente, mais dif´ıcil para amostras de sujeitos menos inteligentes;

ii) C´alculo do parˆametro de discrimina¸c˜ao do item. Na Psicometria cl´assica este parˆametro ´e definido como a diferen¸ca entre a propor¸c˜ao de acertos dos participantes com maior escore (27% dos respondentes com pontua¸c˜oes mais altas) daqueles com menor escore (27% dos respondentes com pontua¸c˜oes mais baixas)(ANDRADE e BORNIA, 2012). Na realiza¸c˜ao deste procedimento ocorre uma contradi¸c˜ao, uma vez que a discrimina¸c˜ao de cada item ´e testada contra o escore total que ´e constitu´ıdo por todos os itens do teste, inclusive o item que est´a sendo analisado, pressupondo que todos os outros itens sejam adequados, o que torna sem sentido a realiza¸c˜ao da an´alise, uma vez que se os itens s˜ao adequados, n˜ao h´a sentido em se fazer a an´alise, caso contr´ario, a an´alise

estaria com erros.

iii) C´alculo da fidedignidade de um teste. ´E definida comumente em termos de formas paralelas de um teste, produzindo escores idˆenticos e variˆancias tamb´em idˆenticas.

´

E razo´avel entender que a obten¸c˜ao de formas paralelas de um mesmo teste ´e algo dif´ıcil de ser conseguido, uma vez que caracter´ısticas como o cansa¸co, aprendizagem, motiva¸c˜ao, dentre outras, mudam da aplica¸c˜ao de uma forma para outra, inclusive diferencialmente para diferentes sujeitos, tornando a compara¸c˜ao entre as duas formas n˜ao mais paralelas. Em outras palavras, a TCT s´o pode ser utilizada em situa¸c˜oes nas quais todos os alunos fazem o mesmo teste (ou formas “paralelas”de teste);

iv) A variˆancia dos erros de medida ´e a mesma para todos os testandos. Parece ´obvio que alguns testandos realizam a tarefa mais consistentemente que outros e que essa consistˆencia varia em fun¸c˜ao das habilidades do sujeito;

v) Na Teoria Cl´assica os testes s˜ao elaborados para avaliar maximamente os sujeitos de habilidades medianas, sendo, por isso, bem menos apropriados e v´alidos para avaliar sujeitos com habilidades superiores ou de pouca habilidade, de tal forma que aplicando testes de dificuldades m´edias diferentes a sujeitos de diferentes n´ıveis de aptid˜ao se produzir˜ao resultados nem sempre compar´aveis.

Klein (2013) acrescenta ainda que a Teoria Cl´assica dos Testes n˜ao fornece um modelo do desempenho de um aluno em um item. Os problemas aqui elencados limitam o uso da TCT no processo de avalia¸c˜ao, por desconsiderar diferentes fatores, como os citados. O questionamento de Thrustone acerca das limita¸c˜oes da TCT induziram pesquisadores a buscar solu¸c˜oes para tais limita¸c˜oes, resultando no desenvolvimento da Teoria da Resposta ao Item.