3.2.5.1 Dimensionalidade das proficiˆencias
Foi mostrado no cap´ıtulo anterior que em processos avaliativos realizados por meio de provas, nem sempre o instrumento utilizado ´e constru´ıdo de forma a medir uma ´
unica proficiˆencia, conhecida como abordagem unidimensional da TRI. Este fato induz `a necessidade da utiliza¸c˜ao de procedimentos que me¸cam o n´umero de dimens˜oes que est˜ao sendo utilizadas no processo, entendidas pedagogicamente como aquilo que de fato se est´a avaliando.
Lord (1980) afirma que a dimensionalidade ´e uma propriedade dos itens, n˜ao dependendo da distribui¸c˜ao das proficiˆencias dos indiv´ıduos. Nandakumar (1993) entretanto, defende que a dimensionalidade ´e determinada pela influˆencia conjunta de itens, indiv´ıduos e fatores externos, que englobam m´etodo de ensino, n´ıvel de ansiedade durante a realiza¸c˜ao da prova, dentre outros. Nessa perspectiva, o autor sugere que a dimensionalidade seja reavaliada toda vez que um conjunto de itens for aplicado a um novo conjunto de indiv´ıduos. No trabalho aqui apresentado ´e considerado que os fatores externos e as v´arias proficiˆencias dos indiv´ıduos n˜ao interferem na avalia¸c˜ao da dimensionalidade.
Wei (2008) descreve a l´ogica do princ´ıpio b´asico para avalia¸c˜ao da dimensionali- dade de um teste, da seguinte maneira: a suposi¸c˜ao de independˆencia local ´e avaliada sob um modelo hipot´etico, que pode ser unidimensional ou multidimensional, e medidas s˜ao obtidas para indicar a quantidade de dependˆencia entre os itens. Se a dependˆencia entre os itens for mais forte do que seria casualmente esperado, desconfia-se da suposi¸c˜ao de independˆencia local, fazendo com que a dimensionalidade assumida pelo modelo seja rejeitada.
Segundo Reckase (2009) as abordagens para determinar o n´umero de dimens˜oes em modelos da TRIM vem sendo utilizadas por meio da an´alise fatorial (explorat´oria ou confirmat´oria)com base na matriz de correla¸c˜ao tetrac´orica. A an´alise fatorial explorat´oria ´e utilizada quando um conjunto de itens ainda n˜ao calibrados, ´e aplicado a respondentes e o padr˜ao de resposta destes aponta o n´umero de dimens˜oes que est˜ao sendo avaliadas. Por outro lado, a an´alise fatorial confirmat´oria costuma ser utilizada quando um conjunto de itens j´a calibrados ´e aplicado a uma ou mais popula¸c˜oes e as proficiˆencias dos sujeitos s˜ao estimadas.
Dentre os m´etodos de an´alise fatorial dispon´ıveis na literatura, o utilizado para mensurar o n´umero de dimens˜oes das habilidades na TRI ´e baseado na An´alise Fatorial de
Informa¸c˜ao Completa - AFIC, proposta por Bock e Aitkin (1981) e desenvolvida a partir de
uma adapta¸c˜ao do modelo tradicional de an´alise fatorial (JOHNSON e WICHERN, 1998) que considera a estrutura de dimens˜oes associada a vari´aveis cont´ınuas. Este m´etodo foi implementado no software R (R CORE TEAM, 2012) por meio do pacote mirt (CHALMERS, 2012), utilizando os valores do parˆametro de acerto casual, o parˆametro “c”, previamente obtidos pelo software BILOG-MG.
Quando se trabalha com I vari´aveis observadas (itens) do tipo dicotˆomicas e se assume a existˆencia de “K” vari´aveis latentes (fatores) θk (k=1,2,...,K), assume-se que a
estrutura linear para as “I” vari´aveis latentes Yi cont´ınuas, i = 1, 2, ..., I ´e dada por
Yi = λi1θ1+ λi2θ2+ ... + λiKθK+ εi, (36)
em que os εi s˜ao os termos aleat´orios, Yi′s n˜ao s˜ao observados diretamente e s˜ao vari´aveis
resposta latentes cont´ınuas, subjacentes `as vari´aveis dicotˆomicas observadas Uj, λik ´e a carga
fatorial de Yi no fator latente θk, para k = 1, ..., K.
O modelo mostrado na equa¸c˜ao (36) obedece `as seguintes suposi¸c˜oes: a) os termos aleat´orios εi tem distribui¸c˜ao normal com m´edia zero e variˆancia σi2;
b) os termos aleat´orios s˜ao independentes entre si e tamb´em independentes dos θ′
s; c) o vetor de fatores θ′
= (θ1, θ2, ..., θK) tem distribui¸c˜ao normal multivariada com vetor
de m´edias 0 e matriz de variˆancia e covariˆancia IK;
d) o vetor de vari´aveis pseudo-observadas Y = (Y1, Y2, ..., YI) tem distribui¸c˜ao normal
multivariada com vetor de m´edias 0 e matriz de variˆancia e covariˆancia Σ, em que
Σ=ΛΛ′
+ Ψ, Λ ´e a matriz de cargas fatoriais e Ψ=E(εε′
)=diag(ψ1, ψ2, ..., ψI)
No processo de estima¸c˜ao da matriz Σ, a matriz das cargas fatoriais Λ ´e res- pons´avel pela determina¸c˜ao da dimens˜ao do vetor de fatores θ, ou seja, as magnitudes das cargas fatoriais indicam quantos fatores devem ser contemplados pelo modelo e quanto da variˆancia amostral de cada vari´avel ´e devida a cada fator.
Na an´alise fatorial, para a estima¸c˜ao das cargas fatoriais, a equa¸c˜ao que ´e empregada para tal fim ´e fun¸c˜ao das respostas de todos os “n” indiv´ıduos submetidos ao teste, isto ´e, a equa¸c˜ao utiliza conjuntamente a informa¸c˜ao de todos os itens para cada um dos indiv´ıduos.
Na se¸c˜ao 2.4.6 foram citados diferentes m´etodos existentes na literatura para identificar o modelo que melhor se ajusta `as dimens˜oes do tra¸co latente. O m´etodo utilizado neste trabalho foi o apresentado por Wilson, Wood e Gibbons (1991), que utilizaram um ´ındice de unidimensionalidade definido como a raz˜ao entre a mudan¸ca corrigida no qui- quadrado e os seus graus de liberdade. Os autores sugerem que a corre¸c˜ao no valor da estat´ıstica do χ2 seja realizada quando os respondentes s˜ao provenientes de grupos diferentes.
No ano de 2012 a rela¸c˜ao candidato/vaga para os seis cursos de gradua¸c˜ao na ESALQ/USP (Ciˆencias biol´ogicas: 10,43; Economia: 9,30; Gest˜ao Ambiental: 4,75; Ciˆencias de Allimentos: 4,93; Engenharia Agronˆomica: 6,08 e Engenharia Florestal: 6,23) pode ser traduzida como a existˆencia de grupos diferentes, o que justifica neste trabalho o uso da pro- posta de corre¸c˜ao no valor da estat´ıstica do χ2 apresentada pelos autores. Foram comparadas
as duas propostas de corre¸c˜ao no χ2 a saber, χ2
corr/2 e χ2corr/3, sendo utilizada a primeira por
gerar fatores com interpreta¸c˜ao pr´atica. A proposta consiste em dividir o χ2
corr pelos graus
de liberdade da diferen¸ca dos qui-quadrados, para os modelos sob compara¸c˜ao, de tal forma que se tal quociente for inferior ao n´umero 2, o modelo com menos dimens˜oes ´e aquele que melhor se ajusta aos dados.
Ap´os a verifica¸c˜ao do n´umero de dimens˜oes do conjunto de itens, realizou-se a avalia¸c˜ao da qualidade dos itens. Teve como objetivo principal reduzir o n´umero de itens do conjunto com base na carga fatorial de cada item. Assumiu-se que itens com carga fatorial muito baixa em todas as dimens˜oes refletem itens que n˜ao possuem rela¸c˜ao direta com a proficiˆencia que esses est˜ao medindo. Itens com carga inferior a 0,3 ou comunalidade inferior a 0,2 foram considerados de baixa qualidade e consequentemente foram retirados do conjunto, seguindo a indica¸c˜ao de Hair et al. (2009).
3.2.5.2 Constru¸c˜ao e interpreta¸c˜ao da escala multidimensional
O processo metodol´ogico para constru¸c˜ao da escala multidimensional adotado nesta tese, seguiu os princ´ıpios da identifica¸c˜ao de itens e n´ıveis ˆancora, definidos por Beaton e Allen (1992).
Para o c´alculo das probabilidades dos indiv´ıduos responderem corretamente um particular item, utilizou-se a seguinte equa¸c˜ao:
pij = P (Uij = 1|θj, ai, di) = ci+ (1 − ci) 1 1 + e−(a ′ iθj +di) , (37)
com elementos j´a descritos na equa¸c˜ao (29) e obtidos durante o processo de calibra¸c˜ao. No processo de calibra¸c˜ao de itens em modelos multidimensionais, pode ocorrer a existˆencia de valores negativos para os parˆametros de discrimina¸c˜ao, embora isso seja contradit´orio. Neste caso, colunas com predominˆancia de cargas fatoriais negativas foram multiplicadas por (−1) sem prejudicar as interpreta¸c˜oes. Analogamente, colunas de valores do parˆametro “a” relacionados aos fatores multiplicados por (−1), tamb´em foram multiplicadas pelo mesmo valor.
O c´alculo de tais probabilidades permitiram identificar os itens ˆancora que, de forma an´aloga `aquela apresentada no processo unidimensional, foram utilizadas para a constru¸c˜ao da escala de proficiˆencias.
A interpreta¸c˜ao pedag´ogica da escala foi feita com base nas defini¸c˜oes de com- petˆencias e habilidades apresentadas nos Parˆametros Curriculares Nacionais para o Ensino M´edio (2000), ap´os an´alise dos conte´udos de cada item ˆancora.
O uso da an´alise de componentes principais com o gr´afico biplot, desenvolvido por Gabriel (1971), foi realizado utilizando o m´etodo GH, permitindo melhor compara¸c˜ao entre os candidatos no que diz respeito `as suas habilidades. O m´etodo GH na constru¸c˜ao do gr´afico biplot foi utilizado por dar maior ˆenfase aos tra¸cos latentes, apresentados nas colunas da matriz de dados.
3.2.6 Comprara¸c˜ao das classifica¸c˜oes dos candidatos pelos m´etodos da TCT e