O processo de estima¸c˜ao dos parˆametros dos itens foi realizado com a utiliza¸c˜ao do software BILOG-MG vers˜ao 3.0 e pacotes ltm e irtoys do software R, objetivando estimar os parˆametros do modelo log´ıstico de trˆes parˆametros (se¸c˜ao 2.3.1.3). O script do programa BILOG-MG apresentado no Apˆendice (A) faz a calibra¸c˜ao dos parˆametros considerando 72 itens dos 90 presentes na primeira fase do processo seletivo, enfatizando que o item 62 foi anulado pela FUVEST e os 18 restantes foram exclu´ıdos do processo final de calibra¸c˜ao por apresentarem estimativas fora do padr˜ao esperado para valores dos parˆametros.
3.2.4.1 Estima¸c˜ao dos parˆametros
O processo de estima¸c˜ao dos parˆametros nos modelos da TRI ao se utilizar o software BILOG-MG ´e feito em trˆes fases: (i) a primeira consiste em estimar estat´ısticas cl´assicas dos itens; (ii) a segunda consiste em estimar os parˆametros dos itens e (iii) a terceira consiste em estimar os parˆametros individuais dos sujeitos avaliados.
O m´etodo de estima¸c˜ao utilizado pelo BILOG-MG ´e o de M´axima Verossimi- lhan¸ca Marginal que utiliza dois processos de resolu¸c˜ao das equa¸c˜oes de m´axima verossi- milhan¸ca marginais: o algoritmo EM (usando o padr˜ao de 10 ciclos) e o m´etodo iterativo de Newton-Gauss (Score de Fisher). O crit´erio de acelera¸c˜ao da convergˆencia utilizado nos passos do algoritmo EM ´e o apresentado por Ramsay (1975) e as prioris utilizadas foram as de default do BILOG. Tal m´etodo pode ser visto com riqueza de detalhes na se¸c˜ao 3.5 de Andrade, Tavares e Valle (2000).
O processo de calibra¸c˜ao (ou estima¸c˜ao) dos itens nos modelos da TRI, fornece estimativas dos valores dos parˆametros dos itens juntamente com seus erros padr˜oes. Em um modelo com trˆes parˆametros, por exemplo, s˜ao estimados os parˆametros “a”, “b” e “c” de cada um dos itens, respectivamente, para em seguida, serem estimadas as proficiˆencias de cada sujeito.
Os modelos da TRI aqui apresentados consideram que a constru¸c˜ao do conhe- cimento ´e um processo cumulativo, justificando a forma gr´afica de sigm´oide para os modelos unidimensionais. Neste contexto, parece razo´avel entender que o parˆametro “a”, represen- tando a discrimina¸c˜ao do item, de tal forma que valores muito grandes de “a” podem sinalizar problemas de convergˆencia no processo de estima¸c˜ao dos parˆametros dos modelos da TRI, tornariam a CCI em forma de uma escada com dois degraus e discriminariam os sujeitos somente em dois grupos. Da mesma forma, valores muito pequenos de “a” fariam com que a
CCI se apresentasse muito suave, quase uma reta, tamb´em n˜ao discriminado o grupo de res- pondentes. Estudos de simula¸c˜ao tˆem mostrado que a maior parte dos valores do parˆametro “a” considerados aceit´aveis est˜ao no intervalo entre 0, 7 e 3, 0. Um crit´erio usual para eliminar itens, avaliando unicamente o parˆametro “a” ´e o seguinte:
i) Itens cujo valor estimado para o parˆametro “a” sejam menores que 0, 7;
ii) Itens cujo valor estimado para o parˆameto “a” apresentem um erros padr˜ao muito grande, em rela¸c˜ao aos demais eros padr˜oes, com o parˆametro “a” na mesma magnitude.
´
E comum, no campo pedag´ogico, padronizar os valores de “b” na escala (0, 1) e quando padronizados apresentam valores no intervalo [−3; 3] com 99, 7% de probabilidade. Ao se considerar unicamente o parˆametro “c” como crit´erio de exclus˜ao de itens, deve-se lembrar que valores para este parˆametro, por representar uma probabilidade de acerto ao acaso, n˜ao devem ser muito grandes, o que possivelmente indicaria pouca contribui¸c˜ao daquele item na estimativa das proficiˆencias. Assim, por exemplo, um item cujo valor do parˆametro “c” seja 0, 5, indica que sujeitos que nada sabem, tem 50% de chances de acertar aquele item.
Quando se trabalha com modelos da TRI de 3 parˆametros, deve-se lembrar que o valor do parˆametro “c” n˜ao pode ser nulo, o que acarretaria no uso do modelo de 2 parˆametros. Diante disso, no trabalho aqui apresentado, ser˜ao desconsiderados itens com valores do parˆametro “c” menores que 0, 1 e maiores que 0, 40.
Finalmente, ap´os o software BILOG-MG estimar as estat´ısticas cl´assicas do teste, estimar os parˆametros dos itens, ele estima as proficiˆencias individuais dos sujeitos avaliados e fornece a curva de informa¸c˜ao do teste que permite localizar o intervalo, na escala de habilidades, na qual os itens s˜ao mais informativos.
3.2.4.2 Identifica¸c˜ao de itens ˆancora e constru¸c˜ao da escala de proficiˆencias Uma grande vantagem, talvez a principal, da TRI no processo de avalia¸c˜ao dos itens, ´e a possibilidade de constru¸c˜ao de uma escala de habilidades que possa ser pedagogi- camente interpret´avel e dessa forma, contribua para a classifica¸c˜ao de sujeitos. Este processo de constru¸c˜ao de uma escala de proficiˆencias ´e definido por n´ıveis ˆancora, caracterizados por conjuntos de itens chamados de itens ˆancora. N´ıveis ˆancora s˜ao pontos selecionados pelo analista na escala de proficiˆencias para serem interpretados pedagogicamente, ao passo que itens ˆancora s˜ao itens selecionados, de conformidade com a defini¸c˜ao a seguir, para cada um dos n´ıveis ˆancora (ANDRADE, TAVARES E VALLE, 2000).
Defini¸c˜ao de item ˆancora (BEATON e ALLEN, 1992): Considere dois n´ıveis
ˆancora consecutivos Y e Z com Y < Z. Dizemos que um determinado item ´e ˆancora para o n´ıvel Z se e somente se as trˆes condi¸c˜oes a seguir forem satisfeitas simultaneamente:
i) P (Ui = 1|θ = Z) ≥ 0, 65 e
ii) P (Ui = 1|θ = Y ) < 0, 50 e
iii) P (Ui = 1|θ = Z) − P (Ui = 1|θ = Y ) ≥ 0, 30
Assim, para que um item seja ˆancora em um determinado n´ıvel ˆancora da escala, ele precisa ser respondido corretamente por pelo menos 65% dos indiv´ıduos com este n´ıvel de habilidade e por menos de 50% dos indiv´ıduos com o n´ıvel de proficiˆencia imediatamente anterior, considerando ainda que a diferen¸ca entre a propor¸c˜ao de indiv´ıduos com esses n´ıveis de proficiˆencia que acertaram ao item, deva ser de pelo menos 30%. Dessa forma, “para que um item seja ˆancora, ele deve ser um item “t´ıpico” daquele n´ıvel, ou seja, bastante acertado por indiv´ıduos com aquele n´ıvel de habilidade e pouco acertado por indiv´ıduos com um n´ıvel de habilidade imediatamente inferior”(ANDRADE, TAVARES E VALLE, 2000, p.110).
Um outro tipo de item, definido como item quase ˆancora, ´e assim classificado quando atende aos seguintes crit´erios:
i) Probabilidade de acerto no n´ıvel posicionado ´e superior a 65%, ou muito pr´oximo desse valor;
ii) Probabilidade de acerto no n´ıvel abaixo do n´ıvel ˆancora ´e inferior a 50%, ou pouco acima desse valor;
iii) ´Indice de discrimina¸c˜ao (ou parˆametro “ai” no modelo log´ıstico de 3 parˆametros) su-
perior a 0, 8.
O processo de identifica¸c˜ao dos itens ˆancora e quase ˆancora teve seus c´alculos realizados com o aux´ılio do software Excell da Microsoft, por meio do qual se calculou as probabilidades de acerto para cada item, substituindo-se os valores calibrados dos parˆametros dos itens na equa¸c˜ao (11) e utilizando-se valores inteiros no intervalo [-4;4] como poss´ıveis valores do parˆametro θ.
A identifica¸c˜ao dos itens ˆancora e quase ˆancora viabilizou a localiza¸c˜ao destes itens na escala de proficiˆencias que, posteriormente, teve sua interpreta¸c˜ao pedag´ogica pro- posta com base nos Parˆametros Curriculares Nacionais para o Ensino M´edio (2000), no que diz respeito `as competˆencias e habilidades do educando propostas em tal documento.