Dagens transport

Após a elaboração e a revisão, os itens são submetidos ao pré-teste, ou seja, a uma aplicação, prévia à aplicação definitiva do instrumento, com os objetivos principais de verificar empiricamente a qualidade dos itens e de levantar algumas informações que possibilitem uma tomada de decisão sobre aqueles que entrarão no teste definitivo. Trata- se de mais uma etapa pela busca de um bom grau de validade e fidedignidade dos resultados da avaliação.

3.3.2.1 Estrutura do pré-teste

O pré-teste é programado, tendo em vista os propósitos da avaliação, o delineamento do teste e o desenho da amostra de examinandos da aplicação definitiva, associados às teorias e aos modelos que serão adotados para análise de dados. O tamanho e o desenho do teste definitivo, incluindo a cobertura dos conteúdos e domínios cognitivos, orientarão a definição do número e das especificações dos itens a serem pré-testados.

Como o número de itens que apresenta um bom grau de qualidade após a análise dos dados do pré-teste, geralmente, é inferior ao número de itens pré-testados, o número de itens pré-testados deve ser superior ao número que será utilizado. O desenho do teste definitivo planejado antes da estruturação do pré-teste permitirá ainda programar o quantitativo de itens que será pré-testado para cada um dos descritores (conteúdos, domínios cognitivos, etc.) das matrizes de referência.

O planejamento do teste definitivo e os procedimentos que serão utilizados para compô-lo, associados a teorias e a modelos específicos, terão impacto na definição das informações estatísticas que se esperam obter após o pré-teste. Assim, terá relação também com as teorias e os modelos que serão assumidos para a análise dos dados do pré-teste. Se o objetivo é compor o teste definitivo tendo por base uma função de informação meta do teste (target information function), selecionando-se itens com base na função de informação de cada um deles (Hambleton, Jones & Rogers, 1993), por exemplo, a estrutura do pré-teste deve permitir que esses parâmetros sejam estimados. Hambleton e Jones (1993) consideram que “(...) em função da TRI requerer tamanhos de amostras grandes para obtenção de boas estimativas dos parâmetros dos itens, o desenvolvedor do teste deve selecionar uma amostra de examinandos com tamanho suficiente para garantir uma calibração acurada dos itens” (p. 44).

Por sua vez, caso se pretenda utilizar a TCT para análise dos resultados do Pré- teste, por considerar que apresenta informações suficientemente claras para um grupo de professores construírem o instrumento definitivo, deve-se preocupar em constituir testes com características de paralelos e delinear a amostra de examinandos representativa da população, pressupostos da teoria (Hambleton e Jones, 1993).

Geralmente, o desenho do pré-teste deve contemplar a inclusão de uma grande quantidade de itens. Assumir um delineamento em que todos os estudantes respondem a uma grande quantidade deles torna-se praticamente inviável. Johnson (1992) alerta para a deteriorização do desempenho dos estudantes em função dos efeitos da fadiga e da decrescente motivação em respostas a testes muito extensos.

Uma solução é a aplicação de instrumentos diferentes para grupos diferentes de examinandos. Pode ser viabilizado pela construção de blocos de itens e combinação por rotação desses para a construção de vários cadernos.

3.3.2.2 Análise de dados do pré-teste

Os resultados do pré-teste podem ser analisados de acordo com a TCT (Hambleton & Jones, 1993; Pasquali, 2003) ou com a TRI (Cronbach, 1996; Hambleton & Jones, 1993; Hambleton, Jones, & Rogers, 1993; Hambleton, Swaminathan, & Rogers, 1991; Pasquali, 2003), considerando-se sempre as limitações quanto aos pressupostos de cada uma das teorias, bem como as vantagens de cada uma delas e de seus modelos associados. De forma geral, ambas fornecem informações relevantes para tomada de decisão dos itens que comporão o teste definitivo, bem como sugerir ajustes na formulação de itens.

Por meio da TCT, os índices p e r orientam a tarefa de desenvolvimento do teste definitivo. O rbis calculado por alternativa de itens de múltipla escolha fornece informações preciosas, pois permite indicar um possível distrator (alternativa incorreta) atrativo para os estudantes que se desempenharam bem no teste, o que não é esperado de um item discriminativo. Esses itens podem ser descartados ou mesmo sofrerem algum ajuste pontual, com base nas informações estatísticas, de forma a serem aproveitados no teste final.

Os parâmetros a, b e c estimados pela TRI, bem como a CCI e a FCI também orientarão a seleção dos itens do teste definitivo. De acordo com Hambleton, Jones e Rogers (1993) os modelos de resposta ao item traduzem-se em um poderoso método para a descrição e a seleção de itens. Ressalta-se a importância da (a) função de informação do item para a seleção de itens que cubram toda a extensão do traço e (b) da inclinação da curva característica do item para a seleção daqueles mais discriminativos.

Em suma, com base nos resultados do pré-teste, é possível calcular o poder discriminativo e a dificuldade dos itens que orientarão a decisão sobre sua permanência ou não no teste; indicar a existência de algum distrator não-plausível ou que está atraindo indevidamente ao erro alunos com maiores habilidades; indicar problemas de entendimento do enunciado ou das alternativas que impedem um bom desempenho dos estudantes com proficiências mais altas; indicar a chance que alunos com baixa habilidade têm de acertar um item mais difícil sem apresentar habilidade suficiente para tal.

Além de subsidiar a construção do teste, os resultados do pré-teste permitem orientar os procedimentos de aplicação e de padronização, o pré-teste pode orientar a

adoção de um tempo de aplicação adequado ao ritmo dos estudantes, verificar se as instruções previstas para a aplicação final são de claro entendimento, testar os procedimentos operacionais de distribuição de testes aos locais de aplicação, de treinamento dos aplicadores.