A construção de testes psicológicos constitui uma atividade complexa que exige a execução de uma série de atividades inter-relacionadas em que as decisões tomadas nas etapas iniciais interferem no curso dos procedimentos a serem adotados posteriormente (Adánez, 1999). Além disso, uma construção adequada de testes requer do pesquisador a aquisição de conhecimentos específicos da área de interesse, tanto de ordem teórica quanto prática, indo desde a definição clara do construto a ser avaliado, até o domínio de técnicas estéticas e da psicometria (Noronha, Freitas & Ottati, 2002).
Segundo Adánez (1999), o planejamento cuidadoso das etapas de construção de um teste é um pré-requisito fundamental para o sucesso de uma pesquisa. Nesse processo, o autor ressalta ainda a importância das etapas iniciais, como a construção dos itens ou a redação das instruções, as quais seriam freqüentemente (e de uma maneira injustificada) negligenciadas por muitos pesquisadores, o que comprometeria de uma forma irremediável o produto final ou a qualidade das pesquisas.
Apesar de a construção de um teste não seguir etapas rigidamente pré- estabelecidas, muitos pesquisadores (p. ex., Adánez, 1999; Oakland, 1999; Pasquali, 1996; Urbina, 2007) têm se dedicado à descrição das fases envolvidas nesse processo. Adánez (1999), por exemplo, expõe 13 etapas a serem consideradas e as divide em dois estágios distintos. Desta forma, as sete primeiras etapas seriam partes de um processo de planificação, elaboração e correção do material básico de um teste, cujo critério norteador seria a teoria. Em contrapartida, nas etapas seguintes teriam peso os critérios empíricos, referindo-se à obtenção de dados da prova experimental com a finalidade de
selecionar os itens que mais bem se ajustem às características planificadas. As etapas descritas por Adánez são resumidas na Tabela 4:
Tabela 4
Etapas de construção de um teste descritas por Adánez (1999)
Etapa Descrição
1. Definição dos objetivos do teste
Constitui a identificação dos usos ou a natureza das inferências que se pretende fazer com a pontuação dos testes. São geralmente empregados três objetivos de testagem, sendo que dois colocam ênfase na característica pragmático-utilitária dos testes (avaliação do rendimento e predição) e um na relevância teórica (medição de um traço psicológico). Esta fase teria repercussões na identificação das características que os itens deverão ter (etapa 4) e no tipo de instruções a serem dadas na tarefa (etapa 5).
2. Especificação do contexto
Observação das características da população a que o teste se dirige e das condições de aplicação (se individual ou coletiva, usos do tempo).
3. Eleição do modelo matemático
A escolha pela Teoria Clássica dos Testes (TCT) ou pela Teoria de Resposta ao Item (TRI), que apresenta repercussões na construção e nos critérios de seleção dos itens, tendo também impacto no tamanho da amostra a ser avaliada.
4. Definição do domínio
Etapa em que se define o construto que se pretende avaliar, delineando-se de maneira precisa as características dos indicadores que serão utilizados para representar o domínio (conteúdo, padrões característicos, etc.), de tal maneira que seja possível amostrá-lo adequadamente por meio dos itens do teste.
5. Construção dos itens e das instruções
A partir do que foi definido pelas etapas anteriores, constrói-se os itens e, posteriormente, as instruções. Estas últimas devem ser formuladas de tal forma a garantir que cada participante entenda claramente o que deve fazer, além de motivá-los a conseguir seu máximo nível de execução, ou responda com sinceridade às questões.
6. Revisão do teste inicial por especialistas
É conveniente consultar especialistas para que julguem aos itens e às instruções em aspectos tais como a precisão dos enunciados, a adequação do vocabulário empregado, a pertinência do material a respeito do domínio previamente definido, etc.
7. Estudo piloto A aplicação piloto do teste a uma pequena amostra da população em estudo pode ser útil para verificar aspectos pragmáticos como: se os itens e a forma de responder aos mesmos são bem compreendidos, o tempo de aplicação do teste, o cálculo do tamanho amostral, etc.
8. Seleção de amostras e aplicação do teste
É necessário garantir que o teste será administrado a sujeitos característicos de todos os níveis do traço medido e a distintos setores da população com diferentes níveis em tais atributos, garantindo-se, assim, a representatividade da amostra.
Tabela 4 (Continuação).
Etapa Descrição
9. Análise e seleção empírica dos itens
Seleção de itens baseada na TCT ou na TRI. No primeiro caso, a análise se baseia no índice de dificuldade e discriminação dos itens. Comumente, emprega-se uma análise da consistência interna, que fornece um índice de fidedignidade dos itens e também fornece subsídios para a validação de construto. A TRI se efetua por meio do ajuste dos itens ao modelo, seleção dos itens adequados e calibração do banco de itens.
10. Avaliação da fidedignidade do teste
As formas mais comuns de se obter o índice de fidedignidade são por meio de formas paralelas, teste-reteste, duas metades e o Coeficiente de fidedignidade Cronbach.
11. Avaliação da validade do teste
Atualmente, as pesquisas com testes psicológicos têm se concentrado na validação de construto, que é o grau em que um teste mede um traço teórico. Nesse sentido, a validade não pode se resumir a uma só medida, mas deve basear-se em evidências múltiplas, progressivas e convergentes. Apesar desse reconhecimento crescente, as técnicas empregadas são comumente divididas em três categorias: correlacionais, diferenciais e experimentais.
12. Elaboração das normas
A maior parte dos testes TCT usa normas de grupo, que se baseiam em uma comparação da pontuação de um sujeito com a distribuição de pontuações do grupo a que o sujeito pertence. A maior parte das normas é apresentada mediante a transformação das pontuações diretas em escalas como os percentis, escores z e pontuações típicas normalizadas derivadas.
13. Redação do manual de uso
Devem ser especificadas todas as características do teste: fundamentos teóricos, objetivos, possíveis usos, população a que se dirige, recursos necessários para a aplicação, procedimento de aplicação e correção, normas, validade, fidedignidade, referências bibliográficas e qualquer outra recomendação necessária de uso correto.
Obviamente, a divisão proposta por Adánez (1999) possui um caráter mais didático do que propriamente um caminho a ser seguido para a construção de testes psicológicos. Mesmo assim, serão resumidos a seguir os procedimentos de pesquisa utilizados anteriormente ao estágio atual da construção da prova computadorizada de reconhecimento de palavras que comporá a bateria AVACLE considerando-se as etapas descritas por Adánez. Posteriormente, serão apresentadas as etapas a serem cumpridas ao longo dessa dissertação, também se tendo como referência as fases propostas por este autor.