Com a utilização de QEM, a tentativa de o aluno tentar acertar na resposta correta, em vez de conduzir um processo de resolução que leve à resposta correta, está sempre presente (Haladyna, 2004). Refere Haladyna (2004) que o aluno ou: i) sabe a resposta correta; ii) tem conhecimento parcial que lhe permite eliminar distratores não plausíveis; iii) tenta simplesmente adivinhar a resposta de forma aleatória na ausência de qualquer conhecimento. Qual a probabilidade de um aluno poder acertar na resposta correta, sem qualquer tipo de penalização numa resposta errada, a uma QEM na ausência de qualquer conhecimento? Por exemplo, a probabilidade de um aluno acertar na resposta correta a uma QEM de forma aleatória, considerando o seu formato com 4 alternativas, é de 25%. É um valor bastante elevado, mas num teste com duas QEM a probabilidade de acertar em ambas é 6.25%, num teste com três QEM a probabilidade de acertar nas três é aproximadamente igual a 1.56%, num teste com quatro QEM a probabilidade de acertar nas quatro é aproximadamente igual a 0.39%, isto é, aumentando o número de QEM num teste diminui-se significativamente a probabilidade de o aluno acertar em todas as questões, aproximando-se esta probabilidade de zero. Já a probabilidade de um aluno acertar de forma aleatória em pelo menos cinco QEM num teste de 10, isto é, a probabilidade de tirar positiva, é aproximadamente igual a 8%, mas se forem 20 questões a probabilidade desce para cerca de 1%, enquanto a probabilidade de acertar de forma aleatória em pelo menos 14 QEM num teste de 20, isto é, obter 14 ou mais valores (supondo 1 valor para cada questão), é aproximadamente igual a 0.003%. São probabilidades que podemos considerar bastante pequenas, mas que ainda assim serão de considerar. É então necessário
utilizar estratégias que levem os alunos a desistir da tentativa de acertar na resposta correta na ausência de qualquer conhecimento.
Uma das estratégias para minimizar este problema é a atribuição de penalizações quando são selecionados distratores. Verifica-se que este procedimento reduz a probabilidade de um aluno obter, por exemplo, uma classificação positiva. No entanto, alguns autores afirmam que a atribuição de uma cotação negativa às opções distratoras pode prejudicar os alunos que têm menos tendência para arriscar, favorecendo, por exemplo, os indivíduos do género masculino (Ávila & Torrubia, 2004; Brown, 2001; Douglas et al., 2012; Jordan, 2013; Triantis & Ventouras, 2012).
Triantis e Ventouras (2012) apresentam uma abordagem interessante para minimizar a tentativa de os alunos tentarem adivinhar a resposta na ausência de qualquer conhecimento, para além da atribuição de penalizações a respostas erradas. Eles conceberam um sistema de verificação dupla: i) todas as QEM do teste são colocadas aos pares, isto é, em cada teste são colocadas duas questões abordando os mesmos tópicos sem que isso possa ser percebido pelos alunos; ii) é atribuído um bónus aos alunos que acertam ambas as questões do par; iii) é atribuída uma penalização se uma das questões do par está errada e a outra está certa. De qualquer das formas, de acordo com Haladyna (2004), a tentativa de os alunos tentarem adivinhar a resposta correta não terá grande influência na classificação final, se forem incluídas questões em número suficiente, portanto, testes mais longos apresentarão menores problemas a este nível. Uma outra forma de controlar melhor este problema consiste na utilização de formatos diversificados para as questões. Existem vários formatos possíveis para as QEM. No caso de uma questão tradicional com 4 opções de resposta, qualquer opção selecionada de forma aleatória tem três vezes maior probabilidade de estar incorreta do que correta. Assim sendo, atribuir a cotação +3 à opção correta e a cotação -1 a cada uma das opções distratoras resulta num esquema de atribuição de cotações que é neutro para aqueles que tentam acertar na resposta correta de forma aleatória (Bush, 2015). Desta forma, quem faz o teste não tem nada a ganhar ou a perder, em média, isto é, o valor esperado é zero. O esquema de cotações deverá ser sempre desenhado de modo a obter um esquema neutro.
Bush (2015) distingue “adivinhar de forma aleatória” de “adivinhar de forma informada”. Adivinhar de forma aleatória ocorre quando aquele que responde tem a mesma confiança em qualquer uma das opções e, ainda assim, escolhe uma delas como resposta. Adivinhar de forma informada ocorre quando aquele que responde tem confiança diferente em alguma(s) das opções e não é capaz de expressar evidentemente qual é a sua convicção. Em vez disso, tem de escolher arbitrariamente entre duas ou mais opções, para as quais tem uma confiança igual ou aproximadamente igual. A partir destes dois conceitos (adivinhar de forma aleatória vs. adivinhar de forma informada), Bush (2015) apresenta oito formatos diferentes para as questões de escolha múltipla, os quais descrevemos, de forma abreviada, na Tabela 6. Os três formatos
de seleção repetida adaptam-se especialmente bem a uma utilização no contexto do
e-assessment, enquanto os restantes formatos podem ser utilizados em ambos os contextos, e- assessment e avaliação em suporte papel.
Tabela 6: Classificação de formatos de QEM de Bush (2015)
Formato Descrição/Exemplo4
Tradicional “Selecione a opção que considera ser a mais correta. +3 valores serão atribuídos a uma resposta correta, -1 valor a uma resposta incorreta.”
Nota: Podem ser introduzidas variações a este formato. Por exemplo, solicitar
ao aluno que atribua um nível de confiança (baixo, médio ou alto) à resposta por ele dada. A cotação atribuída, quer seja positiva, quer seja negativa, refletirá também este nível de confiança5.
Seleção de um
subconjunto “Selecione a(s) opção(ões) que considera ser(em) a(s) mais correta(s); pode selecionar até três opções. +3 valores serão atribuídos a uma resposta correta, - 1 valor a uma resposta incorreta.”
Seleção de um
distrator “Selecione a(s) opção(ões) que considera corresponder(em) a uma (ou mais) resposta(s) errada(s); pode selecionar até três opções. +1 valor será atribuído a cada resposta errada corretamente identificada, -3 valores a uma resposta incorreta.”
Nota: Podemos ver este formato como o inverso do formato seleção de um
subconjunto: aqui, devem selecionar-se as opções distratoras, no formato anterior, devem selecionar-se as opções que se acredita serem mais plausíveis. Ordenação
estrita “Ordene as opções de acordo com a probabilidade que atribui a cada uma delas de estar correta, onde “1” indica a mais provável e “4” indica a menos provável. Serão atribuídos os valores +3, +1, -1 ou -3 dependendo da posição 1ª, 2ª, 3ª ou 4ª (respetivamente) em que colocar a opção correta.”
Nota: +3, +2, +1 ou -6, poderia ser uma cotação alternativa, a qual
recompensaria o conhecimento parcial de forma mais generosa.
Seleção repetida “Em primeiro lugar, selecione a opção que considera ser a mais correta, ou pode optar por não responder. Se a sua primeira seleção estiver incorreta, pode fazer uma segunda seleção ou pode optar por não responder. Se a sua segunda seleção estiver incorreta, pode selecionar uma opção final entre as duas restantes, ou pode optar por não responder.”
Nota: Utilizando-se e-assessment, este formato pode tornar-se mais amigável,
separando a apresentação da questão em vários passos. Em primeiro lugar: “Selecione a opção que considera mais correta ou não responda.” Depois, duas ou três vezes conforme necessário, poderia surgir algo semelhante a: “Incorreto. Selecione outra opção ou não responda.”
Seleção repetida
de um distrator “Em primeiro lugar, selecione uma opção que considera estar incorreta, ou pode optar por não responder. Se a sua primeira seleção estiver incorreta, pode fazer uma segunda seleção ou pode optar por não responder. Se a sua segunda seleção estiver incorreta, pode selecionar uma opção final entre as duas restantes, ou pode optar por não responder.”
4 Considerando questões com quatro opções.
5 Curtis e colaboradores (2013) apresentam um caso interessante de aplicação deste formato de questões na área da Medicina. Distinguem dois tipos de alunos: mal-informados – aqueles que têm uma resposta incorreta, mas têm um nível elevado de confiança que a resposta está correta; e não informados – aqueles que têm uma resposta incorreta mas têm um nível baixo de confiança que a resposta está correta. Consideram que estes dois tipos de alunos exigem diferentes estratégias remediativas de intervenção.
Formato Descrição/Exemplo4
Nota 1: Utilizando-se e-assessment também este formato pode tornar-se mais
amigável, separando a apresentação da questão em vários passos. Na resposta à questão, pode-se selecionar um distrator a cada passo, até que já não haja mais distratores, ou até se ter identificado a opção correta como distratora.
Nota 2: De certa forma, este formato é o inverso do formato seleção repetida,
visto que aqui se começa por selecionar a opção que é a menos provável que esteja correta, em vez de ser a mais provável.
Ordenação
parcial “Ordene as opções de acordo com a probabilidade que atribui a cada uma delas de estar correta, onde 1 indica a mais provável e 4 indica a menos provável. Pode atribuir a mesma posição a qualquer das opções, de modo que a ordenação pode ser qualquer uma das seguintes: (1-2-3-4), (1-1-3-4), (1-2-2-4), (1-1-3-3), etc.. Serão atribuídos um dos valores de +3 a -3, dependendo da ordenação feita e da posição em que estiver a resposta correta.”
Nota: A cotação é baseada no formato “Ordenação estrita”. Considerando os
exemplos de resposta dados, a primeira resposta obteria a cotação de +3, a segunda resposta +2 (média entre +3 e +1), etc. Para uma resposta (1-1-1-1) , a cotação seria 0.
Seleção repetida de um
subconjunto
Inicia-se de forma idêntica à do formato seleção de um subconjunto, isto é: “Selecione a(s) opção(ões) que considera ser(em) a(s) mais correta(s); pode selecionar até três opções. +3 valores serão atribuídos a uma resposta correta, - 1 valor a uma resposta incorreta.”
Caso o primeiro conjunto selecionado não inclua a opção correta, poderá ser dada uma segunda oportunidade e, eventualmente, uma terceira.
A atribuição de uma cotação negativa pode desencorajar a tentativa de adivinhar de forma aleatória, mas é esperado que as QEM com formato tradicional incentivem a tentativa de adivinhar de forma informada. O formato “Seleção de um distrator” pode tornar-se mais efetivo que o formato “Seleção de um subconjunto”, uma vez que reduz a probabilidade de se tentar adivinhar de forma aleatória. Para o formato “Ordenação estrita”, aqueles que respondem à questão poderão ser levados a empreender uma resposta de forma informada. Já os formatos “Ordenação parcial” e “Seleção repetida de um subconjunto” eliminam de forma definitiva qualquer necessidade de adivinhar a resposta, podendo assim ser considerados os mais adequados para utilização em avaliação sumativa. Os formatos “Seleção repetida” e “Seleção repetida de um distrator” poderão ser considerados os formatos mais adequados para utilização em avaliação formativa, devido ao seu feedback permanente (Bush, 2015).
Na sequência das diferentes propostas de Bush (2015) para o formato de QEM, e supondo a existência de quatro opções por questão, o número de respostas possível para cada formato é variável. Assim, para o formato “Tradicional” existem 5 respostas possíveis6. Para cada um dos
formatos “Seleção de um subconjunto” e “Seleção de um distrator”, o número de respostas possíveis é de 16 e para o formato “Ordenação estrita” é de 25. Já para os restantes formatos, Bush afirma não ser possível determinar o número de respostas possíveis. Desta forma, verifica- se que a probabilidade de os alunos adivinharem a resposta correta de forma aleatória é menor