O projeto baseou-se na construção de três provas online de avaliação com propósitos formativos- adiante designadas por ‘prova online’- a utilizar pelos alunos antes da realização de cada prova de avaliação com propósitos sumativos. Cada prova online ficou disponível com uma antecedência de duas semanas em relação à respetiva prova de avaliação com propósitos sumativos. Pretendeu-se desta forma integrar as provas online nas práticas de estudo e de preparação para a avaliação sumativa, proporcionando a validação dos seus conhecimentos e, através do feedback recebido, uma orientação relativamente aos recursos e localização dos conteúdos abordados. Através do feedback a que a professora teve acesso, com as respostas e respetiva classificação por aluno, proporcionou-se-lhe a perceção acerca das lacunas de cada aluno e a possibilidade de ação atempada para as colmatar.
As provas online foram construídas através da atividade ‘Teste’, integrada na disciplina de Biologia/Geologia do 11º ano criada no sistema de gestão da aprendizagem Moodle-versão 2.4 da escola onde o projeto decorreu. Esta opção justificou-se pelo fato de o Moodle, nesta versão, permitir a implementação dos requisitos fundamentais ao estudo: inclusão de elementos multimédia na formulação das questões e no feedback; feedback específico para cada questão e de acordo com o resultado obtido em cada questão; feedback global após o término da prova online e de acordo com o resultado final obtido; diversificado tipo de questões e em uniformidade com as provas nacionais; atribuição de classificações possíveis de serem adaptadas a cada tipo de questão.
As provas online foram desenvolvidas de acordo com as orientações, questões, critérios de correção, feedback e classificações definidas pela professora da disciplina, e em harmonia com as provas nacionais que os alunos tiveram de realizar no âmbito da disciplina: teste intermédio e exame nacional.
39
As provas online desenvolvidas respeitaram a mesma estrutura das provas de avaliação com propósitos sumativos que por sua vez foram articuladas com a estrutura das provas nacionais. Este requisito foi determinado pelo grupo disciplinar de Biologia/Geologia para os anos de ciclo em que os alunos realizam provas nacionais, situação em se encontro a turma abrangida pelo estudo.
Desta forma, procurou-se não utilizar elementos radicalmente diferentes em relação às provas nacionais, tanto no formato de pergunta, como no tipo de resposta. Por fazerem parte dos objetivos de investigação, incluíram-se elementos multimédia, tanto nas questões como no feedback, mas não em excesso para não promover nos alunos o contato com elementos que não encontrariam nas provas de avaliação com propósitos sumativos nem nas provas nacionais, que são elaboradas no formato tradicional, em papel.
Na construção das provas online foram especialmente ponderados os seguintes aspetos: formato de cada questão e forma de implementação no Moodle; método de classificação de cada questão; forma de penalização nas respostas erradas; integração de vídeos no enunciado e no feedback de cada questão; forma de apresentação dos resultados (qualitativos e quantitativos); feedback global da prova. Na 2ª prova alguns destes fatores foram ajustados de forma diferenciada em relação à 1ª, de modo a percecionar a preferência dos alunos relativamente às suas características. Porém, as alterações foram em número reduzido para manter o máximo de coerência entre as provas online e as provas em formato papel na medida em que demasiadas alterações poderiam provocar alguma confusão, dificultando a capacidade de comparação das provas pelos alunos, uma vez que se realizaram com um mês de diferença.
Pretendeu-se que os alunos realizassem as provas online, ao longo do período de estudo para a respetiva prova de avaliação com propósitos sumativos, mantendo-as disponíveis até à conclusão dos exames nacionais. Desta forma os alunos poderiam regular a sua preparação de acordo com o feedback obtido.
A 1ª prova online foi disponibilizada a 16 de janeiro, a 2ª a 18 de fevereiro e a 3ª a 6 de maio de 2013. As provas ficaram disponíveis aos alunos entre seis e onze dias de antecedência em relação às provas de avaliação com propósitos sumativos, e até ao final do ano letivo.
Do total da amostra, 13 alunos utilizaram a 1ª prova online, 10 utilizaram a 2ª e 14 a 3ª. Alguns alunos utilizaram as provas online mais de uma vez ao longo da sua preparação para a avaliação com propósitos formativos. Esta informação foi obtida
através dos relatórios do Moodle na 1ª prova, e também através dos questionários referentes à 2ª e 3ª prova (no 1º questionário não constaram as questões relativas à reutilização da prova).
Tabela 1: Utilização das provas online
n=19 Alunos que utilizaram Alunos que reutilizaram 1ª prova 13 2 2ª prova 10 3 3ª prova 14 2
Após a utilização de cada prova online, e realização da respetiva prova de avaliação com propósitos sumativos, foi aplicado um questionário online com o objetivo de obter respostas às questões de investigação. No total foram aplicados três questionários aos alunos.
No seguimento da análise da utilização da 1ª prova e dos resultados do 1º questionário, sentiu-se necessidade de acrescentar algumas questões ao 2º questionário, por forma a percecionar a opinião dos alunos acerca das alterações efetuadas a determinadas características da 2ª prova em relação à 1ª. Estas novas questões centraram- se na reutilização das provas online e no período da sua utilização, assim como nas decisões tomadas pelos alunos após a receção do feedback das provas. No 3º questionário introduziram-se duas questões de resposta aberta, no sentido de obter informações relativas a aspetos positivos e negativos associados às provas online.
Relativamente à participação em cada questionário, o 1º teve 17 respondentes, o 2º teve 11 respondentes e o 3º teve 19 respondentes.
Todos os questionários foram desenvolvidos na aplicação LimeSurvey e disponibilizados online, facilitando assim a exportação dos dados recolhidos para o programa SPSS Statistics (Statistical Package for the Social Sciences), através do qual os dados foram analisados.
41