Considerando que o nível de proficiência de um aluno em determinado tema pode estar associado com a quantidade e a qualidade de exercícios que esse aluno faz, foi então feito uso da técnica de regressão linear logística para avaliar o nível de tal relação.
Para tanto, partindo de um determinado tema e nível de complexidade foram coleta- das todas as respostas de todos os exercícios feitos por cada aluno, sendo que o último exercício realizado foi utilizado como questão-prova em função dos exercícios anteriores, ou seja, o último exercício foi a variável resposta que dependeu de exercícios anteriores, de forma a responder a seguinte pergunta:
De que forma os exercícios realizados por um aluno em determinado tema/nível influenciam esse aluno quanto ao acerto de uma questão de mesmo tema/nível na avaliação bimestral?
Dos dez temas abordados no curso (vide Tabela 2), apenas dois foram objeto de avaliação na segunda prova bimestral (aplicada no final do primeiro semestre de 2017.1), a saber, Movimento Retilíneo Uniforme e Movimento Retilíneo Uniformemente Variado. Desta forma, os modelos gerados concentraram-se nos dois temas citados.
Analisando os dados que contêm as respostas dos exercícios dos alunos no tema 85: Movimento retilíneo uniformemente variado para os níveis básico, intermediário e avançado, apenas a variável Número de Tentativas se mostrou significativa para o modelo, ao nível de significância de 5%. Assim, obteve-se o seguinte modelo final ajustado:
(Chance de acerto)i= 0, 13779 ∗ (Notentativas)
i, i = 1,. . . ,n. A Tabela 17 apresenta a análise de estimativas realizada.
Tabela 17 – Análise de Estimativas
Variável Estimativa p-valor Node tentativas 0,1378 0,0157
Observando os dados de cada aluno, como as variáveis número de acertos e tentativas de resolução nos exercícios no tema 85, foram obtidas as chances de acerto desses alunos numa suposta questão-prova sobre o mesmo tema.
A Figura 48 apresenta um gráfico boxplot que aponta as chances de acerto calculadas com base nos exercícios resolvidos.
Figura 48 – Fonte de Acerto × Resultado Observado na Questão- Prova
Observando a Figura 48 percebe-se que todos os alunos que erraram a questão-prova tinham chance de acerto bem menor que os alunos que acertaram a questão-prova, ou seja, a quantidade de exercícios resolvidos mesmo sem considerar a quantidade de acertos, influencia no bom desempenho do aluno nas avaliações futuras (questão-prova, por exemplo).
A Tabela 18 traz uma comparação entre as chance de acerto na questão-prova com as notas obtidas pelos alunos na avaliação final bimestral.
Tabela 18 – Comparação entre a chance de acerto dimensionada com a nota obtida na bimestral. ID_aluno N_quest Acertos Tentativas Chance
de Acerto (RL) Questão-prova Nota_t85_bim
15 0 0 0 0,5 0 0,29 81 0 0 0 0,5 0 0,43 85 0 0 0 0,5 0 0,29 26 1 0 1 0,56 0 0,57 48 1 1 1 0,56 0 0,29 83 1 1 1 0,56 0 0,14 99 1 0 1 0,56 0 0,43 56 3 3 4 0,67 0 0,14 47 4 4 10 0,72 0 0,29 90 5 3 5 0,77 0 0,86 44 1 0 1 0,56 1 0,71 54 1 0 1 0,56 1 0,29 55 1 1 1 0,56 1 0,29 61 1 1 2 0,56 1 1 62 1 1 2 0,56 1 0 92 2 1 3 0,62 1 0,57 72 3 3 8 0,67 1 0 96 3 1 4 0,67 1 0,29 12 5 4 6 0,77 1 0,43 91 5 2 7 0,77 1 0,43 .. . ... ... ... ... ... ...
A coluna Chance de Acerto indica a chance do aluno acertar uma questão-prova, baseada em seus exercícios anteriores. Enquanto que na coluna seguinte, temos a real resposta do aluno na última questão-prova (último exercício realizado pelo aluno antes da prova bimes- tral).Em seguida tem-se a nota obtida pelo aluno na avaliação final bimestral. Percebe-se nas primeiras três linhas da tabela, por exemplo, que mesmo sem ter resolvido nenhum exercício,
esses alunos tem 50% de chance de acertar uma questão-prova.
A Figura 49 apresenta um gráfico de dispersão dos alunos que erraram na questão- prova (último exercício realizado) com a nota obtida na avaliação bimestral. A Figura 50 mostra a mesma a relação com os alunos que acertaram a última questão-prova.
Figura 49 – Chance de Acerto x Proporção de Acerto na Bimestral (Alunos que erraram a questão-prova)
Fonte – da pesquisa.
Figura 50 – Chance de Acerto x Proporção de Acerto na AV Bimestral (alunos que acertaram a questão-prova)
Fonte – da pesquisa.
De forma geral, percebe-se que os alunos que acertaram a questão-prova (Figura 50), além de terem chances de acerto maiores por parte do modelo de regressão logística, grande parte obteve notas elevadas na avaliação bimestral, em comparação com os alunos que não acertaram na questão prova.
No entanto, percebe-se muito que as chances de acerto no geral são altas, maiores que 50% para todos os alunos, o que indica que o modelo de regressão logística para previsão de acerto na avaliação é pouco informativo.
Analisando o Tema 86: Movimento Retilíneo Uniforme
Analisando os dados que contém as respostas dos exercícios do alunos no tema 86: Movimento Retilíneo Uniforme (níveis básico, intermediário e avançado)foi verificado que as variáveis Número de Acertos e Número de Tentativas se mostraram significativas para o modelo, ao nível de significância de 5%. Assim obteve-se seguinte modelo final ajustado:
(Chance de acerto)i= 0, 6218 ∗ (Noacertos)i− 0,4534 ∗ (Notentativas)i, i = 1,...,n. A Tabela 19 apresenta as estimativas para o modelo.
Tabela 19 – Análise das estimativas
Variável Estimativa p-valor Node acertos 0,6218 0,021 Node tentativas -0,4534 0,0296
Aplicando no modelo os dados observados de cada aluno (número de acertos e número de tentativas de resolução nos exercícios no tema 86: Movimento retilíneo uniforme), obteve-se as chances de acerto desses alunos numa suposta questão-prova sobre o mesmo tema. A Figura 51 mostra as chances de acerto calculadas com base nos exercícios resolvi- dos dispostas em um gráfico boxplot.
Figura 51 – Chance de Acerto vs Resultado da Questão-prova (Tema 86).
Fonte – da pesquisa
Mais acentuado que no modelo do tema 85, percebe-se que as chances de acerto na questão-prova são maiores para os alunos do grupo que realmente acertou. O que indica um bom
desempenho do modelo em indicar a chance de acerto. A melhora na eficiência desse modelo em comparação ao anterior é em razãodo maior número de observações disponíveis.
A Tabela 20 exibe os dados obtidos a partir da interação dos alunos com a arquitetura. Tabela 20 – Dados da interação dos alunos e previsão de acerto do modelo.
id_aluno n_quest acertos tentativas chance_de acerto (reg. logística) resposta na última questão dos exercícios nota_t86_bim 85 13 6 16 0,10 0 0,67 60 9 4 10 0,17 0 0,67 59 2 1 4 0,43 0 0,00 56 14 10 21 0,47 0 0,33 91 7 5 8 0,48 0 1,00 .. . ... ... ... ... ... ...
Analisando por meio de gráfico de dispersão, percebe-se que ao comparar com a nota obtida na avaliação bimestral, muitos alunos que tinham baixa chance de acerto numa questão-prova, tiveram um bom desempenho na avaliação bimestral (Figura 52). Sugerindo, mais uma vez,a importância de se adotar um outro método de previsão de desempenho que tenha melhor desempenho.
Figura 52 – Chance de Acerto x Proporção de Acerto na Bimestral (alunos que erraram)
Fonte – da pesquisa.
Figura 53 – Chance de Acerto x Proporção de Acerto na AV Bimestral (alunos que acertaram a questão-prova)