Foram realizadas pesquisas (laboratórios) com um público classificado por estar envolvido na área da educação, como doutores, mestres e especialistas de diferentes instituições, profissionais de diferentes áreas e nacionalidades.
A seguir é apresentado o resultado consolidado: - Média de idade dos entrevistados: 28 anos
Figura 36: Grau de escolaridade dos entrevistados. Desenvolvido pelo autor.
A seguir são apresentados os resultados obtidos com os testes aplicados para o público, com a intenção de validar a proposta, bem como identificar se algum dos participantes já utilizou algo parecido. Isto para a finalidade de se considerar a pesquisa como inédita, além dos estudos sobre as bibliografias apresentadas, assim como o estado da arte. Cabe lembrar que o formato da pesquisa foi apresentado no Capítulo 1.
Tabela 19: Resultados do laboratório. Desenvolvido pelo autor.
Sim Não Razoável
A navegação é simples? 20 0 0
Ficou claro o cenário ? 18 1 1
O sistema é interessante? 20 0 0
O visual é agradável? 16 0 4
Os personagens são divertidos? 18 0 2
A disputa com SoftBots é interessante? 12 1 7
Você teve algum problema ou dificuldade? 0 18 2
A ideia ficou clara? 18 1 1
Você recomendaria o sistema? 20 0 0
É adequado para um público estudantil? 19 0 1
Você já viu algo parecido? 0 20 0
Divertido Chato Agradável
O que você achou do Gameplay? 10 0 10
Normal Indiferente Razoável
Tabela 20: Resultado da pesquisa sobre os pontos positivos. Desenvolvido pelo autor. Quais são os pontos positivos ?
A explicitação do grau de confiança
Estender o uso de teste tipo múltipla escolha. Disputa com alunos
a possibilidade de uma avaliação mais ampla no caso do ensino a distancia Pode ajudar na detecção de delagens na artmética
melhora a avaliação
Para estudos sobre como estudar, identificar a cumplicidade, de envoleimento. É uma mudança cultural de como ver os estudos e aplicações de certeza e garantia de como fazer.
Mudar o pensamento na hora de responder um questionario, ser sincero ou não. A possibilidade de ver a avalição em uma ótica diferente.
Achei muito interessante a interação dos personagens e o modo de avaliação. A pessoa avaliada fica bem a vontade.
Fornece informações praticas na qual nos deixar e realmente faz usar a confiança; Ponto positivo para não elimir candidatos por respostas erradas em um processo seletivo;
A avaliação de confiança, E a objetividade. simples; objetivo, útil
A ideia é bastante interessante e o metodo avaliativo pode se tornar muito mais eficaz.
Encontrar respostas de multiplas escolhas com maior precisão em nível de conhecimento
relacionamento das variáveis
Percebi que o sistema identifica de forma interessante se a pessoa fala a verdade. Avaliação da confiança e gráficos comparativos
Possibilidade de marcar a confiança para cada resposta. Proposto muito interessante
Interativo, visual simples e adequado. Mostra todas as informações necessárias ao contexto.
Tabela 21: Resultados da pesquisa sobre os pontos negativos. Desenvolvido pelo autor. Quais são os pontos negativos ?
Não observo nenhum
Acertar a combinação de visando aumentar a visibilidade para leitura. Interface gráfica:
- contraste problemático do texto vermelho no fundo verde - botão iniciar muito tímido e em uma posição pouco favorecida
- área de visualisação pouco otimiada (pergunta e respostas muito em cima e avatares muito para baixo) Game play:
Deve-se dizer que é um teste artimético
Como elaborar as questões e criar o ambiente de envolvimento e cumplicidade necesssário para o sucesso da execução da tarefa.
Dependendo do público alvo o número de questões é muito grande.
Não tenho. nenhum
Para compreender o programa é necessário ouvir as instruções, se houvesse uma legenda abaixo a compreenção das instruções seria melhor.
Tela cheia Nenhum. nenhum
A resposta correta poderia ser utilizada uma cor diferente de vermelho. Poderia gerar outras questões a cada execução.
Tabela 22: Outros comentários. Desenvolvido pelo autor.
Outras questões que foram aplicadas em forma de questionário aberto para os entrevistados:
-O quê você achou da utilização da variável Nota com os níveis Alto, Médio e Baixo?
Esta questão teve o interesse de avaliar se a utilização dos níveis Alto, Médio e Baixo é algo fora do comum e se está sendo bem aplicada na pesquisa. Como resposta, os participantes informaram que é um contexto normal de uma avaliação e que não apresentou nenhuma dificuldade na sua interpretação.
- O quê você achou da utilização da variável Confiança com os níveis Alto, Médio e Baixo?
Comentários adicionais que julgar necessário Gostaria a de ver uma prova real
o jogo é interessante e a ideia de medir a confiança também. Apenas a interface gráfica não está bem resolvida e o gameplay podia ter mais alguns estímulos visuais
preciso pensar mais.
Uma ideia muito interessante, do ponto de vista do estudante que tem interesse em aprender, esta pode ser uma ferramenta de auxilio. Do ponto de vista do professor acho que requer mais estudos, sobre como detectar "fraudes", no sentido de enganar o profes
Muito bem ilustrado a forma de avaliação.
excelente ferramenta para avaliação em concursos úbicos e cursos a distancia
Inserir este metodo em provas pode trona-las mais longas e isso tende deixar o avalido mais "cansado" e consequentemente deminuir seu resutado geral.
no campo de pesquisa adicionar unidade de tempo. Ex. min, seg, horas Como você se sentiu ao utilizr a confiança? Inesperado
O que você achou do GamePlay? Aprendizado Uma quarta opção para o alto médio baixo
Botão de escolhas poderiam ser um pouco maiores, por exemplo, uma criança poderia escolher uma das opções e clicar por engano na opção errada.
Me senti desconfortável com o erros na presença do questionador.
Seria interessante fazer um teste com o timer do tempo para verificar se o tempo decorrente na marcação das respostas influencia no resultado final.
Gostei muito da proposta e já penso em aplicar para meus alunos.
Esta questão teve o interesse de avaliar de forma empírica se os valores da variável, sendo Alto, Médio ou Baixo, atrapalharam de alguma forma a avaliação, também serviu de base para validar se os níveis Alto, Médio e Baixo apresentaram alguma dúvida. Foi esclarecido para os participantes que os níveis possuíam valores como Alto = 1, Médio = 0.5 e Baixo = 0.25. Os participantes não se preocuparam com isso, considerando a sua utilização simples, sendo que não atrapalhou o teste.
Apenas dois participantes questionaram se não poderia ter um nível maior, como por exemplo: Muito Alto, Muito Baixo. Foi esclarecido aos participantes que quanto mais se aumentar os níveis, os resultados ficarão tão próximos, que não faz sentido aumentá-los, bem como as regras poderiam ser modificadas, apresentando resultados muitos próximos. Não houve maiores discussões sobre o assunto.
- O quê você achou da relação entre a Nota e a Confiança?
Esta questão teve o interesse de validar empiricamente as regras que relacionam a nota com a confiança, todos os participantes informaram que nunca havia visto esta utilização mesmo trabalhando na área de educação, isto demonstrou uma novidade com relação ao teste.
- O quê você achou da variável Desempenho sendo o resultado do relacionamento entre as variáveis Nota e Confiança?
Neste caso, o interesse é validar se o relacionamento entre nota e confiança é ideal para se julgar um resultado como um desempenho, todos os participantes concordaram com esta relação e consideraram como interessante esta aplicação, sendo também uma visão inédita de sua aplicação no contexto apresentado.
-O quê você achou dos níveis da variável Desempenho sendo Alto, Médio e Baixo? Aqui se procura identificar se da mesma forma como os níveis Alto, Médio e Baixo foram utilizados para a Nota e Confiança, também poderiam ser aplicados para o Desempenho. Todos os participantes concordaram com os níveis.
- O quê você achou do termo Confiança?
A intenção desta pergunta é saber se o termo Confiança está sendo bem aplicado, todos concordaram com o termo Confiança.
Foi solicitado antes da avaliação para os participantes responderem ao acaso algumas respostas, a fim de validar o resultado, se o sistema seria capaz de identificar em quais questões ocorreram os “chutes”, ou respostas ao acaso. Todos chutaram algumas questões.
- O sistema foi capaz de identificar os chutes?
Esta pergunta foi utilizada para avaliar a eficiência da proposta para a identificação de respostas ao acaso, todos os participantes informaram que o sistema foi capaz de identificar “chutes” durante uma avaliação.
- O quê você achou das regras?
Outra pergunta realizada foi se as regras para medir o desempenho estavam adequadas, desta forma, as regras foram divididas em três grupos, sendo um conjunto de regras básicas em que os valores das Notas e Confiança se relacionavam com valores iguais, como o apresentado a seguir.
1-Se NF = Média e CF = Média então Desempenho = Médio 2-Se NF = Alta e CF = Alta então Desempenho = Alto 3-Se NF = Baixa e CF = Baixa então Desempenho = Baixo
Não houve discussões para estas regras, pois o relacionamento é claro, sendo Médio para Médio, Alto para Alto e Baixo para Baixo. Todos os participantes concordaram com estas regras e ela não gerou discussão.
- O quê você achou das regras:
Neste conjunto de regras a complexidade aumenta um pouco, as explicações procuraram ser claras e objetivas.
4-Se NF = Alta e CF = Baixa então Desempenho = Médio
A explicação de uma nota ser Alta e uma Confiança Baixa pode reapresentar uma situação em que pode ter ocorrido respostas ao acaso, por este fato, o participante não tiraria uma nota alta, considerando o seu desempenho como Médio. Todos concordaram com esta explicação.
5-Se NF = Baixa e CF = Alta então Desempenho = Baixo
A explicação para um Desempenho Baixo, sendo que um participante tirou nota Baixa e Confiança Alta, é a de que podem ter ocorrido também respostas ao acaso, pois quanto mais alinhado ou próximo estiver a Nota da Confiança do participante, representa que podem ter ocorrido poucas situações de dúvidas. Todos concordaram com esta regra. 6-Se NF = Baixa e CF = Média então Desempenho = Baixo
Para este caso, a Nota Baixa e a Confiança Média demonstram também que houve dúvidas e respostas ao acaso, implicando sobre a nota final do participante, sendo considerado o Desempenho Baixo, dando foco para a Nota e não para a Confiança. -O quê você achou das regras?
Estes conjuntos de regras necessitam de um pouco mais de atenção para discussão, pois representam bem os opostos nos resultados.
7-Se NF = Média e CF = Baixa então Desempenho = Baixo
Neste conjunto, a Nota foi Média, mas a Confiança foi Baixa, representando que houve questões também respondidas ao acaso. Dessa maneira, o Desempenho foi considerado Baixo, pois o equilíbrio do resultado traria mais confiança no resultado final. Todos os participantes concordaram com a regra.
8-Se NF = Média e CF = Alta então Desempenho = Médio
Nesta situação, o participante demonstrou uma confiança muito alta sobre as suas respostas, por algum motivo houve este desvio, o qual deve ser tratado com o avaliador e o avaliado. Assim, manteve-se o valor da Nota como Desempenho. Todos concordaram com a explicação.
9-Se NF = Alta e CF = Média então Desempenho = Médio
Neste resultado, o Desempenho foi Médio, já que a Nota Alta e a Confiança Média representam também que o participante não estava seguro em seus resultados, o ideal é que a Confiança para uma Nota Alta estivesse ajustada e equilibrada, pois se espera uma Confiança Alta para uma Nota Alta. Gerou dúvidas nos participantes, mas a aceitação da argumentação foi unânime.