Actividad para trabajar acentos y pronunciación

Antes de iniciar a avaliação do sistema foi feita uma análise dos conteúdos de cálculo básico disponíveis no curso. Com isso, verificou-se que o módulo 2, que contém os tópicos de funções, limites, continuidade, derivadas, diferenciais e integrais, tinha o conteúdo normalmente utilizado em um curso de cálculo I de alguns cursos da area de exatas, que são oferecidos em universidades.

Tendo isso como base, estudou-se uma forma de aproveitar os outros conteúdos disponíveis, explorando também a característica adaptativa do ambiente. Assim, foi definido que o curso a ser utilizado para os testes com os estudantes seria o de cálculo básico, pegando os conteúdos do módulo 2. E que os tópicos do módulo 1, com conceitos que podem ser vistos como pré-requisitos, por serem utilizados também nos conteúdos do módulo 2, seriam mostrados aos estudantes que tiverem um desempenho baixo e não tiverem a nota suficiente para avançar para o próximo tópico, como uma forma de reforçar o conhecimento prévio deles.

A avaliação do sistema foi feita por meio de testes práticos com estudantes com ensino superior em qualquer nível. O público alvo para os testes foi formado por estudantes com conhecimentos básicos de cálculo, que poderiam realizar as atividades avaliativas propostas.

Na busca por voluntários e, após a aprovação pelos coordenadores dos cursos, foi realizado um convite de participação (Apêndice A) aos estudantes dos cursos de Ciências da Computação e Sistemas de Informação da Universidade Federal de Santa Catarina (UFSC). Previo a este convite, por solicitação dos coordenadores e antes

de qualquer contato com os futuros participantes, o projeto foi apresentado ao comitê de ética da UFSC, por se tratar de uma pesquisa que envolve seres humanos, o projeto foi aprovado e o contato com os possíveis participantes foi realizado.

Foram feitos contatos via email e pelo Facebook, convidando os estudantes para participarem da pesquisa, informando que a participação seria voluntária, sendo possível desistir do teste a qualquer momento. Também, e como parte do processo do projeto apresentado ao comitê de ética, foi elaborado o Termo de Consentimento Livre e Esclarecido – TCLE (Apêndice B), que foi aceito por todos aqueles que concordaram em fazer o curso.

A avaliação consiste em verificar como o sistema se comporta para cada um dos estudantes, cujo conhecimento e desempenho pode ser maior ou menor. Além disso, foram criados no curso dois questionários, para avaliar (1) o conhecimento prévio e (2) o aprendizado após o curso. Estes questionários foram inseridos para complementar a obtenção de dados dos participantes. O teste inicial não está inserido na configuração dos agentes, isto é, ele não faz parte do caminho adaptativo do curso e é visualizado no início, junto com o primeiro tema do curso (Funções), por todos os estudantes (Figura 29).

Figura 31. Teste e tema inicial

Fonte: Captura de tela do módulo 1 no Moodle (2017)

O teste inicial não foi adicionado como parte dos pré-requisitos para avançar no conteúdo, para que o cursista não tivesse a obrigação de fazer o teste, caso não se sinta preparado para tal. No entanto, nos testes feitos com os estudantes, todos aqueles que iniciaram o curso, mesmo aqueles que não finalizaram, fizeram o teste inicial.

Por outro lado, o teste de aproveitamento (Figura 30) faz parte do caminho adaptativo do curso, pois foi configurado utilizando o bloco

Tutor, de configuração dos agentes, e aparece depois do estudante terminar o último tema do curso (Diferencial e integral). No entanto, por ser um teste do tipo geral, ele é mostrado a todos os estudantes por igual, independente do nível do perfil deles. Ambos os testes contêm 10 questões, sendo 2 referentes a cada tópico do conteúdo, que são escolhidas do banco de questões do Moodle de forma aleatória, utilizando um recurso já existente no ambiente para a disponibilização dos questionários.

Figura 32. Tema final e teste de aproveitamento

Fonte: Captura de tela do módulo 1 no Moodle (2017)

O curso está dividido em 5 tópicos. No primeiro tópico, com o título Notícias e avisos, os estudantes veem um texto de boas vindas, uma breve explicação do funcionamento do sistema e do conteúdo do curso, informações sobre o formato das respostas aos questonários, informações sobre o certificado de participação após finalizar o curso, um fórum de dúvidas e comentários e os dados de contato, para caso tenham alguma dúvida.

No segundo tópico, com o título Módulo de pré-requisitos, os estudantes, em um primeiro momento, verão um texto que explica que nesse tópico o estudante verá conteúdos de reforço, caso seja necessário, segundo o desempenho que ele tiver nas avaliações.

No terceiro tópico, Módulo 1 de contéudo, aparecerá para o estudante todo o conteúdo obrigatório do curso, que será mostrado conforme ele for avançando e passando nas avaliações. A avaliação de cada um dos temas do conteúdo é feita utilizando a ferramenta de questionários do Moodle.

No quarto e quinto tópicos, Material complementar e Saiba mais, ficam disponíveis conteúdos complementares que o estudante pode acessar a qualquer momento.

Na figura 31 há um recorte do curso, na visão do aluno, quando ele entra pela primeira vez. O tópico que fica em azul é o tópico que tem o conteúdo obrigatório, esta marcação de cor foi feita para facilitar a localização do aluno dentro do espaço do curso. No primeiro acesso, antes de avançar nos conteúdos, o aluno só consegue ver o conteúdo de Funções, após responder a avaliação deste conteúdo ele conseguirá ver o próximo, de Limites. Assim, cada vez que ele responder uma avaliação, o curso irá se apresentando para ele segundo o desempenho que ele tiver até esse momento.

Figura 33. Visão do curso com perfil de estudante

A avaliação como um todo teve três etapas: (1) simulações de situações com usuários fictícios; (2) pré-testes do funcionamento do sistema com pessoas voluntárias; e (3) testes com estudantes voluntários.

Para a etapa de simulação foram criados quatro usuários fictícios, para os quais foram simulados diferentes caminhos possíveis para os agentes mostrarem aos alunos diferentes níveis de conteúdo, dependendo o desempenho deles. Nestes testes o sistema mostrou tanto o conteúdo obrigatório quanto o conteúdo de reforço. As notas de aprovação ou reprovação foram simuladas de forma proposital para ver o comportamento do agente para diferentes alunos.

Na etapa de pré-testes, quatro usuários fizeram o curso. Nesta etapa foram feitos alguns ajustes do sistema, pois percebeu-se que o sistema teve, para alguns casos específicos, um comportamento diferente do esperado.

Na etapa de testes com estudantes voluntários, oito usuários fizeram o curso. A seguir, são explicados os resultados das três etapas da avaliação do sistema.