Ao final do primeiro semestre de 2009, submetemos os médicos residentes a uma avaliação formal, com 32 questões inseridas no Moodle. Estas questões foram elaboradas pelos docentes do comitê, das diferentes áreas de conhecimento, com o objetivo de avaliar o aprendizado em conteúdos discutidos ao longo do semestre, nas atividades teóricas e teórico/práticas.
A primeira inserção das questões, utilizando a ferramenta Hot Potatoes, apresentou problemas operacionais, não disponibilizando o feedback a todos os estudantes, comprometendo a obtenção dos resultados e a análise estatística. Foi necessária uma reformatação e reintrodução das questões no questionário próprio da plataforma Moodle, que se mostrou adequado. A participação dos médicos residentes apresentou resultados satisfatórios, enquanto formais e obrigatórias. A possibilidade de reestudo pode ter sido um fator determinante da boa performance dos médicos residentes na avaliação formativa obrigatória, com resultados extremamente favoráveis, em que todos os estudantes apresentaram resolução da maioria das questões de avaliação formativa (figura 14).
Figura 14 - Desempenho dos médicos residentes – IIA - na avaliação formativa no 1º semestre.
Em paralelo, na sequência da avaliação do aprendizado, em julho de 2009, submetemos ao grupo de médicos residentes um questionário com questões visando meta-avaliação do aprendizado. Este questionário (tabela 5) foi respondido por somente 3 (16.6%), dos 18 médicos residentes, sendo 2 R1 e 1 R2.
Utilizando a escala tipo Likert, em que concordo totalmente = +10, concordo parcialmente = +5, indefinido = 0, discordo parcialmente = -5 e discordo totalmente = –10, pudemos observar que todas as questões apresentaram resultados muito favoráveis (tabela 5). As questões abertas deste questionário solicitavam informações sobre a habilidade dos residentes no ambiente Moodle e quais fontes os residentes utilizavam para a preparação e estudo dos casos discutidos.
Em uma revisão didática, sobre a utilização de métodos qualitativos e quantitativos em área da saúde, Turato (2005) delimita as diferenças entre as duas abordagens, a quantitativa, positivista, em que “a amostra deve ser randomizada... e estatisticamente representativa”, enquanto que na pesquisa qualitativa, de abordagem fenomenológica, a amostra deve ser “intencionada: busca proposital de indivíduos que vivenciam o problema em foco e/ou têm conhecimentos sobre ele”.
Segundo esta mesma revisão, o perfil da amostra na análise quantitativa deve ter um “Número maior de sujeitos: representantes do todo populacional” e na qualitativa, “Poucos sujeitos: representantes com características de certa população” e a análise feita pelo pesquisador independe do número de indivíduos e sim da interpretação dada aos indicadores das categorias de respostas obtidas (TURATO, 2005).
Para avaliação do processo, distribuímos durante reunião presencial, um questionário semiestruturado (tabela 6), respondido por 33.3% dos estudantes médicos residentes e 22% dos docentes envolvidos, que estavam presentes naquele momento e retornaram os questionários.
A análise das respostas a este questionário mostra que houve consenso com relação à necessidade de maior participação presencial de docentes para a configuração multidisciplinar das atividades.
Tabela 5 - Questionário semiestruturado inserido no Moodle para análise do processo de meta avaliação do aprendizado, grupo IIA médicos residentes.
Q1: Em relação à inserção dos casos no Moodle
Estudante A R1 Valor Estudante B R1 Valor EstudanteC R2 Valor Resultado
Auxilia e direciona o estudo CP +5 CT +10 CP +5 +20
O acesso ao banco de dados é de fácil utilização
CP +5 Indefinido 0 CP +5 +10
Essa metodologia integra teoria e prática CP +5 DP -5 CP +5 +5
A metodologia auxilia as revisões para o raciocínio clínico
Indefinido 0 CT +10 CP +5 +15
A metodologia desenvolve novas habilidades na resolução dos problemas
CP +5 CP +5 CP +5 +15
Q2: Em relação ao estimulo ao estudo, como você viu os casos clínicos?
Você achou os casos estudados importantes para a sua formação.
CP +5 CT +10 CP +5 +20
A metodologia fez você estudar mais do que o habitual CP +5 CP +5 Indefinido 0 +10
Você acha mais produtivo estudar através de livros ou apostilas
CP +5 DP -5 CT +10 +10
As discussões dos casos estimularam a busca de novas informações.
CP +5 CT +10 CP +5 +20
Conseguiu recordar e inserir conceitos das áreas básicas no estudo dos casos clínicos
CP +5 CP +5 Indefinido 0 +10
Q3: E em relação aos testes de avaliação do aprendizado respondidos anteriormente:
Este tipo de instrumento de avaliação é adequado CT +10 CT +10 DP -5 +15
Os testes foram bem formulados e conseguiram contemplar os objetivos do estudo
CT +10 CP +5 DP -5 +10
Q4: E em relação ao registro dos casos estudados, a inserção das discussões e a avaliação formal em questões, com tempo para reestudo:
Esta metodologia está contribuindo para a sua formação médica
CP +5 CP +5 Indefinido 0 +10
O estudo e a possibilidade de reestudo dos casos problemas reais mostraram-se importantes e válidos na revisão de conhecimentos adquiridos.
CT +10 CP +5 CP +5 +20
Q5: Na busca de informações técnicas para a resolução de problemas, por exemplo, para saber como diagnosticar e tratar pneumonia atípica, que instrumentos de estudo você costuma utilizar?
Estudante A R1 Estudante B R1 Estudante C R2
Não respondeu Internet, Livros de Clínica Médica e Revisão de antibióticos. Livros e consensos
Q6: Você considera que sua habilidade em buscar informações apresentou progresso com este ambiente virtual de registro de atividades? Explique.
Não respondeu Pouco, o acesso ao Moodle foi difícil no começo e o resumo da discussão do caso não está on-line. A vantagem é que baixando a aula dá para rever e estudar melhor as patologias discutidas.
Não. É somente uma reprodução do que já fazemos na vida prática.
Q7: Quais sugestões (ou críticas) você considera pertinentes para aperfeiçoar este ambiente virtual de aprendizado? A : Em relação ao processo de aquisição de conhecimento:
Não respondeu Seria muito interessante disponibilizar consensos e esquemas terapêuticos neste ambiente, principalmente quando há mudanças recentes ou de patologias com grande relevância clínica.
Uma vez que questões para avaliação serão realizadas, acredito que uma vez que o avaliado escolha uma alternativa e responda a questão, deveria existir um comentário explicando o motivo de determinada alternativa estar correta e as demais erradas.
B : Sobre o processo de desenvolvimento do ambiente virtual:
Não respondeu Não respondeu Melhor comunicação entre o grupo. Muitas pessoas que não acessam sua conta de e-mails diariamente nem estavam sabendo que ocorreria uma segunda avaliação pelo Moodle.
CT=Concordo Totalmente, CP= Concordo parcialmente, DP= Discordo Parcialmente, DT= Discordo totalmente. Fonte: resultados condensados pela autora.
Tabela 6 - Questionário semiestruturado distribuído aos médicos residentes Grupo IIA e docentes ao término de uma reunião presencial para avaliação do processo. Total residentes 18(100%) Total presente 6 (33,3%) Total Docentes 18 (100%) Total presente 4 (22%) N respostas % N respostas %
Q1. O que você sugere sobre a participação dos docentes:
Continue como está. 2 11% 2 11%
Maior número de docentes, tornar as reuniões multidisciplinares
3 16,6% 3 16,6%
Q2. O que você sugere sobre a participação dos residentes:
Maior participação nas autópsias - 1 5,5%
Preparar os casos com maior antecedência 2 11% - -
Participação dos residentes de especialidades - 1 5,5%
Continue com está. 1 - -
Não respondeu 3 16,6% 2 11%
Q3. O que você sugere sobre a participação dos internos:
Distribuição prévia dos casos para estudo 4 22,2% - -
Devem participar mais 3 16,6% 2 11%
Reuniões mais interativas, com “Quiz” para que eles se manifestem
1 5,5% - -
Q4. Em 2010: em relação aos temas para as reuniões:
1. Manter temas e casos conforme demanda de óbitos e necropsias .
- - - -
2. Discussão de casos de arquivo com doenças de maior prevalência
- - - -
3. Intercalar 1 e 2 6 33,3% 4 22,2%
Q5. Em 2010: em relação ao número de participantes:
Manter residentes e toda a turma do internato 2 11% 2 11%
Manter todos os residentes e turma de internos no estágio de ClínicaMédica.
3 16,6% 3 16,6%
Fonte: resultados condensados pela autora.
Mesmo neste processo de construção coletiva, as avaliações introduzidas como não obrigatórias nunca foram respondidas por todos os estudantes-residentes, como pode ser observado na figura 15.
Figura 15 - Sinopse das avaliações submetidas aos médicos residentes grupo IIA ao longo de 2009.
Fonte: http://Moodle.pucsp.br/
A integração de e-learning na educação médica pode introduzir mudanças, descritas na teoria da aprendizagem de adultos, na qual os educadores já não atuam como distribuidores de conteúdo, mas como facilitadores da aprendizagem e avaliadores de competência.
Em nossa experiência, a utilização da plataforma Moodle no registro das atividades teóricas e práticas desenvolvidas com os médicos residentes da nossa Instituição, permitiu uma melhor organização de nosso trabalho, enquanto supervisora do programa. As diversas subáreas nas quais os residentes realizavam seus estágios não utilizaram a plataforma Moodle para seus registros. A inserção das atividades no Moodle foi feita sempre de maneira gradativa, condicionada à aquisição das habilidades necessárias para a utilização da então nova ferramenta de inserção de atividades para estudo e avaliação por esta pesquisadora. Com o desenvolvimento da dinâmica destas atividades ao longo dos meses, pudemos
observar que houve também uma progressiva aquisição de habilidades dos estudantes, tanto na qualidade da apresentação dos casos nas reuniões como na utilização das ferramentas de busca mediadas por TIC nas sustentações teóricas realizadas por eles.
Enquanto coordenadora deste processo, esta pesquisadora foi responsável por toda a dinâmica, desde a distribuição dos estudantes para as apresentações ao longo do ano, participando da grande maioria das discussões dos casos presenciais, e responsável pela inserção tanto dos quase 50 casos para discussão previa no Moodle, como pela inserção das discussões e sustentações teóricas após as apresentações/discussões e pela formatação final dos protocolos construídos multidisciplinarmente.
Neste contexto, em nossa avaliação realizada no acompanhamento individual, observamos que houve neste grupo de estudantes, uma capacitação gradativa ao longo de todo a ano no uso das ferramentas tecnológicas. Observamos um aprimoramento das ações, demonstrado por um compromisso do grupo com a aprendizagem, possibilitando uma real introdução das TIC neste exercício de aquisição de conhecimento, avaliação formativa e autoavaliação do aprendizado. Esta experiência bem sinalizada por docentes e médicos residentes foi mantida como atividade regular do PRCM nos anos sequenciais.
A análise de nossos egressos do PRCM mostrou que 7 (87,5%) dos 8 médicos residentes R2 em 2009, 9 (90%) em 2010 e 100% em 2011 conseguiram aprovação nos concursos para novos passos na carreira, seja em outros programas de residência médica ou estágios de especialidades, em contraste com nenhuma aprovação entre os 8 médicos residentes egressos de 2008. Esse dado sugere que a proposta de reestruturação do programa de residência médica teve uma avaliação positiva.
O processo de inserção dos residentes em atividades incentivando a busca ativa do conhecimento, em conjunto com os diversos docentes, pode ser também considerado um fator decisivo dentro da reestruturação do programa. Esta convivência dos estudantes com metodologias contemporâneas de estímulo à
aprendizagem, associada a avaliações formativas sequenciais estão traduzindo-se, em nossa experiência, em adequada formação dos nossos médicos residentes.
A necessária capacitação docente que vem ocorrendo em nossa escola desde o primeiro ano da implantação do novo currículo também está refletindo no incentivo para a produção de conteúdos e, inclusive, permitindo a manutenção dos registros e atividades mediadas na plataforma Moodle.
4.3.3. INTRODUÇÃO DE B-LEARNING UTILIZANDO A