Del I Rammer og føringer
10.6 Sentrale suksesskriterier
10.6.3 Samfunnskontakt
Conforme descrito na seção 3.2.1, os questionários utilizados nesta pesquisa foram desenvolvidos por um grupo de pesquisadores de avaliação de treinamento do Instituto de Psicologia da Universidade de Brasília – UnB – sob a coordenação da professora Gardênia Abbad, anteriormente, aplicados e validados em outros contextos, amostras de participantes e cursos a distância.
O objetivo de reaplicá-los é obter os dados e a confirmação de alguns resultados alcançados nos estudos anteriores e identificar eventuais lacunas e necessidades de aperfeiçoamento dos referidos instrumentos. A seguir serão descritos os conceitos e teorias acerca dos tópicos que compõem os referidos instrumentos.
Os instrumentos originais de Reação ao Desempenho da Tutoria, Reação aos Procedimentos Instrucionais e o Roteiro de Análise do Material Didático – EaD - utilizados nesta pesquisa foram elaborados por Zerbini (2003) e Carvalho (2003).
Os instrumentos originais de Reação à Interface Gráfica e de Reação aos Resultados e Aplicabilidade foram construídos e validados por Carvalho (2003) e o de Estratégias de Aprendizagem, por Zerbini (2003).
De Paula e Silva (2004) utilizou e também revalidou alguns dos instrumentos. Em seu estudo foram aplicados os instrumentos Reação à Interface Gráfica, Reação ao Desempenho da Tutoria e Reação aos Procedimentos Instrucionais.
Nesta pesquisa, entretanto, foram utilizadas versões revisadas e revalidadas por Borges-Ferreira (2005).
Os questionários adotados neste estudo possuem a seguinte denominação e estão disponíveis na íntegra nos Anexos A, B, C, D e E.
o QUEST. 01 – Avaliação de Reação dos alunos à Interface Gráfica do Curso. o QUEST. 02 – Avaliação de Estratégias de Aprendizagem (03 Conjuntos de itens)
Busca de ajuda interpessoal; Elaboração e aplicação prática;
Repetição, organização e ajuda do material. o QUEST. 03 – Avaliação de Reação ao Desempenho da Tutoria. o QUEST. 04 – Avaliação de Reações aos Procedimentos do Curso. o QUEST. 05 – Avaliação de Reação aos Resultados do Curso.
Os itens de todos os instrumentos estão associados a uma escala do tipo Likert de 11 pontos, onde a escala varia de 0 a 10.
O instrumento de Reação à Interface Gráfica é composto de 15 itens referentes à mensuração de satisfação dos participantes com a navegabilidade e a usabilidade do ambiente eletrônico do curso, com uma escala em que (0) zero corresponde a Péssimo e (10) dez a Excelente.
O instrumento de Estratégias de Aprendizagem é composto por 19 itens relativos às capacidades cognitivas e habilidades comportamentais, utilizadas pelo aprendiz para controlar seus processos psicológicos de aprendizagem. Os itens do questionário estão associados a uma escala de que varia de (0) zero, que corresponde a Nunca e 10 (dez) que corresponde a Sempre.
O instrumento de Reação ao Desempenho da Tutoria é composto por 28 itens e busca avaliar a percepção do treinando sobre a qualidade do desempenho da tutoria. Os itens estão associados a uma escala de freqüência (nunca a sempre), idêntica à utilizada no questionário de Estratégias de Aprendizagem..
O questionário de Reação aos Procedimentos Instrucionais do curso contém 13 itens e visa avaliar a satisfação dos participantes com as características instrucionais do curso. Os itens estão associados a uma escala variando de onze pontos, em que (0) zero corresponde a Péssimo e (10) a Excelente.
O instrumento de Reação aos Resultados do curso é composto por três itens que tratam das percepções dos participantes quanto à contribuição do curso para o alcance dos resultados imediatos (aprendizagem) e mediatos (aplicação e transmissão dos conhecimentos a outros). Os itens estão associados a uma escala de freqüência, em que 0 (zero) corresponde a Nenhuma Contribuição e 10 (dez) a Muita Contribuição.
Os dados pessoais e demográficos dos servidores relacionados à idade, cargo, sexo e lotação (região geográfica), bem como as notas e menções obtidas pelos alunos nos cursos foram fornecidos, automaticamente, pelo sistema de cadastro de pessoal do MPT e foram armazenados em arquivo secundário de dados juntamente com as respostas dos alunos aos instrumentos.
Em suma, nesta pesquisa foram utilizados os cinco questionários acima descritos, cujos itens estão associados à escala Likert, que é uma das formas de mensuração mais utilizadas nas pesquisas de ciências sociais, especialmente em levantamento de atitudes, opiniões e avaliações.
Assim, as questões foram agrupadas de acordo com as áreas que envolvem o treinamento: a interface gráfica (o levantamento das informações sobre os usuários finais do sistema); a avaliação das estratégias de aprendizagem (técnicas ou métodos que os alunos usam para adquirir a informação), busca de ajuda interpessoal; elaboração e aplicação prática e repetição, organização e ajuda do material. A escala de reação ao desempenho da tutoria, que avalia a inter-relação personalizada e contínua do aluno no sistema e se viabiliza uma articulação entre os elementos do processo, necessária à consecução dos objetivos propostos.
Na avaliação dos procedimentos do curso, os objetivos limitava-se a verificar quais variáveis são consideradas para possibilitar uma avaliação do todo, uma vez que a complexidade da modalidade de Educação a Distância inclui questões que são relacionadas e interdependentes. Na avaliação de resultados, foi questionado o conhecimento do saber do professor; a integração teoria e prática ao longo do curso; a transmissão dos conhecimentos; a adequação às exigências do treinamento e o acesso aos docentes para maiores esclarecimentos.
Além desses questionários, para a realização de uma análise qualitativa dos materiais do curso, também foi utilizado o Roteiro de Análise do Material Didático – EaD, adaptado do original por Borges-Ferreira (2005).
Esse roteiro foi aplicado com o objetivo de analisar, descrever, comparar análises de reações e discutir algumas características dos cursos, relacionadas à formulação de objetivos de ensino, à adequação das estratégias instrucionais, à compatibilidade das atividades propostas com a natureza e complexidade dos objetivos instrucionais, ao planejamento de atividades, à seqüência do ensino, às fontes de informação (bibliografia, links e outros) e a dados gerais sobre os cursos.
O roteiro, organizado em forma de check list, serviu de base para a construção dos relatórios qualitativos sobre o material didático de cada curso, aos moldes do que foi realizado por Borges-Ferreira (2005), em sua pesquisa. A análise qualitativa do desenho instrucional, a análise da literatura especializada e as avaliações dos cursos servirão de base para a proposição de uma proposta pedagógica para os cursos da organização estudada.
O Roteiro de Análise do Material Didático da Disciplina, utilizado neste estudo, foi reestruturado por um grupo de alunos da graduação e da pós-graduação de Psicologia da UnB, que estudou aspectos relacionados a teorias construtivistas de desenho instrucional, bem como a abordagem objetivista, considerando-se alguns autores como Mager (1976), Borges- Andrade (1982), Reiser (1996), Laaser (1997), Reigeluth (1999), Rodrigues-Júnior (1997) e Abbad (1999). O relato dessa análise será descrito na parte de resultados do presente estudo.