A construção de formulário de questões ou questionário deriva de um processo de melhoria, fruto de tantos exames e revisões quanto forem necessárias. Cada questão deve ser analisada individualmente, para garantir se é mesmo importante, se não é ambígua ou de difícil entendimento. Todas as indagações quanto ao conteúdo, forma, redação e sequência devem ser feitas para cada questão (CHAGAS, 2000).
Tomando como ponto de partida o Modelo Persistência Composto, foram elaborados cinco instrumentos de pesquisas, a saber: O primeiro instrumento11
(Apêndice A) foi aplicado junto aos coordenadores de curso do PNAP, em nível nacional. Contando com 13 perguntas abertas, focando as limitações, contingências e as estratégias usadas junto ao processo de tutorial. A pesquisa foi conduzida no último dia do I Fórum Nacional das Áreas do Sistema Universidade Aberta do Brasil – UAB, ocorrido na cidade de Belo Horizonte – MG de 23 a 25 de outubro de 2013.
O segundo instrumento foi um questionário (Apêndice B)12 contendo 43 perguntas fechadas, dispostas em três grandes dimensões: Dados do processo de ensino e situacional; autoavaliação e dados secundários. Aplicados diretamente aos
11 Elaborado a partir do software Sphinx Survey utilizado para elaboração do instrumento de
pesquisa.
12 Elaborado a partir do software Sphinx Survey utilizado para definição do questionário, tabulação e
alunos do Curso de Administração Pública – PNAP/AM, quando estes estavam prestes a fazer a Prova Final das últimas disciplinas por eles cursadas. Seu principal intuito era entender e validar a existência de uma relação entre estratégias tutorias e a motivação para a persistência. Ocorrido no dia 20/10/2013 contou com uma expressiva participação de 74,39% dos alunos efetivamente matriculados e cursando.
O terceiro instrumento (Apêndice C) foi aplicado junto aos 9 tutores a distância do PNAP/AM do curso de bacharelado em Administração Pública, enfocando seu perfil, nível de formação, atividade tutorias e suas respectivas estratégias. O processo de coleta de dados ocorreu no Centro de Educação a Distância – CED, no dia 12/02/14, antes da aula de instrução de abertura de nova disciplina.
O quarto instrumento de pesquisa (Apêndice D) foi direcionado aos tutores à distância do Pólo de Lábrea para avaliar especificamente os tempos referentes ao processo de correção da 1ª atividade a ser postada pelos alunos. Contendo sete questões fechadas e uma aberta, o questionário serviu para registrar as percepções quanto aos gargalos do processo, as limitações e as possíveis estratégias utilizadas. O mesmo foi enviado por e-mail no dia 03 de abril e retornaram no dia 06 de abril de 2014. O quinto e último instrumento (Apêndice E) via google docs foi direcionado aos alunos do polo de Lábrea, contendo seis questões fechadas, o questionário serviu para registrar as percepções quanto aos gargalos do processo e limitações. A escolha para tal levou em consideração a disponibilidade de acesso ao sistema por parte desse pesquisador que durante o período 11/01 até 15/03/2014 esteve ministrando a disciplina Administração Estratégica para o PNAP/AM.
É importante esclarecer que os questionários foram utilizados com a finalidade específica de avaliar a percepção de quem executa e vivencia respectivamente as estratégias aplicadas no PNAP/AM e num segundo momento uma nova pesquisa com esses mesmos atores, tutores (Apêndice D) e alunos do polo de Lábrea (Apêndice E), foi realizada objetivando levantar os tempos referentes às atividades que ocorrem dentro do fluxo que foi mapeado. Para tal foi aplicado um questionário aos tutores e uma pesquisa online direcionada aos alunos do polo.
Para efeito de unidade de observação VSM, escolheu-se o polo de Lábrea, por apresentar a melhor relação de alunos persistentes do PNAP/AM, como também, configurar como o único polo do Estado a estar próximo de atender os
requisitos mínimos da avaliação CAPES para funcionamento de um polo dentro do sistema UAB.
A pesquisa com os coordenadores de curso PNAP-Brasil teve o objetivo de avaliar a percepção quanto ao processo de tutoria e as estratégias que são desenvolvidas para mitigar a evasão e assim poder adaptar possíveis sugestões ao modelo final do VSM. Ainda no que se refere ao questionário dos coordenadores, pode-se destacar que buscou-se explorar o ponto de vista dos coordenadores em variáveis de interesse: existem gargalos? Se existem, quais as características comuns ou não que os sustentam? Quais as variáveis contingenciais, limitantes ou restritivas? Como se lidam com os recursos disponíveis? Com os alunos busca-se identificar os fatores que podem contribuir para a evasão discente.
Quanto ao questionário dos alunos, para composição do instrumento de medição, partiu-se da adaptação das variáveis estudadas a partir do dos estudos de Rovai (2003) e Lee e Choi (2011) e que avalia aspectos internos e externos ao aluno, antes e depois da sua admissão no curso, para assim compor a caracterização dos alunos persistentes. Como instrumento de medição foi utilizado um questionário misto com aplicação de escala de atitudes do tipo Likert, pois, segundo Evrard et al. (1993), dentre as diversas vantagens desta escala pode-se citar: a fácil compreensão e aceitação por parte do respondente.
A Escala de Likert ou Escala Somatória foi proposta por Rensis Likert em 1932 e compreende uma série de afirmações relacionadas com o objeto pesquisado. Neste tipo de escala é solicitado ao respondente a informar qual o seu grau de concordância ou discordância em relação à afirmação aferida. Estas afirmações qualificam o objeto de atitude o qual se está medindo e devem expressar somente uma relação lógica. Estas medidas sobre o objeto são realizadas através de medidas multi-itens fornecidas pelo pesquisador (SAMPIERI et al.,1991; SELLTIZ et al., 1965; MATTAR, 1994; FOXALL e GOLDSMITH, 1994).
A cada célula de resposta é atribuído um número que reflete a direção da atitude do respondente em relação a cada afirmação. A pontuação total da atitude de cada respondente é dada pela somatória das pontuações obtidas para cada afirmação (MATTAR, 1994). Quanto ao número de categorias a serem utilizadas, não existe um consenso entre os referenciais. O número pode variar de 3 até 9 pontos. Sampieri et al. (1991) recomenda que se os respondentes possuem um nível educativo elevado e capacidade de discriminação, pode-se utilizar um número maior
de categorias. Porém este número deve ser o mesmo em todos os itens a serem medidos.
Como instrumento de medição foi utilizado um questionário fechado de pesquisa tipo Likert contendo cinco alternativas de respostas: Concordo Totalmente (CT), Concordo Parcialmente (CP), Sem Opinião (SO), Discordo Parcialmente (DP) e Discordo Totalmente (DT). As respostas aos vários itens foram codificadas para fazer a pontuação total do respondente, de modo que uma resposta que indica a atitude mais favorável recebe o escore mais elevado. Aos vários graus de concordância/discordância foram atribuídos números para indicar a direção da atitude do respondente. Para as respostas (CT), (CP), (SO), (DP), (DT) foram atribuídos os valores 5, 4, 3, 2 e 1 respectivamente para as assertivas favoráveis (positivas) e os valores foram invertidos quando a assertiva era desfavorável (negativa) ao objetivo de estudo.
4.5.1 Confiabilidade e validação do instrumento dos coordenadores
Foram aplicados questionários que contemplaram as variáveis supracitadas (gargalos, características comuns ou não, variáveis contingenciais, limitantes ou restritivas, como lidam com os recursos disponíveis) com perguntas abertas a diferentes coordenadores PNAP/UAB e perguntas fechadas de múltipla escolha aos alunos que fizeram parte da amostra.
A qualidade da pesquisa foi buscada pela adoção de três critérios básicos: validade da proposta metodológica da pesquisa, robustez do instrumento de pesquisa e confiabilidade dos resultados. A robustez do instrumento de pesquisa foi testada através da realização de um pré-teste, o qual não apenas permitiu o aprimoramento do questionário, como agregou contribuições relevantes à elucidação do problema de pesquisa.
Quanto à confiabilidade dos resultados da pesquisa, destaca-se que a mesma foi alcançada através de procedimentos metodológicos bem definidos, claros, e que podem ser reprisados e aprimorados por outro pesquisador, esclarecendo-se ainda que, se tais procedimentos forem novamente adotados para um universo de coordenadores PNAP/UAB, com perfis similares ou distintos, podem conduzir a resultados consistentes.
4.5.2 Confiabilidade e validação do instrumento dos alunos
A confiabilidade do instrumento foi medida através do método Split-Half Method. Este método consiste na obtenção do coeficiente de correlação de Spearman, dado pelas somas das linhas pares versus as somas das linhas ímpares. Quando se aplica o método da divisão ao meio, é necessário incluir um fator de correção. Ao se utilizar o método da divisão ao meio, na verdade estima-se a confiabilidade de uma escala com a metade do original (dividida pela metade).
Para compensar o efeito da escala, Bruno (2001) orienta usar a fórmula de correção de Spearman–Brown, onde R é dado por:
sp sp r r R + = 1 2
Onde e rsp é o coeficiente de correlação linear de Spearman. E, a regra de
decisão é: Se R > 0,8 então o instrumento de medição utilizado é confiável. Quanto ao teste atitudinal, Bruno (2001) esclarece que, utiliza-se o teste estatístico de para testar a significância dos resultados atitudinais finais, dado pela seguinte fórmula:
(
)
∑
= − = 4 1 0 2 i e e f f f χ onde: 0 f = frequência observada e f = frequência esperadaPara validação do instrumento, foi medida cada asserção, estabelecendo uma dispersão mínima buscando identificar o nível de consistência nas respostas de cada respondente. Utilizou-se o coeficiente de correlação linear “rsp” de Spearman,
cujo critério de validação da asserção deve ser ”r >0,30”. Este coeficiente será calculado da seguinte forma:
)
1
(
6
1
2 2−
−
=
∑
n
n
d
r
sp onde:n = número das asserções
Segundo Bruno (2001), os valores obtidos da correlação são analisados como segue: - abaixo de 0,30 = Desprezível; - de 0,30 a 0,49 = Baixo; - de 0,50 a 0,79 = Moderado; - de 0,80 a 0,99 = Alto; - igual a 1,00 = Perfeito.
As asserções cujo valor for desprezível “r<30” foram eliminadas. Foi realizada uma segunda validação, onde as asserções consideradas válidas foram analisadas na plenitude do universo pesquisado, onde foram novamente eliminadas as asserções com valor desprezível.