O questionário foi elaborado com o intuito de validar as hipóteses de pesquisa mostradas no Capítulo 4.1, das quais em sua grande maioria referenciam a interatividade que a ferramenta proporciona aos usuários.
O questionário é composto por duas partes: a primeira é um vídeo explicativo sobre a proposta da ferramenta SAEE, contendo um pequeno exemplo de seu funcionamento sobre uma situação em que estudantes de pós-graduação necessitam gerar uma RS, mas estão geograficamente distantes, o que viabiliza a utilização da ferramenta, o vídeo contém cinco minutos de duração; a segunda contém a descrição dos objetivos da pesquisa, juntamente com a motivação para o mesmo e contém 14 perguntas de múltipla escolha e 2 perguntas abertas para que o participante possa opinar livremente com suas palavras sobre a proposta da ferramenta.
As questões foram definidas seguindo as orientações de [KITCHENHAM et al., 2002b] e [KITCHENHAM et al., 2002c], dessa forma, não foram apenas pensadas na forma de validar as hipóteses de pesquisa, mas também em como o participante irá ver e entender da melhor forma possível as intenções de cada uma das questões. Assim, o
59
questionário foi definido como mostrado na Tabela 5, a qual mostra as dezesseis questões nele composto.
Q1. Qual a sua instituição de ensino ou local de trabalho? Q2. Qual a pós-graduação que você está fazendo?
Q3. Você entendeu a proposta da ferramenta SAEE? Q4. Você já gerou uma Revisão Sistemática?
Q5. Se você já gerou uma Revisão Sistemática em grupo, seu grupo teve dificuldades de se reunir para fazê-la, ou para trocar informações sobre esta?
Q6. Como você avalia a proposta da ferramenta de apoiar a interatividade on-line de usuários que podem estar geograficamente distantes na geração de Revisões Sistemáticas?
Q7. Em sua opinião, uma ferramenta interativa on-line para múltiplos usuários facilitaria a geração de Revisões Sistemáticas em grupo?
Q8. Como você avalia a possibilidade de colaboração on-line entre múltiplos usuários para geração de uma Revisão Sistemática?
Q9. Como você avalia a possibilidade de adicionar um avaliador externo à sua Revisão Sistemática?
Q10. Como você avalia a possibilidade de interação on-line entre seu grupo de pesquisa e um avaliador externo para auxiliar na geração do conteúdo de uma Revisão Sistemática?
Q11. Como você avalia a possibilidade de compartilhar, discutir e opinar as informações inseridas por seu grupo na geração de uma Revisão Sistemática sem a necessidade de se reunirem fisicamente?
Q12. Como você avalia a possibilidade de interatividade entre usuários através de comentários, os quais simulam um fórum de discussão?
Q13. Você acredita que a interatividade através de comentários entre usuários e/ou avaliadores melhoraria a qualidade da Revisão Sistemática?
Q14. A ferramenta ainda dá a possibilidade de tornarem públicas as Revisões Sistemáticas geradas a fim divulgar seu trabalho. Como você avalia essa possibilidade?
Q15. Como você avalia a possibilidade de ver todo o histórico e discussões sobre cada campo da revisão?
Q16. Dê sua opinião sobre a proposta da ferramenta SAEE, suas sugestões e críticas. Fique a vontade para responder.
Tabela 5: Questões do questionário.
Em que a questão Q1 é dissertativa e corresponde a identificação da instituição de ensino do participante; a questão Q2 foi utilizada para diferenciar os tipos de participantes pelo seu nível de graduação, podendo categorizar os resultados; a questão Q3 mostra a efetividade do vídeo de demonstração da ferramenta, o qual é exibido primeiramente, antes do participante responder ao questionário; a questão Q4 foi elaborada para também categorizar os participantes, dentre os quais somente serão considerados os resultados que já tiverem realizado uma RS, ou seja, todo este Survey foi considerado apenas com as respostas “Sim” da questão 4; a questão Q5 pretende avaliar a quantidade de participantes dos quais a proposta da ferramenta será mais bem
60
vista; as questões Q6, Q7, Q8 e Q11 objetivam validar a proposta da ferramenta em relação a interatividade entre usuários; as questões Q9 e Q10 foram elaboradas para mostrar uma funcionalidade adicional que a ferramenta tem e que agrega a proposta original de interatividade entre usuários, que é a possibilidade de inserção de um usuário avaliador que se encontra externo a produção da RS para que este possa opinar e orientar os usuários que compõe o grupo de pesquisa; as questões Q12, Q13 e Q15 foram utilizadas para validar a forma como a interatividade é feita na ferramenta, validando não apenas a forma de interatividade através de comentários, mas também expondo a forma como este é exposto, a qual mantém todo o histórico das versões e discussões geradas sobre cada campo da RS; a questão Q14 foi elaborada para avaliar a aceitação de outra funcionalidade não exposta no vídeo de demonstração, a qual se refere a divulgação da RS gerada para expor seu trabalho para outros usuários terem acesso; e a Questão Q16, a qual corresponde a uma questão aberta, ou seja, o participante pode escrever o que julgar necessário como opinião, sugestão ou críticas sobre a proposta da ferramenta.
As respostas do questionário foram padronizadas seguindo a orientação de [KITCHENHAM et al., 2002b], a qual indica que para um melhor entendimento e agilidade por parte do participante para responder o questionário, respostas padronizadas e de múltipla escolha que utilizam escalas que variam entre péssimo, ruim, indiferente, bom e ótimo são melhores recebidas pelos participantes por não necessitar ler novamente cada uma das opções de respostas toda vez que for responder uma questão diferente. Assim, foram gerados quatro tipos diferentes, porém padronizados, de respostas que o participante poderá escolher, sendo três destas de múltipla escolha e uma de texto livre, o qual o participante poderá escrever livremente para responder à questão. As possíveis possibilidades de respostas podem ser visualizadas na Tabela 6.
Tipo 1 Tipo 2 Tipo 3 Tipo 4
- Mestrado - Doutorado - Profissional da área - Sim - Não
- Não tenho opinião
- Ótimo - Bom - Indiferente - Ruim - Péssimo Resposta dissertativa Q1 X Q2 X Q3 X Q4 X Tipos de respostas Questões
61 Q5 X Q6 X Q7 X Q8 X Q9 X Q10 X Q11 X Q12 X Q13 X Q14 X Q15 X Q16 X
Tabela 6: Tipos de respostas contidas no questionário.
Para melhorar a credibilidade do questionário foram escolhidas respostas para atender também uma opção neutra, pois o participante, segundo [KITCHENHAM et al., 2002b], deve poder escolher uma opção que não demonstre positividade nem negatividade sobre a questão, assim, as respostas Tipos 2 e 3 demonstram a neutralidade da resposta contendo o termo “Não tenho opinião” e “Indiferente” nas opções de múltipla escolha respectivamente.
Uma vez finalizado, o questionário foi disponibilizado em forma de uma pesquisa utilizando os recursos da ferramenta GoogleDocs, a qual permite a geração de um formulário de pesquisa para ser disparado via e-mail para os participantes.