O instrumento de coleta de dados adotado pelo Delphi é sempre um questionário (Rozados, 2015, p. 74). Como preceitua Marconi e Lakatos (2010), o questionário consiste em um instrumento de coleta de dados, constituído por uma série ordenada de perguntas, que deve ser respondido por escrito e sem a presença do entrevistador.
Segundo Rozados (2015), para o método Delphi, o questionário é o instrumento que se envia aos participantes (chamados em conjunto de painelistas), contendo uma lista de perguntas, compondo um documento com o qual se consegue que os participantes da pesquisa interajam, pois nele se apresentam os resultados das circulações anteriores.
Esta etapa trata da construção e da aplicação do instrumento de coleta de dados que, para o estudo em pauta, definiu-se o questionário apresentado no Apêndice A, a ser aplicado em duas rodadas.
Como já aludido na seção 2.2.2 (O Método Delphi), o painel de Delphi pode se compor de um número entre oito e quinze participantes, sem o comprometimento da validade dos resultados obtidos (BLASCO; PÉREZ; VILA, 2017). No entanto, quanto maior o tamanho da amostra de participantes, maior a geração de dados, o que, por sua vez, aumenta a quantidade de análise de dados a ser realizada. (HASSON; KEENEY; MCKENNA, 2000).
Rodada (ou circulação) é cada uma das fases em que os questionários são apresentados ao grupo de painelistas. A cada rodada em que circulam os questionários, os julgamentos individuais são agregados e todos os participantes tomam conhecimento deles sem que haja identificação. No tratamento dos dados, geralmente, são usadas medidas que expressem a tendência central e descrevam o grau de dispersão das respostas (VERGARA, 2007, p. 14).
Esta etapa, incluindo os seus subníveis, busca, portanto, o alcance do objetivo específico: c) Ranquear os eventos de riscos por meio do consenso em duas rodadas do método Delphi.
Etapa 4.1: Caracterizar os respondentes escolhidos para o Delphi.
Nessa etapa, são escolhidos os participantes da pesquisa (painelistas) entre os servidores Docentes e Técnico-administrativos da instituição estudada.
Para tanto, devem ser considerados aspectos como o envolvimento em atividades de gestão, mesmo que não exerçam funções de gestores, e a participação nas reuniões de
planejamento estratégico. Busca-se, com isso, oportunizar a aplicação do questionário a um público envolvido com o planejamento e conhecedor dos objetivos institucionais.
De posse da relação dos painelistas, aptos à participação do Delphi, procede-se a escolha dos integrantes que devem compor o painel de respondentes. Esses integrantes devem mostrar disposição para participar do estudo, disponibilidade de tempo e comprometimento em participar de todas as rodadas que são estabelecidas (ALMENARA; MORO, 2014).
Etapa 4.2: Elaborar o questionário com base nos riscos elencados.
No modelo proposto se prevê que os eventos de riscos que compõem o questionário devem ser enumerados pelos integrantes dos grupos de trabalho, durante as reuniões de planejamento estratégico, com base na ferramenta Análise SWOT. Ou seja, após a identificação dos objetivos institucionais apresentados e dos riscos que correspondam a fatores internos e externos específicos da instituição (como Forças, Fraquezas, Oportunidades, Ameaças), esses riscos são, então, relacionados em um questionário.
Etapa 4.3: Aplicar a 1ª rodada do questionário – Formulário Online
Nessa rodada do Delphi, os painelistas são inicialmente convidados a responder o questionário, que pode ser distribuído por via online, como sugerem Freitas, Janissek-Muniz e Moscarola (2004), ao propor a utilização de correio eletrônico para o envio dos questionários aos respondentes por oferecer rapidez, economia e qualidade do suporte multimídia, além de propiciar uma comunicação em tempo real do pesquisador com os convidados, o que dá agilidade ao processo, complementa Rozados (2015).
Etapa 4.4: Analisar as informações da 1ª rodada.
Esta etapa busca tabular e analisar os dados da primeira rodada do estudo Delphi e se baseia nas análises das médias, desvios padrão, e variância, por meio de planilhas eletrônicas e pelo software SPSS, onde se compõe um ranking dos eventos de riscos para posterior comparação com os resultados obtidos da análise da segunda rodada.
De acordo com Hora, Monteiro e Arica (2010), o coeficiente alpha de Cronbach (α) estima a confiabilidade de um questionário aplicado como instrumento de uma pesquisa, medindo a correlação entre suas respostas, por meio da análise do perfil das respostas dadas pelos respondentes, tratando-se de uma correlação média entre perguntas.
Considerando que todos os itens de um questionário utilizem a mesma escala de medição, o coeficiente alpha de Cronbach é calculado a partir da variância dos itens individuais e da variância da soma dos itens de cada avaliador, por meio da Equação (1):
𝜶 =𝑲 − 𝟏 [𝑲 ∑𝒌𝒊=𝟏𝑺𝒊𝟐 𝑺𝒕𝟐 ]
(1) Na fórmula, representada pela Equação (1), k corresponde ao número de itens do questionário; 𝑆𝑖2 corresponde à variância de cada item; 𝑆𝑡2 corresponde à variância total do questionário, obtida a partir da soma de todas as variâncias (HORA; MONTEIRO; ARICA, 2010, p. 88).
A princípio, analisa-se a confiabilidade da escala utilizada, por meio do alpha de Cronbach, cujo valor mínimo aceitável é 0,70. Valores inferiores a 0,7 são considerados baixos, mostrando baixa consistência interna da escala utilizada (OVIEDO; CAMPO-ARIAS, 2005). Em contrapartida, pode-se considerar a existência de redundância ou duplicação para valores acima de 0,9, ou seja, vários itens medem exatamente o mesmo elemento de um constructo, que, para o caso em questão é o desejado.
Oviedo e Campo-Arias (2005) afirmam, ainda, que a estratificação em subescalas pode definir um melhor valor estimado da consistência interna que o coeficiente alpha não- estratificado, melhorando a consistência interna da escala com várias dimensões.
Seguindo essa premissa, as respostas à primeira rodada do estudo Delphi foram separadas em questões sobre probabilidade e sobre impacto, e então, separadas por dimensões, obtendo-se, com isso, os valores do alpha de Cronbach para cada conjunto de questões referentes a cada dimensão.
As frequências de cada item para cada questão são organizadas para, na etapa seguinte, forneçam aos participantes um feedback sobre as opiniões coletadas.
Etapa 4.5: Aplicar a 2ª rodada – questionários personalizados in loco.
Após a finalização da primeira rodada do Delphi, a tabulação e análise dos dados obtidos, são formulados novos questionários que devem ser personalizados, porém, não identificados nominalmente, como mostra o modelo apresentado no Apêndice C. Os respondentes da primeira fase são considerados painelistas da segunda fase.
Na segunda rodada do estudo Delphi, cada questionário é personalizado, pois deve apresentar o conjunto das respostas dadas pelo painelista na primeira rodada, bem como a frequência das respostas para cada item respondido por ele e pelos demais painelistas.
Nessa fase do estudo, os questionários são apresentados em formulários impressos em papel aos painelistas, que responderem à primeira rodada, e são entregues pelo pesquisador mediante controle, na própria unidade de estudo.
Etapa 4.6: Analisar as informações coletadas na segunda rodada do questionário.
Espera-se que, na segunda rodada do estudo em pauta, obtenha-se o aumento do consenso do grupo consultado, concluindo a fase de consulta, momento em que o último retorno deve ser enviado ao grupo, por meio do envio do relatório final aos painelistas.
Nessa etapa, deve-se obter, a partir do produto da resposta de cada questão referente à probabilidade de ocorrência do evento pelo impacto causado por sua concretização, um novo ranqueamento, um valor na dimensão do risco, que permita um novo ranqueamento do maior para o menor risco. Esses dados são, então, confrontados com os dados da primeira rodada, servindo de base para constatação ou não do consenso. Para isso, verifica-se o comportamento do consenso no decorrer das duas rodadas (se aumenta ou se diminui), utilizando-se a variação do desvio padrão e das variâncias dos produtos das respostas (Probabilidade x Impacto) entre elas. Se o desvio padrão diminuir da primeira para a segunda rodada, este fenômeno indica a existência de um maior consenso da questão e do tópico analisado (SANT’ANA, 2005).
5.2.5 Etapa 5 – Ranquear os eventos de riscos com base no consenso entre os respondentes