A validade de uma medida refere-se a sua capacidade de realmente medir o que se deseja (Cooper e Schindler, 1998, p. 166), ou seja, refere-se à questão de saber se uma medida concebida para medir um conceito realmente o mede de forma correta (Bryman e Bell, 2011, p. 159). No contexto da pesquisa quantitativa, validade de um instrumento de medição é o grau com que as diferenças que ele encontra entre os respondentes de um teste refletem as verdadeiras diferenças entre eles (Cooper e Schindler, 1998, p. 167).
A confiabilidade em um survey, refere-se à consistência da medida estabelecida para um conceito (Bryman e Bell, 2011, p. 158), ou seja, uma medida é confiável de acordo com o grau de acurácia e precisão (Cooper e Schindler, 1998, p. 166) com que fornece resultados consistentes (Cooper e Schindler, 1998, p. 171). A confiabilidade presta uma contribuição importante para a validade de uma medida, sendo uma condição necessária para a validade, mas não suficiente.
396 393 365 357 348 317 235 220 0 50 100 150 200 250 300 350 400 450 Dimensões do Projeto e da Equipe de Gestão Custo do Projeto Esforço de Integração Tempo de Duração Stakeholders em conflito em torno do projeto Tecnologia Envolvida Desempenho Elevado Novas práticas trazidas pelo projeto
44
A confiabilidade está preocupada em estimar o grau com que uma medida é livre de erros de aleatoriedade ou de instabilidade. Neste trabalho, considera-se o conjunto de medidas de diagnóstico sugerido por Cooper e Schindler (1998).
Cooper e Schindler (1998, p. 171) propõem que a confiabilidade pode ser medida por três formas diferentes:
a) Pela sua estabilidade, aplicando o questionário em momentos temporais defasados ao mesmo grupo de respondentes (autores sugerem seis meses de intervalo entre o primeiro teste e sua repetição);
b) Pela equivalência, definida como o grau em que formas alternativas do questionário produzem resultados similares; e
c) Por meio da consistência interna, que procura informar sobre a precisão do instrumento, por meio da estimativa da fiabilidade dos dados obtidos.
No caso desse estudo, a confiabilidade será testada por meio da consistência interna, utilizando-se o coeficiente do Alfa de Cronbach, por ser o mais utilizado para escalas de múltiplos itens (Cooper e Schindler, 1998, p. 171; Bryman e Bell, p. 170). O coeficiente do Alfa de Cronbach é uma medida de confiabilidade que varia entre 0 e 1 (Hair, Black, Babin e Anderson, 2010), sendo que quanto mais próximo de 1, maior é a aceitabilidade dos dados obtidos pelo instrumento (consistência interna). Esse coeficiente foi criado por Cronbach e superou o problema da arbitrariedade do método split half, na escolha do ponto para a partição do questionário em duas partes, ao usar “uma técnica que estima o coeficiente de fiabilidade [confiabilidade] interna (α) como sendo o valor médio de todos os coeficientes possíveis do tipo ‘split half’” (Hill e Hill, 2002). Dessa forma, o valor do alfa de Cronbach é estimado pela seguinte fórmula:
∝= − 1 × 1 − â â =
− 1 × 1 −
∑ 2
=1 2
Para a avaliação da consistência interna a partir dos resultados obtidos não só por meio do Alfa de Cronbach, mas de qualquer outro instrumento de medida desse requisito da confiabilidade, várias classificações foram propostas, como a de Hill e Hill (2002, p. 149). Esses autores apresentam sua classificação de acordo com a seguinte faixa de valores: maior que 0,9 (Excelente); entre 0,8 e 0,9 (bom); entre 0,7 e 0,8 (razoável); entre 0,6 e 07 (fraco); e menor que 0,6 (inaceitável). Bryman e Bell (2011) afirmam que 0,8 é tipicamente empregado para denotar um nível acima do qual a consistência interna é aceitável, porém destacam que muitos autores aceitam um valor ligeiramente mais baixo. Hair et al. (2010, p. 92), por exemplo, citam o fato de que é geralmente aceito que o limite inferior para aceitabilidade do alfa de Cronbach (consistência interna) seja 0,6.
45
A consistência global obtida da escala é de 0,976, o que denota uma consistência interna excelente (Hill e Hill, 2002, p. 149) com uma aceitabilidade muito alta (Bryman e Bell, 2011, p. 159; Murphy e Davidshofer, 1988, citado por Peterson, 1994, p. 382). Para Kaplan e Saccuzzo (1982, citado por Petterson, 1994, p. 382) e Nunnally (1978, citado por Petterson, 1994, p. 382) esse valor de consistência interna encontra-se em um nível que recomenda sua utilização para pesquisa aplicada. A consistência interna das subescalas é objeto de apresentação na Tabela 12. Tabela 12 - Consistência Interna por Subescala
Subescala Nº de Itens Alfa de Cronbach
Complexidade 10 0,766
Desempenho 6 0,845
Maturidade 6 0,871
Práticas de Identificação de Riscos 19 0,926
Práticas de Avaliação de Riscos 13 0,923
Práticas de Planejamento de Ações contra o Risco 9 0,883
Práticas de Monitorização de Riscos 14 0,921
Práticas de Comunicação e Integração 6 0,923
Práticas de Suporte à Gestão de Riscos 7 0,860
Entretanto, cabe ressaltar que para Hair et al. (2010, p. 125), devido à incapacidade de um único item medir com perfeição esse conceito, é necessário utilizar um conjunto de medições a fim de avaliar a consistência interna. Por isso, recomendam, entre outros instrumentos, que seja utilizada a correlação item-total (Item-To-Total Correlation), que no SPSS aparece como Corrected
Item-Total Correlation. Segundo estes autores, essa correlação deve ser superior à 0,5 para que o
item seja mantido no estudo. A Tabela 13 enumera os itens que seria recomendável excluir da análise devido a esse mecanismo.
Tabela 13 - Itens analisados para exclusão da análise
Item Subescala Corrected Item-
Total Correlation
Alfa de Cronbach da Subescala
Alfa de Cronbach da Subescala se item for
eliminado q0014_0001 Complexidade 0,450 0,766 0,737 q0016_0001 Complexidade 0,478 0,766 0,734 q0018_0001 Complexidade 0,448 0,766 0,737 q0019_0001 Complexidade 0,289 0,766 0,759 q0021_0001 Complexidade 0,332 0,766 0,753 q0022_0001 Complexidade 0,414 0,766 0,742 q0023_0001 Complexidade 0,470 0,766 0,737 q0024_0001 Complexidade 0,334 0,766 0,752 q0039_0009 Planejamento de Ações contra o Risco 0,277 0,883 0,895
Porém, a retirada de qualquer desses itens, com exceção do q0039_0009 (Prática 5W2H), reduziria o alfa de Cronbach da subescala a que pertencem. Por isso, utilizou-se a
46
orientação proposta por Field (2009, p. 672) que diz que a retirada do item é encorajada, quando a Correlação Item-Total for inferior à 0,30, que é o caso dos itens q0019_0001 e q0039_0009. Dessa forma, esses itens foram retirados da análise e mantidos os demais. Foram realizados ainda mais dois testes de confiabilidade que retiraram os itens q0021_0001 e q0024_0001, por passarem a apresentar essa correlação abaixo de 0,30.
Com isso, o Alfa de Cronbach da subescala Planejamento de Ações contra o Risco que era de 0,883 passa a 0,895 e o da subescala Complexidade não se alterou. Com a retirada desses itens, a confiabilidade da escala global passou de 0,976 para 0,977. Cabe ressaltar que essa retirada não implica na ausência de contribuição dessas variáveis de complexidade para o risco ou dessa prática para a gestão de riscos, mas que o questionário não foi capaz de extrair dos respondentes sua possível contribuição.