Segundo Menezes (1998) a validade de um instrumento pode ser definida como a sua capacidade em realmente medir aquilo que ele se propõe a medir e, ama das formas de realizar essa medição, seria a realização de testes estatísticos que demonstrem empiricamente as construções teóricas sobre a relação das variáveis a serem medidas.
Um dos conjuntos de testes estatísticos usualmente empregados nesse tipo de validação é denominado de análise fatorial. Durante uma pesquisa utilizando questionários, pode surgir um grande número de variáveis a serem gerenciadas e analisadas. Assim, a análise fatorial estuda a forma de correlação dos itens do questionário em fatores, para que os dados possam ser avaliados de forma agrupada (MALHOTRA, 2001). Ao se obterem resultados que comprovem a correlação dos itens com a quantidade de fatores encontrados, o instrumento pode ser considerado válido.
Para realizar os processos estatísticos necessários à análise fatorial, os dados obtidos na coleta de dados foram exportados para o programa Statistical Package for the Social
Sciences (SPSS) em sua versão 13.0, no qual foi realizada a análise dos componentes
principais (PC) com os seguintes objetivos:
a) verificar a fatorabilidade do instrumento; e,
b) estabelecer a quantidade de fatores possíveis a serem testados.
Para alcançar esses objetivos, optou-se por tratar as questões de expectativa tanto do questionário de possíveis clientes, quanto do questionário de clientes, conjuntamente, pois aplicando o teste de comparação de média (Teste t de Student), foi identificado que não houve diferença significativa (t(118) = -0,833), com nível de significância (p) > 0,05, entre os itens de expectativa dos dois questionários. Por conseqüência, as questões relativas à percepção, do
questionário de clientes, foram analisadas separadamente. A Tabela 3 apresenta a quantidade de respostas obtidas nos dois questionários (N), para as questões de expectativa, os valores médios das respostas das questões de expectativa e o desvio padrão relacionado às amostras.
Tabela 3 – Comparativo entre as questões de expectativa dos questionários de clientes e possíveis clientes.
Grupo N (Questões Expectativa) Média Desvio Padrão
Questionário de Clientes 42 5,16 1,15 Questionário de Possíveis clientes 78 5,32 0,91 5.3.1.1 Questões de expectativa 5.3.1.1.1 Fatorabilidade do instrumento
Segundo Pasquali (1997), o primeiro passo para se executar uma extração de fatores consiste em verificar se o instrumento apresenta fatorabilidade, ou seja, se é possível realizar a análise fatorial propriamente dita. Para tal são utilizadas duas técnicas: (i) a medida de adequacidade da amostra de Kaiser-Meyer-Olkin (KMO), que é o indicador que demonstra a possibilidade de se realizar a análise fatorial; e, (ii) o teste de esfericidade de Bartlet, que é uma matriz de identidade em que cada variável se correlaciona com ela própria (r = 1), mas não com as outras variáveis (r = 0), ou seja, possui como hipótese nula que nenhuma das variáveis possui relação entre si e, portanto, a matriz será fatorável quando tal hipótese for rejeitada em determinado nível de significância (MALHOTRA, 2001).
Segundo Malhotra (2001), valores de KMO entre 0,5 e 1, indicam que a análise fatorial é apropriada, e Pasquali (1997, p. 54) complementa, afirmando que um KMO acima de 0,90 pode ser considerado “maravilhoso”.
A análise para os itens de expectativa indicou que a matriz de dados é fatorável, com valores de KMO = 0,91 e Bartlett = 2214,5 com nível de significância p < 0,001, para a rejeição da hipótese nula.
5.3.1.1.2 Definição e validação do número de fatores
Identificado que os itens do instrumento são fatoráveis, a determinação do número de fatores a serem validados foi feita a priori, ou seja, especificada previamente, pois o instrumento construído utilizou como referência os mesmos fatores (dimensões) disponíveis no modelo IS-SERVQUAL (Confiabilidade, Capacidade de Resposta, Segurança e Empatia).
Com a determinação a priori as análises conduzidas possuíram como objetivo confirmar ou não a existência de tais fatores. Existem várias técnicas para se validar ou determinar o número de fatores possíveis, das quais as mais comuns são a com base nos autovalores, que representa a variância total explicada por cada fator e o gráfico de declive (Scree plot), que é um gráfico dos autovalores versus número de fatores, por ordem de extração (MALHOTRA, 2001).
Para a validação com base nos autovalores são retidos apenas os fatores com autovalores superiores a 01 (um) (MALHOTRA, 2001; PASQUALI, 2002). Essa técnica aplicada aos itens de expectativa apontou para uma solução compatível de, no máximo, 04 (quatro) fatores.
Todavia, Pasquali (1987) considera que tais critérios tendem a superestimar a quantidade de fatores e, portanto, é importante analisá-los em conjunto com o gráfico Scree
Plot. A estrutura fatorial para a os itens de expectativa, segundo tal gráfico, apresenta no
máximo três fatores, conforme pode ser observado na Figura 16, uma vez que no eixo número de componentes a curva começa a deixar de ser acentuada no terceiro ponto, o que, segundo Malhotra (2001), indica o verdadeiro número de fatores.
25 24 23 22 21 20 19 18 17 16 15 14 13 12 11 10 9 8 7 6 5 4 3 2 1 Component Number 12 10 8 6 4 2 0 Eigenval ue Scree Plot
Figura 16 - Plotagem do scree para os itens de expectativas.
Contudo, Malhotra (2001, p. 510-511), afirma que a interpretação da solução fatorial, em geral, é melhorada com a utilização de uma técnica denominada rotação de fatores. A rotação de fatores permite que a matriz inicial de fatores seja transformada, através de um processo de rotação, em uma matriz mais simples, mais fácil de interpretar. Existem dois tipos de rotação possíveis: a ortogonal em que os eixos são mantidos em ângulo reto; e, a oblíqua onde os eixos não estão em ângulo reto. Ainda segundo Malhotra (2001), a rotação oblíqua deve ser utilizada quando os fatores da população tendem a ser fortemente correlacionados.
Para a complementação da análise dos fatores dos itens de expectativa, optou-se pela rotação oblíqua, pois conforme informado pelos próprios autores do SERVQUAL (PARASURAMAN; ZEITHAML; BERRY, 1994), os fatores propostos para o instrumento estão inter-relacionados.
Então, nas análises fatoriais com rotação oblíqua, fixou-se o número de fatores de um a três e se comparou os resultados obtidos. Seguindo critério de melhor aproveitamento dos
itens e coerência teórica entre estes, optou-se pela estrutura unifatorial, pois nessa estrutura foram obtidos os maiores valores de carga fatorial, sendo que quanto maior o valor apresentado, maior é a correlação com o fator.
Na Tabela 4, podem ser observados os itens e suas cargas fatoriais em relação a solução unifatorial. Utilizou-se como ponto de corte a carga fatorial inferior a 0,32, pois esta significa uma comunalidade mínima de 10% entre o item (Questão) e o fator (PASQUALI, 2002). Essa premissa resultou na exclusão da questão 06 (seis), que se referia à entrega, por parte do provedor de serviço, de estimativas de esforço e custo do serviço. A partir deste momento, uma questão do instrumento também será referenciada como item.
Tabela 4 - Estrutura fatorial dos itens de expectativas.
Questão Fator QE15 0,832 QE17 0,803 QE16 0,791 QE25 0,787 QE19 0,766 QE9 0,747 QE12 0,741 QE21 0,739 QE10 0,737 QE22 0,735 QE23 0,724 QE18 0,724 QE14 0,723 QE13 0,711 QE08 0,696 QE11 0,694 QE07 0,684 QE24 0,639 QE20 0,626 QE01 0,605 QE03 0,400 QE05 0,395 QE02 0,362 QE04 0,357 QE06 Excluído
A validade do fator é garantida pela própria análise fatorial e é expressa pelo tamanho das cargas fatoriais. Desta forma, pode-se considerar o conjunto das questões de expectativas, excetuando-se o item 06 (seis), como válidas.
A solução unifatorial do instrumento pode ser considerada como um resultado esperado quando é utilizado como base o SERVQUAL, uma vez que foi encontrada em estudos correlatos, como por exemplo, o estudo de Reis (2001) que analisa a qualidade percebida do serviço de lazer oferecida por um complexo poliesportivo.
Durante as discussões de efetividade do SERVPERF em relação ao SERVQUAL, Cronin e Taylor (1992), também apresentam como um dos problemas do SERVQUAL a solução unifatorial para seus itens. Todavia Parasuraman, Zeithaml e Berry (1994), contra- argumentam alegando que realmente os fatores (dimensões) propostos estão inter- relacionados. Contudo, a variância obtida pelo instrumento SERVQUAL é muito menor do que a do instrumento SERVPERF, o que sugere fortemente que a solução unifatorial é insuficiente para representar a informação gerada pelos itens do instrumento.
Já segundo Kettinger e Lee (1997), alguns dos estudos baseados no SERVQUAL que chegaram a resultados unifatoriais utilizaram rotação ortogonal (que presume independência entre os fatores estudados), o que poderia gerar cargas de fatores não claras. Entretanto, essa crítica não se aplica ao presente estudo, uma vez que foi utilizada a rotação cujo método pressupõe correlação entre os fatores, ou seja, a rotação oblíqua.
5.3.1.1.3 Consistência dos fatores
Mesmo tendo validade, um fator pode não ser consistente em função do tamanho das cargas fatoriais e do número de itens que compõem o fator (PASQUALI, 1987). Uma das maneiras de se medir a consistência interna é através da confiabilidade meio a meio, que prevê que os itens do instrumento sejam divididos em duas metades e os meio-escores resultantes sejam correlacionados, sendo que uma correlação elevada entre as metades indica
alta consistência interna. Uma das abordagens utilizadas para a realização da confiabilidade meio a meio é através do coeficiente alfa, ou Alfa de Cronbach. O Alfa de Cronbach é a média de todos os coeficientes possíveis resultantes das diferentes divisões do instrumento em duas metades (MALHOTRA, 2001). Essa técnica produz resultados de 0 (zero) a 01 (um) sendo que, segundo Malhotra (2001), valores abaixo de 0,6 são insatisfatórios.
Conforme pode ser observado na Tabela 5, o conjunto de itens de expectativa também pode ser considerado consistente, pois o valor Alfa para o fator único é alto (0,95) e mesmo quando aplicado aos quatro fatores definidos a priori, nenhum apresenta resultados inferiores a 0,6.
Tabela 5 – Consistência interna dos fatores para os itens de expectativa.
Fator Alfa de Cronbach
Fator Único 0,95 Confiabilidade 0,84 Capacidade de Resposta 0,76 Segurança 0,83 Empatia 0,80 5.3.1.2 Questões de percepção
Em virtude da especificidade do universo amostral, clientes sediados no Distrito Federal de empresas formalmente avaliadas nos modelos CMM®/CMMI®, não foi possível obter quantitativo de respondentes para as questões de percepção compatível com a utilização da análise fatorial. Todavia para efeito de discussão preliminar, foram consideradas as hipóteses de estrutura unifatorial, tal como ocorreu para os itens de expectativa, e com os quatro fatores previstos na concepção do instrumento, para os quais foram obtidos altos valores de consistência com análises feitas pelo Alfa de Conbrach (Tabela 6).
Tabela 6 – Consistência interna dos fatores para os itens de expectativa.
Fator Alfa de Cronbach
Fator Único 0,97
Confiabilidade 0,95 Capacidade de Resposta 0,90
Segurança 0,93 Empatia 0,89
Outra análise que corrobora o relacionamento entre as expectativas e percepções foi a montagem de uma matriz de correlação entre os fatores/dimensões da análise dos itens de expectativa e percepção. Na Tabela 7 pode ser observado que quase todos os cruzamento possuem correlação com nível de significância pelo menos < 0,05, o que indica que até para uma possível existência de uma solução com 04 (quatro) fatores, os itens do instrumento estariam correlacionados.
Tabela 7 – Matriz de correlação entre as dimensões para os itens de expectativa e percepção. Expec. Fator Único Perce. Fator Único Perce.
Fator01 Fator02 Perce. Fator03 Perce. Fator04 Perce. Fator01 Expec. Fator02 Expec. Fator03 Expec. Fator04 Expec. Expec. Fator Único - Perce. Fator Único 0,46** - Perce. Fator01 0,40** 0,97 - Perce. Fator02 0,46** 0,96*** 0,89*** - Perce. Fator03 0,40** 0,96*** 0,92*** 0,87*** - Perce. Fator04 0,50*** 0,95*** 0,88*** 0,92*** 0,86*** - Expec. Fator01 0,97*** 0,40** 0,36* 0,42** 0,32* 0,44** - Expec. Fator02 0,94*** 0,42** 0,36* 0,44** 0,37* 0,48** 0,90*** - Expec. Fator03 0,96*** 0,38* 0,32* 0,37* 0,36* 0,42** 0,91*** 0,88*** - Expec. Fator04 0,94*** 0,38* 0,32* 0,41** 0,31* 0,43** 0,89*** 0,84*** 0,87*** - Legenda: * Nível de Significância < 0,05; ** Nível de Significância <0,01; *** Nível de Significância < 0,001.
5.4 - CONSIDERAÇÕES FINAIS DO CAPÍTULO
Neste capítulo foram apresentados os conceitos e etapas percorridas na definição e validação do instrumento para avaliação da qualidade percebida dos serviços prestados por provedores formalmente avaliados nos modelos CMM®/CMMI®.
Como pode ser observado nas seções 5.1.1 e 5.1.2, o instrumento aqui proposto foi desenvolvido a partir de 04 (quatro) premissas e 05 (cinco) etapas de refinamento e definição de questões. As premissas definidas tinham por objetivo guiar o desenvolvimento do instrumento definindo aderência entre os modelos de qualidade de serviço utilizados como base (SERVQUAL e IS-SERVQUAL) e o modelo CMMI®. Já as etapas de construção serviram para modelar as questões e realizar refinamentos até que se chegasse a um conjunto razoável de itens que conseguisse avaliar as atividades previstas nos níveis 02 (dois) e 03 (três) do CMMI®.
Após esta modelagem, o instrumento foi submetido a dois processos de validação, um semântico e outra estatístico. Na validação semântica, 05 (cinco) voluntários com conhecimentos do modelo CMMI®, analisaram o instrumento com relação à sua clareza e adequação, produzindo 26 (vinte e seis) sugestões de melhorias, que forma atendidas praticamente em sua totalidade.
A versão revisada “pós-validação semântica”, foi disponibilizada para coleta de dados por 72 (setenta e dois) dias em um sítio na Internet, para que os respondentes previamente selecionados pelo seu perfil, pudessem fazer o preenchimento. Com o objetivo de ampliar o número de respondentes e identificar qual seria a expectativa em relação a um possível serviço prestado pelos provedores CMM®/CMMI®, foram criados dois questionários distintos para preenchimento. O primeiro, para ser respondido apenas por quem ainda não era cliente de tais provedores, mas conheciam o CMMI®, contendo apenas os itens do instrumento para avaliar a expectativa. Já o segundo era formado pela versão completa com os
itens de expectativa e percepção, para ser respondido por quem era ou já foi cliente dos provedores CMM®/CMMI®.
Finalizada a coleta foram obtidos 120 (cento e vinte) questionários respondidos, sendo 78 (setenta e oito) de possíveis clientes e 42 (quarenta e dois) de clientes das empresas formalmente avaliadas nos modelos CMM®/CMMI®. Estes dados foram submetidos ao procedimento de análise fatorial a fim de se verificar a validade do instrumento proposto. Antes de realizar a análise fatorial propriamente dita, foi identificado o primeiro achado do trabalho, que demonstrou não haver diferença significativa (t(118) = -0,833, com nível de significância (p) > 0,05) entre as respostas dos itens de expectativa dos questionários de clientes e possíveis clientes. Essa situação permitiu que a análise fatorial pudesse considerar para validar os itens de expectativa uma amostra de 120 (cento e vinte) respondentes, ampliando assim o grau de confiabilidade dos resultados.
A análise dos itens de expectativa demonstrou que as dimensões/fatores previstos na concepção do instrumento (Confiabilidade, Capacidade de resposta, Segurança e Empatia), não se confirmaram sendo obtida uma solução unifatorial. Todavia esse resultado poderia ser considerado como esperado, uma vez que foi observado em trabalhos que também utilizavam o SERVQUAL como base e o fato dos autores do modelo admitirem que os fatores propostos estariam inter-relacionados. Contudo, conforme pode ser também observado na seção 5.3.1.1, esse resultado não inviabilizou a validade das questões de expectativa, pois foi apresentado um valor alto (0,95) de Alfa de Cronbach que avalia a consistência interna dos itens em relação ao fator único. A solução multifatorial também não pode ser totalmente desacreditada, pois a mesma análise de consistência interna realizada para as quatro dimensões previstas, não apresenta nenhum valor abaixo de 0,60 (mínimo necessário).
Para os itens de percepção, não foi possível obter quantitativo de respondentes compatível com a utilização da análise fatorial. Mas, realizando as mesmas análises feitas
pelo Alfa de Conbrach, para a estrutura unifatorial de expectativa e os quatro fatores originais, foram obtidos altos valores (>0,88), que sugerem resultados semelhantes aos da análise das questões de expectativa.
No próximo capítulo, utilizando os dados já coletados, serão apresentados resultados obtidos das expectativas e percepções de clientes e possíveis clientes em relação aos serviços prestados por provedores formalmente avaliados no CMM®/CMMI®.
6 RESULTADOS
OBTIDOS
“A decepção surge da disparidade entre a expectativa de uma atividade agradável e a experiência real” Albert Hirschman
Neste capítulo serão apresentados os resultados descritivos identificados a partir dos dados já disponíveis da coleta para realização da validação estatística. A apresentação foi segmentada em três focos: o primeiro sobre as expectativas de clientes e possíveis clientes em relação à prestação, ou possível prestação, de serviço por provedores formalmente avaliados no CMM®/CMMI®. O segundo apresenta a percepção dos clientes sobre a experiência da prestação do serviço com tais provedores e, por último, é apresentada a avaliação da qualidade de serviço (Percepção - Expectativa), na qual são identificados os pontos mais problemáticos na visão dos clientes. Para cada um destes focos são detalhados a freqüência dos dados demográficos, a análise estatística efetuada para o conjunto de dados tratado dentro do foco e outras análises complementares, que têm por objetivo elucidar informações não aparentes nas análises estatísticas.