Segundo Adcock e Collier (2001), o processo de validação é usualmente discutido em paralelo à confiabilidade da pesquisa e a mensuração do erro – que pode ser segregado em erro sistemático e amostral. Litwin (1995) explica que o erro amostral não é esperado e ocorre em todas as pesquisas, sendo basicamente afetado pela técnica utilizada no processo de seleção da amostra. Já o erro sistemático é aquele que ocorre durante a realização da pesquisa, considerando-se que nenhum instrumento de coleta é perfeito.
Freitas et al. (2000) explicam que a validade de uma medição refere-se a quanto o processo de medição está isento, simultaneamente, de erros amostrais e de erros sistemáticos e que a confiabilidade de uma medição refere-se a quanto o processo está isento apenas de erros amostrais. O processo para testar a confiabilidade de um estudo ou pesquisa pode ser apresentado a partir de cinco diferentes iniciativas (LITWIN, 1995), como ilustrado no quadro 16.
Quadro 16 − Tipos de testes de confiabilidade
Tipo de confiabilidade Características
Teste-reteste Avalia a estabilidade das respostas ao longo de um período pré-estabelecido, aplicado a determinado grupo de
respondentes
Intraobservador Avalia a estabilidade das respostas ao longo de um período pré-estabelecido, aplicado a determinado indivíduo
Forma alternativa Utiliza diferentes palavras ou conjunto de respostas para obter a mesma informação sobre um tópico específico Consistência interna Avalia a escala de variação de itens dentro de uma amostra Interobservador Avalia como dois ou mais respondentes avaliam o mesmo
fenômeno
Fonte: adaptado de Litwin (1995).
No estudo realizado, será utilizada a análise de consistência interna para testar a confiabilidade da pesquisa, a partir do cálculo do Alfa de Cronbach (LITWIN, 1995; FREITAS et al., 2001; HAIR et al., 2009), que revela se os construto são confiáveis ou não.
Quanto à validação da pesquisa, vários métodos foram implementados para aumentar a segurança sobre os dados coletados e resultados apresentados. No que tange ao método da análise de conteúdo, utilizado nas primeiras fases da pesquisa, pode-se dizer que, para a definição da categorização dos ativos intangíveis e seleção de indicadores de capital intelectual, foram utilizadas fontes primárias e secundárias, sendo estas últimas sempre por meio de publicações em periódicos indexados e citados na comunidade acadêmica pelos principais autores que estudam o tema capital intelectual.
De acordo com Adcock e Collier (2001), o instrumento de pesquisa pode ser validado por seu conteúdo, critério e construto. Litwin (1995) ainda adiciona um quarto tipo de validação, chamado de validação facial – face validity −, também conhecido por validação aparente (FREITAS et al., 2000).
O questionário enviado aos professores e coordenadores dos cursos de mestrado profissional em administração teve o seu conteúdo validado e também passou pela etapa de validação facial ou aparente, que é baseada em uma revisão dos itens do instrumento
de pesquisa feita por juízes não especialistas no tema. A primeira validação foi realizada por duas pessoas, a saber:
• J1: Valentina Gomes Haensel Schmitt – doutora, mestre e bacharel em Adminis-
tração, com especialização em Economia e Políticas Públicas;
• J2: Reinaldo Costa de Almeida Rêgo − doutor em Administração, mestre e ba-
charel em Ciências Militares.
Nessa primeira etapa, foi realizada a revisão sobre a primeira versão do instrumento de pesquisa, de forma individualizada. Foram avaliados diversos aspectos, entre eles o entendimento do texto elaborado na introdução do questionário, as perguntas formuladas para cada item pesquisado, a forma de abordagem do questionário e sua conclusão, entre outros itens que não exigiam o conhecimento teórico sobre o tema pesquisado.
A segunda etapa do processo, compreendida pela validação de conteúdo, buscou, amparada por Litwin (1995), a avaliação subjetiva sobre a adequação do instrumento de pesquisa aos olhos de revisores que possuem algum conhecimento sobre o assunto estudado. De acordo com Adcock e Collier (2001), foi realizada uma avaliação para saber se os indicadores selecionados para o questionário representaram o que se desejava mensurar.
Essa etapa do processo de validação contou com a participação de três juízes, a saber:
• J3: José Arnaldo Deutscher – doutor em Gestão da Inovação, mestre em Inovação e bacharel em Economia. Sua tese de doutorado versou sobre métricas e relatório de capitais intangíveis. Possui experiência como diretor de fundos que investem em empresas desenvolvedoras de novas tecnologias;
• J4: Andréa Silveira – mestre e bacharel em Ciências Contábeis. É, atualmente,
diretora superintendente do Grupo Educacional Signorelli, com vasta experiên- cia nas áreas acadêmicas e de educação;
• J5: Jacyara Carrijo Rochael Nasciutti – doutora, mestre e bacharel em Psicologia. Foi diretora e professora do Instituto de Psicologia da Universidade Federal do
Rio de Janeiro, sendo atualmente professora dos cursos de pós-graduação da Fundação Getúlio Vargas e assessora acadêmica do Instituto Brasileiro de Economia.
Nessa segunda etapa, foram marcadas entrevistas individuais, com duração de uma a duas horas, para que o “juiz” consultado pudesse avaliar o questionário e colocar suas opiniões e sugestões de alterações. Como resultado, foram sugeridas inclusões de indicadores novos para melhor captação do capital intelectual de cada ativo intangível crítico selecionado e alterações no texto, para torná-lo mais objetivo e explicativo aos olhos dos respondentes.
Após analisar cada sugestão, que foi devidamente registrada e arquivada em papéis de trabalho, foram realizadas as mudanças pertinentes e finalizada a segunda versão do instrumento de pesquisa. Só então foi iniciada a terceira etapa, com as reuniões para o teste-piloto do questionário, incluindo respondentes selecionados a partir da amostra da pesquisa, buscando melhorar as questões formuladas, o seu formato e as escalas utilizadas. Além disso, o teste-piloto permitiu identificar erros na forma de apresentação da pesquisa, que inevitavelmente ocorrem durante a sua elaboração.
De acordo com Litwin (1995), o teste-piloto permite aos autores terem uma chance de corrigir possíveis erros antes de o questionário ser enviado para toda a amostra selecionada. Prevê, ainda, dificuldades que possam vir a surgir durante a sua aplicação, que, até então, não haviam sido notadas.
Nessa última etapa, foram entrevistados dois professores dos cursos de MPA pesquisados, a partir de reuniões individuais, a saber:
• P1: Roberto Brasileiro Paixão – professor do curso de MPA da Universidade
Federal da Bahia (UFBA). Possui doutorado em Administração, com área de atuação em avaliação de sistemas, instituições, planos e programas educacionais;
• P2: Ricardo Lopes Cardoso – professor do curso de MPA da EBAPE/FGV. Possui doutorado em Controladoria e Contabilidade, com área de atuação em gerenciamento de resultados, regulação e relevância da informação contábil.
Após realizadas as reuniões com os professores acima mencionados, foi finalizada a terceira versão do questionário de pesquisa. Tal versão, que encontra-se no apêndice desta tese, foi a utilizada para captar a opinião dos professores e coordenadores dos cursos de MPA no Brasil, acerca dos itens pesquisados.