A pesquisa contou com dois métodos de coleta de dados. Para aferir o desempenho organizacional, foi efetuada uma análise de dados secundários a partir de uma extensa consulta efetuada ao banco-de-dados de indicadores de desempenho do Projeto Excelência ABIPTI. Por outro lado, tanto para colher o grau de orientação para o mercado no âmbito das instituições de pesquisas tecnológicas por meio de um questionário MARKOR adaptado, quanto para levantar a percepção externa de sucesso ou insucesso corporativo mediante a utilização do Painel de Especialistas, foi utilizada a coleta de dados primários por meio de duas surveys a distância deflagradas em paralelo, as quais se deram, na prática, pela remessa de questionários autoadministráveis anexos a mensagens de e-mails, que continham, por sua
vez, instruções detalhadas para o preenchimento do questionário e um texto persuasivo à colaboração (APÊNDICES G e H). Isto, porém, foi feito somente após uma cuidadosa atualização de dois cadastros de respondentes em potencial. Um deles integrado pelos dirigentes das setenta instituições de pesquisas tecnológicas pesquisadas para compor o construto orientação para o mercado e o outro cadastro composto por indivíduos conhecedores do setor de C&T brasileiro, porém sem quaisquer vínculos com as instituições de pesquisas tecnológicas pesquisadas, para constituir o construto percepção externa de sucesso ou insucesso corporativo.
4.2.1 Aferição do construto desempenho organizacional: indicadores de desempenho ABIPTI
O fator desempenho organizacional foi obtido a partir da compilação das séries históricas de indicadores de desempenho20 enviadas entre 1995 e 2006 pelos institutos de pesquisas tecnológicos associados à ABIPTI que participaram do Projeto Excelência na Pesquisa Tecnologia e especialmente disponibilizadas por aquela Associação para este trabalho. As variáveis de desempenho organizacional, cada uma representada por um indicador de desempenho estabelecido pela ABIPTI, passaram inicialmente por uma fase exploratória descritiva em que se empreendeu um estudo estatístico, tendo como unidades de análise as setenta instituições de pesquisas tecnológicas que compuseram a população-alvo e, como unidades de observação, os indicadores de desempenho componentes da série histórica do Projeto Excelência da ABIPTI. No ANEXO D encontra-se uma descrição sobre a forma de cálculo e periodicidade de aferição de cada indicador.
Um exame preliminar das séries históricas de dados dos indicadores de desempenho resultou na necessidade de eliminação de cinco deles e na alteração na sistemática de cálculo dos
20 Por exemplo: Índice de reclamação em relação aos serviços prestados e Índice de retenção de clientes por serviço, como
Indicadores de Clientes/Mercado e Índice de aprovação de propostas de projetos e Quantidade de publicações em periódicos nacionais como Indicadores de Processos.
escores de dois. A eliminação foi necessária, uma vez que cinco indicadores de desempenho apresentavam uma rarefação muito alta em seus dados, ou seja, apenas um, ou nenhum instituto de pesquisa tecnológica havia enviado seus dados para aqueles cinco indicadores ao longo do período 1995-2006. Os indicadores eliminados por esse critério foram aqueles que se pode ver no Quadro 04.
Código do Indicador Descrição Razão para a eliminação
659 Pontuação Ethos. Frequência anual. Forma de medição: Pontuação obtida na avaliação do Instituto Ethos
Apenas uma instituição de pesquisa enviou registros 663 Registro de marcas no exterior. Frequência anual.
Forma de medição: número de marcas registradas no exterior
Nenhuma instituição de pesquisa enviou registros 664 Registro de modelos de utilidade no Brasil.
Frequência anual. Forma de medição: número de modelos de utilidade registrado no Brasil
Apenas uma instituição de pesquisa enviou registros 665 Registro de softwares no exterior. Frequência anual.
Forma de medição: número de softwares registrado no exterior
Nenhuma instituição de pesquisa enviou registros 667 Registro de modelos de utilidade no exterior.
Frequência anual. Forma de medição: número de modelos de utilidade registrados no exterior
Nenhuma instituição de pesquisa enviou registros Quadro 04 – Razões para a eliminação de cinco indicadores de desempenho organizacional
Fonte – ABIPTI. Indicadores do Projeto Excelência na Pesquisa Tecnológica e elaborada pelo autor a partir de dados da pesquisa.
A alteração na sistemática de cálculo dos escores de dois indicadores, por outro lado, se prendeu ao seguinte fato. Todos os indicadores, exceto dois, tinham conotação positiva, ou seja, quão maiores os seus escores, mais representavam uma situação vantajosa da instituição no ranking de desempenho organizacional. Ocorre que isto não é verdadeiro em relação a dois indicadores que, na verdade, são índices negativos, ou seja, quão menores forem os seus escores, mais bem colocadas se encontram as instituições em relação às suas posições relativas no que diz respeito a esses indicadores. Isto pode ser sintetizado e compreendido por meio de um exame do Quadro 05, que vem a seguir.
Código do Indicador Descrição Alteração necessária 307 Índice de reclamação em relação aos serviços
prestados. Frequência anual. Forma de medição: (nº de reclamações / nº total de serviços e projetos prestados para clientes externos) x 100
Os escores originais variavam de 0,10 (a instituição que tinha o menor índice de reclamações) a 23,84 (a instituição que tinha o maior índice de reclamações) Foi necessário multiplicar todos os escores por 100 para se restabelecer o rankeamento no sentido correto
505 Índice de acidentes de trabalho na organização. Frequência anual. Forma de medição: (nº de acidentes de trabalho ocorridos / HH* da força de trabalho) x 1.000.000.
Os escores originais variavam de 0,44 (a instituição que tinha o menor índice de acidentes de trabalho) a 428.571,43 (a instituição que tinha o maior índice de acidentes de trabalho) Foi necessário multiplicar todos os escores por 1.000.000 para se restabelecer o rankeamento no sentido correto
Quadro 05 – Razões para as alterações efetuadas no cálculo de dois indicadores de desempenho organizacional Fonte – ABIPTI. Indicadores do Projeto Excelência na Pesquisa Tecnológica e elaborada pelo autor a partir de dados da pesquisa.
*Legenda – HH: Homens-hora.
Após os procedimentos de eliminação de cinco e de alterações nos escores de mais dois, trabalhou-se com um total de 62 (sessenta e dois) indicadores.
Outro problema enfrentado nessa etapa foi a diversidade encontrada nos resultados das fórmulas de cálculo adotadas na composição dos indicadores de desempenho organizacional, uma vez que estes se apresentavam, alternadamente, sob forma de números absolutos, números índices e valores percentuais.
Tabela 03 – Indicadores de desempenho ABIPTI por perspectiva e por formato final da fórmula Perspectiva do Indicador Formato de saída adotado na fórmula dos indicadores Freq. %
Ambiente organizacional (2) em valor percentual 2 3,2
Aquisição (1) em valor percentual 1 1,6
Financeira (5) em valor percentual e (5) em n°s índices 10 16,1
Inovação (6) em n°s absolutos, (4) em n°s índices e (1) em valor percentual 11 17,7
Mercado/Clientes (5) em valor percentual 5 8,1
Pessoas (4) em n°s índices e (4) em valor percentual 8 12,9
Processos (12) em n°s índices, (8) em valor percentual e (3) em n°s absols. 23 37,1 Responsabilidade social (1) em valor percentual e (1) em n°s índices 2 3,2
Quantidade Total de Indicadores de Desempenho Organizacional 62 100,0
A Tabela 03 apresentou a distribuição dos indicadores trabalhados nesta pesquisa, por sua perspectiva, isto é, pela área de desempenho organizacional específica que esses se propunham a medir: financeira, de inovação, de pessoas etc., e também pela natureza dos formatos de saída adotados no cálculo de suas fórmulas: números absolutos, números índices e valores percentuais.
A sistemática de lançamentos para atingir o valor final compilado de cada indicador foi a seguinte. Foram criadas sessenta e duas planilhas para acumular os lançamentos dos valores de todos os institutos de pesquisas para todos os indicadores durante o período 1995-2006, mantendo-se, inclusive, células vazias para o caso de não se registrarem lançamentos em determinados institutos e/ou em determinados anos.
Tabela 04 – Exemplo de uma planilha de lançamento e cálculo de indicadores de desempenho ABIPTI INDICADOR 103 – Captação de recursos
provenientes do organismo mantenedor POR
INSTITUTO 1995 1996 1997 | 2004 2005 2006 Somatório 1995-2006 CCDM – Centro de Caracterização e Desenvolvimento de Materiais 912,81 39,00 24,05 | 3665,39 1,98 0,68 4643,91 CDTN – Centro de Desenvolvimento da Tecnologia Nuclear - 14,27 17,56 | - 0,01 0,22 32,06 CENPES/PETROBRAS – Centro de Pesquisas e
Desenvolvimento Leopoldo A. Miguez de Mello 147,00 49,10 | 2567,70 0,53 - 2764,33 CEPED – Centro de Pesquisas e
Desenvolvimento do Estado da Bahia 218,96 64,71 117,49 | 9855,19 0,29 0,46 10257,10 - - - MPEG – Centro de Caracterização e
Desenvolvimento de Materiais 24,05 383,39 13,24 | - 1,98 0,68 423,34 NUTEC – Fundação Núcleo de Tecnologia
Industrial do Ceará 17,56 135,02 169,63 | 400,07 - 0,22 722,50 ON – Observatório Nacional - 100,00 383,39 | - 0, 35 - 483,39 TECPAR – Instituto de Tecnologia do Paraná 60,11 17,21 135,02 | - 0, 92 0, 64 212,34 Fonte – Elaborada pelo autor desta tese
OBS – 1. INDICADOR 103 – Captação de recursos provenientes do organismo mantenedor 2. Dados fictícios, apenas para exemplificação
Como se trata de planilhas muito extensas na largura e impossíveis de reproduzir no presente texto devido ao número de instituições pesquisadas (setenta) e de colunas (onze) que registram os valores lançados pelos diversos institutos de pesquisas para um mesmo indicador a cada ano entre 1995 e 2006, elaborou-se, na Tabela 04 acima, apenas para esclarecer os
procedimentos adotados nesta pesquisa, um exemplo simulado e resumido dos lançamentos para o Indicador 103 – Captação de recursos provenientes do organismo mantenedor.
Na coluna vertical à esquerda, vê-se a relação em ordem alfabética das setenta instituições de pesquisas estudadas e, nas colunas seguintes, da esquerda para a direita, os valores coletados do indicador entre 1995 e 2006, havendo uma necessária acumulação dos dados daquele período na coluna situada na extrema direita, denominada: Somatório 1995-2006.
A tarefa seguinte foi a criação de uma planilha única para acumular os dados dos sessenta e dois indicadores utilizados em relação aos setenta institutos estudados, com o lançamento, apenas, da coluna Somatório 1995-2006, aquela situada na extrema direita das planilhas individuais anteriores referentes a cada indicador.
Por outro lado, uma vez que a proposta desta pesquisa foi trabalhar com o somatório dos escores obtidos em todas as variáveis componentes dos três construtos, não faria sentido, no caso específico do construto desempenho organizacional, lançar, simplesmente, os valores absolutos dos acumulados 1995-2006 de cada indicador, pois, dessa forma, se estaria somando indiscriminadamente números absolutos, números índices e valores percentuais e, também, no caso dos indicadores financeiros, que registravam valores em moeda corrente, haveria a enorme distorção provocada pela inflação acumulada no período 1995-2006. Para contornar esses problemas, adotou-se a sistemática de utilizar os valores padronizados dos indicadores, ou seja, de trabalhar somente com o resultado da diferença entre o valor absoluto de cada registro em relação à própria média aritmética do indicador, dividida pelo desvio- padrão desta, de acordo com a seguinte fórmula:
Valor individual de um registro (–) Média de todos os registros / Desvio-padrão Assim, ao invés de se operar, simultaneamente, com dados registrados de acordo com diferentes apresentações incompatíveis entre si (números absolutos, números índices e valores
percentuais) para efeito de cálculo dos somatórios, os dados padronizados dos registros passam, dessa forma, a ser calculados em termos da quantidade de desvios-padrão que representam, seja essa quantidade negativa ou positiva, em relação à média aritmética, agora localizada no ponto geométrico 0 (zero) situado no centro de uma hipotética Curva Normal.
Os procedimentos de padronização implicaram, na prática, a duplicação da planilha que originalmente continha os dados dos sessenta e dois indicadores referentes aos setenta institutos de pesquisas estudados, com a introdução de igual número de colunas a fim de acolher os cálculos de padronização para cada indicador. A seguir, na Tabela 05, um exemplo dos procedimentos descritos.
Tabela 05 – Exemplo da planilha de cálculo para os escores finais de desempenho organizacional
INSTITUTOS / INDICADORES 103 104 | padronizado 103 padronizado 104 | Padronizado Somatório 1995-2006 CCDM – Centro de Caracterização e
Desenvolvimento de Materiais 912,81 39,00 | 1,9889 -0,6858 | 1,3031 CDTN – Centro de Desenvolvimento da
Tecnologia Nuclear - 14,27 | - 0,2251 | 0,2251
CENPES/PETROBRAS – Centro de Pesquisas e
Desenvolvimento Leopoldo A. Miguez de Mello 147,00 49,10 | -0,5355 0,0133 | -0,5222 CEPED – Centro de Pesquisas e
Desenvolvimento do Estado da Bahia 218,96 64,71 | -0,2983 0,4668 | 0,1685 - - - - MPEG – Centro de Caracterização e
Desenvolvimento de Materiais 24,05 383,39 | -0,7068 1,1977 | 0,4909 NUTEC – Fundação Núcleo de Tecnologia
Industrial do Ceará 17,56 135,02 | 0,7376 0,3820 | 1,1196 ON – Observatório Nacional 100,00 - | -0,5974 - | -0,5974
TECPAR – Instituto de Tecnologia do Paraná 60,11 17,21 | -0,6610 -0,5510 | -1,212
Fonte – Elaborada pelo autor desta tese
OBS – 1. INDICADOR 103 – Captação de recursos provenientes do organismo mantenedor 2. INDICADOR 104 – Captação de recursos provenientes do faturamento total 3. Dados fictícios, apenas para exemplificação
O objetivo desse artifício foi conseguir acumular, na extrema direita da referida planilha, uma coluna denominada: Somatório Padronizado 1995-2006, esta, sim, capaz de representar os escores finais que se convencionou considerar como componentes da métrica empregada para aferir o construto desempenho organizacional na presente pesquisa, o qual foi utilizado subsequentemente para que se efetuassem os testes de hipóteses deste estudo.
4.2.2 Aferição do construto orientação para o mercado: a Escala MARKOR adaptada
Examinou-se inicialmente a possibilidade de utilização da Escala MARKOR desenvolvida por Kohli, Jaworski e Kumar (1993) e também da Escala de Narver e Slater (1990). Contudo, após uma pormenorizada revisão da literatura (BARON, 1990; ROESSNER e BEAN, 1991; HUGHES, 1993; NORDWALL, 1993 e THAYER, 1994), a escolha recaiu sobre a Escala MARKOR por sua maior capacidade explicativa para o construto e adequação ao ser aplicada a uma gama mais ampla de organizações, inclusive em organizações que não visem diretamente o lucro (BUTLER e COLLINS, 1995; WOOD, BHUIAN e KIECKER, 2000; CERVERA, MOLLÁ e SÁNCHEZ, 2001 e KARA, SPILLAN e DESHIELDS Jr., 2004).
A Escala MARKOR foi originalmente desenvolvida no idioma inglês. No presente estudo, foi utilizada uma versão ligeiramente modificada daquela empregada anteriormente por Sampaio (2000) e que sofreu ainda pequenas modificações (por exemplo, organização ao invés de empresa) para se adequar ao setor ora pesquisado. Essa escala já havia sido cuidadosamente validada para a língua portuguesa pelo próprio Sampaio (2000) em seu trabalho sobre orientação para o mercado em empresas de varejo de confecção do Brasil. Naquela oportunidade, o autor relatou que a escala fora primeiramente convertida para o português, respeitando-se os conceitos empregados no trabalho original, por meio da técnica denominada tradução reversa(DILLON, MADDEN e FIRTLE, 1994), segundo a qual, primeiramente, três acadêmicos de marketing com domínio da língua inglesa traduzem, cada qual isoladamente, a escala para o português. Em seguida, essas traduções para a língua portuguesa são avaliadas,
unificadas e convertidas novamente para o Inglês por outro acadêmico de marketing nativo na língua inglesa e, finalmente, dois outros acadêmicos de marketing compararam a versão resultante com a tradução efetuada diretamente da escala MARKOR original, buscando-se, assim, garantir a precisão no entendimento dos termos e significados em nosso idioma.
4.2.3 Pré-teste e aplicação do instrumento de coleta de dados: o Questionário MARKOR
Anteriormente à etapa de coleta de dados, uma versão do questionário MARKOR foi adaptada de forma a se adequar aos propósitos desta pesquisa e poder ser aplicada nos dirigentes das instituições de pesquisas tecnológicas componentes da população estudada, mas não sem antes sofrer, esse formulário, pequenos ajustes resultantes de um pré-teste a seguir descritos.
O pré-teste do instrumento de coleta de dados foi realizado em duas fases para evitar uma eventual má interpretação por parte dos respondentes e, consequentemente, vieses nas respostas, com os respondentes, como sempre, desconhecendo que o objetivo maior da iniciativa não era exatamente obter suas informações e, sim, testar a aderência do instrumento de coleta aos objetivos da pesquisa. Assim, na primeira fase do pré-teste, foram selecionadas cinco instituições de pesquisas tecnológicas associadas à ABIPTI que nunca haviam participado do Projeto Excelência na Pesquisa Tecnológica e convidados os CEOs daquelas instituições a oferecerem suas respostas. Por tratar-se de uma coleta de dados a distância mediante o preenchimento de um questionário autoadministrável, o que inviabiliza a apuração de críticas e sugestões dos respondentes quanto à terminologia empregada na formulação dos quesitos, decidiu-se incluir um espaço para colher comentários dos respondentes logo abaixo do enunciado de cada quesito, de forma a detectar eventuais problemas de compreensão. A única diferença, portanto, entre o formulário empregado no pré-teste e o questionário final utilizado na pesquisa foi a inclusão de espaços para comentários, logo a seguir, de cada quesito com o seguinte texto:
“Ajude-nos a aprimorar este questionário. Se não entendeu, ou não concorda com algum termo deste enunciado, ou então se considera que a própria perg. não se aplica à sua instituição, por favor, deixe isto registrado a seguir”.
Como resultado foram identificados alguns problemas de compreensão referentes a determinados termos, mais afetos ao ramo empresarial e de negócios, do que, propriamente, ao ambiente de instituições de pesquisas tecnológicas que não visam diretamente o lucro, como: mercado, que foi esclarecido por meio do seguinte adendo: não considere o termo mercado com uma conotação comercial e, sim, como o atendimento às demandas da sociedade como um todo. Já em relação ao termo concorrentes, foi adicionado o seguinte esclarecimento: onde houver menção a concorrentes considere institutos de pesquisas com atividades similares.
Realizadas as modificações sugeridas pelos respondentes, a nova versão do instrumento de coleta foi testada em uma segunda fase em mais cinco instituições de pesquisas tecnológicas, também associadas à ABIPTI, distintas das cinco primeiras, que também nunca haviam participado do Projeto Excelência na Pesquisa Tecnológica e convidados os CEOs daquelas instituições a oferecerem suas respostas. Desta vez, não foi identificado nenhum problema de compreensão, assumindo-se, então, que o questionário seria compreendido pelos respondentes e poderia ser aplicado sem maiores problemas nas setenta instituições de pesquisas tecnológicas integrantes do universo pesquisado.
A etapa de coleta de dados, propriamente dita, se deu entre janeiro e maio de 2010, a fim de medir o grau de orientação para o mercado das setenta instituições de pesquisas tecnológicas estudadas e isto só foi possível, devido ao baixo custo e à agilidade do instrumento de coleta utilizado (um questionário autoadministrável construído em Word e anexo aos e-mails enviados aos respondentes qualificados). Para tal, foi preciso montar previamente um cadastro composto pelos setenta respondentes-alvo, o que envolveu realizar uma grande quantidade de consultas aos sites das instituições pesquisadas e de efetuar centenas de telefonemas a fim de atualizar a grafia correta dos nomes e cargos dos respondentes e de seus assessores diretos, assim como os logins corretos de seus e-mails. Como resultante desses procedimentos
cuidadosos e sistemáticos, a taxa de mortalidade (não-respostas) ao trabalho de campo foi praticamente zero, uma vez que se adotou a norma de nunca enviar e-mails com o questionário MARKOR anexo, sem que fossem feitos correspondentes telefonemas prévios aos destinatários, explicando os objetivos da pesquisa, pedindo-lhes autorização para o envio de e-mails e exortando-os a colaborar.
A grande preocupação no trabalho de campo era evitar que os e-mails de convite à participação na pesquisa fossem confundidos pelos respondentes com spams21 e isso, graças aos telefonemas prévios, não ocorreu uma única vez. É importante destacar, ainda, que a menção do apoio da ABIPTI a esta pesquisa, tanto nos telefonemas, quanto nos e-mails, muito colaborou para conseguir a receptividade dos fornecedores das informações. Assim, por mais trabalhosos e demorados que fossem tais procedimentos, eles lograram garantir uma taxa de sucesso na coleta de dados muito difícil de obter em trabalhos similares a distância. O exemplo de uma mensagem de convite à participação e de envio de dados se encontra no APÊNDICE G.
Uma vez aplicada no campo a versão do questionário MARKOR adaptada às peculiaridades do setor estudado, foi testada, ainda, a confiabilidade daquele instrumento de coleta. De acordo com Hair Jr. et al (2005), a confiabilidade é o grau em que uma variável, ou conjunto de variáveis, é consistente com aquilo que se pretende medir. Caso múltiplas rodadas de medições forem levadas a efeito, as medidas confiáveis serão muito consistentes entre si em seus valores. É, portanto, diferente da noção de validade no sentido em que essa não se
relaciona com o que está sendo medido, mas ao modo como o foi. Por consequência, validade é a extensão em que uma medida, ou conjunto de medidas, representa corretamente o conceito estudado, ou seja, o grau em que se está livre do erro sistemático ou não-aleatório. A validade
refere-se a quão bem o conceito é definido pela(s) medida(s) adotadas, enquanto a confiabilidade se refere à consistência dessa(s) medida(s).
O Alpha de Cronbach é um importante indicador estatístico da fidedignidade de uma escala. A pontuação de cada item é computada, e a classificação final é definida pela soma de todas as pontuações intermediárias. O Alpha de Cronbach consiste no quadrado da correlação entre as pontuações de uma escala e o fator subjacente que essa escala se propõe a medir. Hair Jr. et