Introduksjon

Quando se trata de avaliar o impacto da ciência e tecnologia, uma série de desafios ainda estão por ser vencidos e a dificuldade de se elaborar indicadores está intimamente relacionada com a ausência de informações disponíveis que possam ser mensuráveis sobre as ações e atividades científicas.

Em grande parte da literatura sobre a avaliação do impacto da ciência e tecnologia é analisado o âmbito econômico ou acadêmico, isso devido às orientações e ênfase da OCDE em indicadores de natureza econômica nos seus Manuais para medir CT&I; a presença de economistas como consultores na elaboração e análise de indicadores; e a facilidade de medição. Indicadores que medem a produção científica por meio de artigos publicados em periódicos indexados, índices de citação de autores e artigos e impacto de periódicos são importantes e medem o impacto da ciência na própria ciência. O impacto econômico da produção científica também está bem representado na literatura, uma vez

que foi a partir dos economistas que nasceram os indicadores que associam os inputs e outputs ao processo de produção do conhecimento. O impacto da inovação tecnológica para demonstrar a importância da pesquisa acadêmica para o avanço da inovação industrial também tem recebido muita atenção dos pesquisadores e gestores de CT&I, principalmente por meio de análises de patentes, serviços, produtos e processos, transferência de tecnologias e balanço tecnológico. Formuladores de políticas e gestores de C&T no geral tendem a usar indicadores econômicos para justificar decisões complexas, principalmente quanto a prioridades de financiamento da CT&I. A dificuldade em medir impacto requer um conhecimento dos mecanismos de transferência da pesquisa e de seus resultados, mas sobretudo, de uma visão multidimensional da própria ciência que considere, além das dimensões científicas, tecnológicas e econômicas, as dimensões organizacionais, culturais, sociais, políticas, ambientais, simbólicas, de treinamento e saúde (GODIN; DORÉ, 2004).

O primeiro desafio diz respeito a uma definição clara do que é impacto. O impacto acadêmico entendido como contribuição intelectual a uma área do conhecimento ou a um campo científico difere do impacto sócio-econômico externo além da academia e de seu mais amplo retorno social. O entendimento do conceito de impacto determina como ele será avaliado. Claire Donovan (2007) notou que as primeiras tentativas de medir o impacto da pesquisa partiram da noção de que a ciência deve contribuir com a competitividade internacional de um país e gerar riquezas, dessa forma, seu impacto seria medido através de métricas econômicas e indicadores de ciência, tecnologia e inovação. Mais recentemente, o impacto da pesquisa é entendido como parte de um contrato social entre a ciência e a sociedade onde a pesquisa deve abordar questões sociais urgentes e relevantes (NIGHTINGALE; SCOTT, 2007). A redefinição da avaliação do impacto leva em conta toda contribuição da ciência para a sociedade no âmbito social, cultural, ambiental e econômico e não somente as contribuições para a ciência, e sua avaliação requer a junção de métodos qualitativos e quantitativos (DONOVAN, 2011; BORNMANN, 2013).

Os motivos de se avaliar o impacto da ciência variam desde 1) permitir que organizações de pesquisa e desenvolvimento possam monitorar e gerenciar seu desempenho e entender sua contribuição no nível local, nacional e internacional; 2) demonstrar ao governo, órgãos de fomento e ao público em geral o valor da pesquisa e prestar conta e justificar o investimento (principalmente público) em termos de benefícios sócio-econômicos; 3) entender o valor sócio-econômico da pesquisa e subsidiar decisões

de financiamento relacionadas ao impacto desejado; e 4) entender os métodos e caminhos da pesquisa para maximizar a entrega de melhores resultados (PENFIELD et al., 2014).

Godin e Doré (2004) sugerem que o impacto acontece a partir da mudança de uma situação e, dessa forma, deve-se confirmar a existência ou não da mudança e então medir a importância dessa mudança. As metodologias sugeridas pelos autores envolvem mapear os resultados da pesquisa e seus potenciais usuários e, em seguida, aplicar questionários para verificar se existe algum uso dos resultados pelos usuários. A segunda metodologia consiste em interpretar a presença e ausência do impacto, levando em conta as condições, o contexto, o esforço de apropriação. A principal dificuldade é diferenciar o que é impacto da pesquisa do que é mimetismo ou contágio de outras ações (GODIN; DORÉ, 2004).

Uma variedade de indicadores e evidências podem ser coletados para avaliar o impacto da ciência em suas múltiplas dimensões. Embora as métricas sozinhas não conseguem expressar todo o impacto, ainda são consideradas poderosas e inequívocas formas de evidência, principalmente quando associadas a narrativas, formulários e testemunhos, citações e documentações fora da academia. Todas as metodologias apresentam graus de dificuldade para medir e interpretar, narrativas carecem de evidências sobre a real conexão da pesquisa com o impacto; formulários e testemunhos consomem muito tempo, carecem de evidências, variam de acordo com o ponto de vista do usuário e são difíceis de recuperar quando o grupo de usuários se dispersa (PENFIELD et al., 2014).

Avaliar o impacto da ciência é um exercício que deve envolver o pesquisador, os financiadores da pesquisa, o resultado/produto da pesquisa e os prováveis usuários finais. O pesquisador deve ter claro quem é o beneficiário de sua pesquisa, que resultado da pesquisa ele vai utilizar e para quê ele irá usar. Os financiadores devem considerar a relevância do resultado da pesquisa, a interação entre os atores (pesquisadores, usuários) e a utilização real do resultado. O resultado ou produto da pesquisa deve ser objetivamente definido para que possa ser estudado seu impacto efetivo e escolhida a melhor ferramenta para sua transferência. Os prováveis usuários finais devem ser identificados e sua apropriação do conhecimento deve ser comprovada. A aplicação de um questionário extenso com todas essas variáveis pode ser minimizada se for adicionada uma fase anterior com o pesquisador, onde este identifique os prováveis usuários e dimensões de uso do seus resultados de pesquisa. Além do mais, financiadores de pesquisa científica devem rever seus instrumentos de avaliação e considerar a necessidade de um esforço a mais para avaliar e entender o impacto da ciência nas diferentes esferas da sociedade.

Formuladores de políticas científicas e tecnológicas devem ser convencidos de que números sem valor social agregado não respondem a todas as perguntas e analistas de políticas e indicadores devem sair de sua zona de conforto e arriscar metodologias adaptadas de boas práticas de outros países (NIGHTINGALE; SCOTT, 2007; DONOVAN, 2011; BORNMANN, 2013; GODIN; DORÉ, 2004; PENFIELD et al., 2014).

A Red Iberoamericana de Indicadores de Ciencia y Tecnologia (RICYT) procurou dar uma resposta ao desafio de medir o impacto social da C&T com a publicação do Manual de Valencia sobre a vinculação da universidade com o entorno sócio-econômico, com propostas normativas e práticas à demanda de informação quantitativa existentes. O foco do Manual são as universidades e suas atividades de vinculação realizadas com a colaboração com agentes não acadêmicos e a atividades de uso de suas capacidades fora do âmbito acadêmico (venda de serviços, assessoramento, consultoria, etc). Vinculação com o entorno é mais uma tentativa de nomear os relacionamentos e interações da organização com o mundo exterior, assim como “terceira missão”, “extensão”, “hélice tripla”, entre outros. Na prática, a proposta engloba indicadores quantitativos ainda que em alguns casos se recorra a descrições qualitativas para facilitar a interpretação das atividades de vinculação (GIMENEZ; BONACELLI, 2016; RICYT; OCTS-OEI, 2017).

Na administração pública brasileira, indicadores e mecanismos para analisar o impacto social de suas instituições ainda é incipiente. Alguns Institutos de Pesquisa do MCTIC utilizam um indicador de inclusão social para tentar avaliar seu desempenho nessa área, mas a ausência de bases de dados organizadas sobre o tema, a dificuldade de se definir um conceito e se enxergar o impacto das atividades de pesquisa científica e desenvolvimento tecnológico ainda impedem o amadurecimento e utilização desses indicadores.