Kommunikasjon og fortelling

Indicadores bibliométricos são ferramentas úteis na avaliação do desempenho científico por sua acuidade, sofisticação, atualização, e combinação com conhecimento especializado, e cuidado na interpretação e uso (MOED, 2009). No Brasil, a produção de indicadores de C&T iniciou na década de 1980 com o CNPq, que seguiu as recomendações do Manual Frascati para medir os gastos em pesquisa e desenvolvimento no país. Outras iniciativas interessantes foram a do IBICT no campo da produção científica e da CAPES no ensino superior e pós-graduação. A partir de 1999 a organização e divulgação das informações de C&T no país passaram a ser responsabilidade do MCTIC, que passou também a aplicar indicadores específicos junto a seus Institutos de Pesquisa.

De 1998 a 2010, a FAPESP publicava indicadores considerados como instrumentos para formular e avaliar as políticas públicas relativas à ciência e à pesquisa tecnológica no

Estado de São Paulo baseados nas recomendações da OCDE e National Science Foundation (NSF). A partir de 2011, esses indicadores passaram a ser divulgados por meio de boletins estatísticos periódicos. Seus indicadores quantitativos tratam da formação de recursos humanos, dispêndios em pesquisa e desenvolvimento, produção científica, patenteamento, balanço de pagamentos tecnológicos, inovação tecnológica, difusão e caracterização das atividades de Tecnologias de Informação e Comunicação (TICs), percepção pública da ciência e destaca o impacto da ciência, tecnologia e inovação no setor agrícola, sempre no Estado de São Paulo mas comparando, também com o Brasil e o mundo (BRENTANI et al., 2011). Os indicadores de produção científica consideram artigos publicados na Web of Science (WoS), citações e coautoria, por área do conhecimento, por instituições (inclusive natureza institucional e administrativa), municípios paulistas, enfatizando redes de colaboração em assuntos estratégicos como nanotecnologia, mudanças climáticas, melhoramento genético da cana-de-açúcar, genômica e afins, e biofônica (FARIA et al., 2011).

A Folha de São Paulo publica, desde 2012, o Ranking Universitário Folha (RUF), uma avaliação anual do ensino superior do Brasil que classifica as universidade brasileiras a partir de indicadores de pesquisa, internacionalização, inovação, ensino e mercado. Dentre os indicadores considerados no ranking de qualidade de pesquisa estão indicadores bibliométricos de publicações e citações, além de recursos captados, bolsas e teses defendidas, enquanto o ranking por internacionalização utiliza indicadores bibliométricos de citações e coautoria (RUF, 2017).

A evolução da qualidade da pesquisa no estado de São Paulo na primeira década do século XXI, com vistas a contribuir para que tomadores de decisão possam formular políticas públicas baseadas em ciência, foi realizada pela Academia de Ciências do Estado de São Paulo (ACIESP) levando em conta o total de pesquisadores, indicadores bibliométricos de artigos e citações por área do conhecimento, por mesorregião do estado (ACIESP, 2016).

Recentemente, a CAPES disponibilizou um relatório produzido pela empresa Clarivate Analytics, mantenedora da WoS desde outubro de 2016, com uma análise do desempenho da pesquisa brasileira a partir de estudos bibliométricos de trabalhos de pesquisa brasileiros publicados entre 2011 e 2016 na WoS. As análises de impacto e excelência da pesquisa foram baseadas em citação; análises de colaboração foram feitas com indicadores de coautoria; comparações com outros países foram feitas com número de

artigos indexados, citação e coautoria; análises por campos científicos identificaram aqueles nos quais o Brasil tem melhor performance; quantidade de trabalhos indexados também identificaram os estados brasileiros e universidades com melhor desempenho em pesquisa científica (CROSS; THOMSON; SINCLAIR, 2018).

A análise da produção científica por meio de indicadores tem sido amplamente usada por agências governamentais nacionais e internacionais para a formulação, execução e acompanhamento de políticas públicas de CT&I. A disponibilidade de metodologias e recursos computacionais e a criação de bases de dados bibliográficas eletrônicas a partir dos anos de 1960, tornou mais fácil e rápida a extração, o armazenamento e o tratamento de dados, tornando essa prática mais acessível e disseminada (FARIA et al., 2010). As bases de dados de publicações permitem a recuperação de grande volume de informações e sua classificação nas mais diversas categorias (país, região, organização, área do conhecimento, grupo de pesquisa, número e vinculação dos autores, etc.) e para os mais diversos fins (VELHO, 2008). Porém, algumas considerações devem ser levadas em conta para a elaboração e utilização de indicadores bibliométricos para a avaliação da ciência pela sua produção científica.

A bibliometria, como método científico, requer premissas sobre as condições nas quais pode ser aplicada para a produção de resultados válidos e confiáveis. Gläser e Laudel (2007) recomendam que a bibliometria seja conduzida por profissionais da área com a interpretação dos indicadores por especialistas do campo estudado; a avaliação do impacto e reconhecimento da publicação seja feita através dos estudos de citações e estes, por sua vez, podem ser objeto da utilização de análises estatísticas e de outras técnicas; considerar o tempo no estudo das citações para identificar o período de uso da publicação; analisar as especificidades na produção do conhecimento do campo científico a ser estudado (GLÄSER; LAUDEL, 2007).

Os maiores problemas com a aplicação da bibliometria são: 1) fragmentação epistêmica resultante do acesso desigual aos dados e impossibilidade de replicar os métodos e isolamento dos profissionais da bibliometria dos outros campos da ciência; 2) institucionalização fraca com poucos programas educacionais para informetria/ bibliometria/cientometria/tecnometria/patentometria; 3) falta de padronização e consenso entre os grupos de pesquisa em bibliometria; 4) comercialização causada pela interesse restrito de tomadores de decisão que se interessam apenas pelo indicador e não consideram a análise do conhecimento, das teorias e fundamentos metodológicos. Esses problemas

juntos tornam a bibliometria uma ferramenta adaptada para quem a financia localmente e impedem a formação de uma comunidade científica forte. Pelos mesmos motivos, cresce o uso da bibliometria por amadores, refletindo a crescente demanda por avaliações para financiamento e facilitando a comparação entre pesquisadores de diferentes áreas do conhecimento. O maior perigo da preferência pelo uso de indicadores bibliométricos em detrimento da avaliação por pares é quando os amadores que coletam e analisam os indicadores confiam simplesmente nos números. Os autores sugerem que a política científica deveria apoiar a profissionalização das avaliações bibliométricas através da qualificação acadêmica, introdução de um código de ética e diretrizes para um controle de qualidade; e a criação de uma base de dados pública habilitada a controlar a qualidade dos dados (GLÄSER; LAUDEL, 2007).

Em 2012, durante o Annual Meeting of the American Society for Cell Biology em San Francisco/EUA, foi desenvolvida a Declaration on Research Assessment (DORA), uma iniciativa mundial que promove a adoção de melhores práticas na avaliação da pesquisa acadêmica por meio de indicadores, direcionadas a agências financiadoras, instituições, editores, pesquisadores e organizações que fornecem métricas. As principais recomendações focam no uso indiscriminado de fatores de impacto de jornais para avaliar, recrutar e premiar pesquisadores e projetos de pesquisa, como indicador de qualidade (DORA, 2012). Em 2014, após a 19o _{International Conference on Science and Technology}

Indicators (STI), foi apresentado o Leiden Manifesto com dez princípios para uma melhor prática na avaliação da pesquisa baseada em métricas. Os cientométricos demonstraram preocupação quanto à aplicação errônea de indicadores na avaliação do desempenho científico e na consequente generalização de uma visão negativa de sua validade (HICKS et al, 2015).

Velho (2001) descreve as três direções complementares que o Brasil tem tomado para estabelecer um sistema de indicadores científicos suficiente para o planejamento, acompanhamento e avaliação das atividades de C&T. O primeiro caminho é baseado na coleta de informações quantitativas produzidas como subproduto de outro trabalho, excluindo a definição prévia do que se quer medir para evitar resultados que são meros artefatos de metodologia. O segundo caminho, utilizado pelo MCT, consiste em ajustar os indicadores utilizados em comparações internacionais para as especificidades da C&T brasileira. Essas comparações são importantes porque os números só fazem sentidos se forem checados com padrões conhecidos ou em relação a outros dados. “Porque não existe

uma escala de referência para leitura dos indicadores, o único procedimento para se obter significado tem sido comparar o presente com o passado ou um país com o outro”. Para isso, os países devem obedecer os padrões de coleta definidos internacionalmente e dispor de pessoal capacitado para essa atividade. O terceiro caminho é o questionamento dessas premissas teórico-conceituais que tem sido frequentes nas disciplinas dos Estudos Sociais da C&T. Se esses problemas acontecem nos países onde foram desenvolvidos os indicadores, são ainda mais graves nos países cientificamente periféricos, requerendo estudos que possam definir e gerar indicadores para o planejamento e avaliação da C&T nesses países. A limitação dos indicadores tradicionais, segundo a autora, é a falha nas premissas teórico-conceituais: linearidade do processo de inovação, neutralidade da ciência, garantia de que o conhecimento produzido é objetivo, verdadeiro e partilhado entre os praticantes (VELHO, 2001).

Um indicador é o resultado de uma operação matemática específica envolvendo dados. É a expressão numérica de uma característica da ciência. Indicadores devem ser direcionados por suposições e para a solução de problemas, devem descrever o passado recente de tal forma a orientar para o futuro próximo. Possibilitam testar teorias e modelos sobre o desenvolvimento científico e sua interação com a sociedade. Assim, são muito mais que instrumentos para elaboradores de política científica e gestores da pesquisa, são instrumentos no estudo da ciência (VAN RAAN, 2005).

Dentre as avaliações de produção científica realizadas a partir de indicadores bibliométricos mais utilizadas estão os estudos de citação e de coautoria. Citação é uma medida do impacto geral de influência de um artigo ou de seus autores na comunidade científica, não está necessariamente relacionada com originalidade, importância ou qualidade do trabalho, mas com a habilidade de alcançar uma grande audiência. Análises de citação basicamente contam as citações de um artigo específico, co-citação é quando duas (ou mais) publicações são citadas juntas por outros artigos, acoplamento bibliográfico (Bibliographic coupling) são publicações que citam referências em comum. Quanto mais referências um par de publicações tem em comum, mais forte é seu acoplamento bibliográfico, assim como quanto mais citações juntas um par de publicações recebe, mais forte é seu elo de ligação. Estudos de citação podem analisar trabalhos citados devido a controvérsias na pesquisa ou erros de metodologia, artigos que não são citados ou que demoram certo tempo para serem citados (Sleeping beauties), auto-citação, influência do idioma, e práticas de publicações (OKUBO, 2007; VAN RAAN, 2014).

Análise de citação é uma metodologia chave que oferece como vantagens a aceitação prévia de indicadores como fontes de informação em C&T; a oportunidade dos sujeitos da análise de checar os dados e interpretar os resultados; inserção numa disciplina (bibliometria) com um corpo de conhecimento e especialistas que discutem validade, pressupostos teóricos, e reconhecem suas potencialidades e limites; perspectivas e objetivos claros para os participantes num contexto político de avaliação; e são usadas para esclarecer aspectos particulares no processo mais do que insumos de resultados (MOED, 2009).

Ainda que não seja um instrumento ideal, funciona bem para a maioria das ciências naturais, médicas, aplicadas e comportamentais, campos científicos com altos investimentos e com maiores impactos sócio-econômicos. Um bom critério para aplicação de análises de citação é se a publicação em periódicos internacionais for o meio principal de comunicação dentro do campo científico, desde que alguns problemas metodológicos e técnicos sejam resolvidos, tais como: 1) efeitos do idioma, 2) reconhecimento tardio de publicações importantes que são citadas depois de muitos anos (Sleeping beauties), 3) propriedades estatísticas dos indicadores bibliométricos (escala e inclinação), 4) auto- citações, 5) relação entre a avaliação por pares e as tendências bibliométricas, 6) efeitos de citações em periódicos de acesso aberto, 7) normalização independente do campo, 8) analises bibliométricas nas ciências sociais e humanas, 9) problemas metodológicos e técnicos de rankings universitários, 10) inconsistência no Índice-H, 11) artigos que nunca são citados, e 12) uso inadequado do fator de impacto do periódico na avaliação da pesquisa (VAN RAAN, 2004; 2014).

O mapeamento bibliométrico mais recente é uma ferramenta poderosa para estudar a estrutura e a dinâmica de um campo científico pois permite visualizar espacialmente a estrutura de um campo cientifico de um diferente ponto de vista. Mapas bibliométricos podem mostrar tanto relações entre frases nominais ou palavras-chave baseada em coocorrência, como entre autores e periódicos baseada em cocitação, contudo, se realizados manualmente, requerem o domínio de um especialista da área e um trabalho intenso. Alguns métodos para mapear citação em publicações permitem entender quais tópicos ou especificidades temáticas estão presentes em um conjunto de publicações de determinada área de pesquisa através de visualização espacial, o que pode ser altamente relevante em campos científicos interdisciplinares e complexos, como a nanotecnologia. Considerando que campos científicos tendem a se sobrepor mais e mais e os limites

disciplinares se tornarem menos claros, encontrar um especialista com ampla visão e domínio de um campo inteiro se torna mais difícil. A adoção de ferramentas computacionais como mineração de dados, aprendizagem automática de máquinas, estatísticas e mineração de texto podem ser usadas em análises bibliométricas para minimizar, apoiar e antecipar o trabalho de especialistas (VAN ECK et al., 2010; MILANEZ; NOYONS; FARIA, 2016).

A ciência é uma atividade eminentemente social e depende, em parte, da interação entre os cientistas. Pesquisadores colaboram quando compartilham dados, equipamentos e/ ou ideias em um projeto que, geralmente, resulta na publicação de um artigo científico, em que o nome dos parceiros são tão importantes quanto as revistas onde são publicados. Envolve o empréstimo de capital material ou intelectual. Nessa perspectiva, colaboração científica pode ser definida como o trabalho conjunto de pesquisadores para atingir um objetivo comum de produzir novos conhecimentos científicos. A colaboração científica acontece por meio dos “colégios invisíveis”, ou seja, comunidades informais de pesquisadores, que se comunicam e trocam experiências, e publicam seus resultados em um campo cientifico, e as relações informais entre os pesquisadores, muitas vezes oriundas do período de treinamento no doutorado ou pós-doutorado, dão origem a grande parte das colaborações em pesquisa. A percepção sobre as fronteiras da colaboração variam entre instituições, campos de pesquisa, setores e países ao longo do tempo e a negociação sobre quem vai assinar que artigo reflete o contexto histórico e social dos autores (SOLLA PRICE; BEAVER, 1966; LATOUR; WOOLGAR, 1997; KATZ; MARTIN, 1997; LIMA; VELHO; FARIA, 2007; VANZ; STUMPF, 2010).

Autorias múltiplas na ciência, ou coautorias, podem ser consideradas como uma medida aproximada da colaboração e cooperação científica entre pesquisadores, seja ela interpessoal, interinstitucional ou internacional. Quando se fala em cooperação científica em estudos bibliométricos, as análises se referem a trabalhos publicados em coautoria, embora o uso desta técnica não seja consensual entre diferentes campos científicos e existam outras fontes, como os agradecimentos nos trabalhos (LIMA; VELHO; FARIA, 2007; VANZ; STUMPF, 2010).

Ainda que colaboração científica e coautoria frequentemente sejam considerados como sinônimos, nem sempre os sujeitos listados como autores são responsáveis pelo trabalho intelectual, assim como nem toda colaboração culmina numa coautoria e nem toda coautoria implica numa colaboração próxima entre os autores.

O endereço da afiliação institucional dos autores é a principal informação considerada nas análises de coautoria e algumas situações podem levar a erros de interpretação quando consideram países e instituições, tais como o mesmo autor com dois endereços e muitas instituições de um mesmo país (KATZ; MARTIN, 1997; OKUBO, 1997).

Mesmo com essas limitações, análises de coautoria continuam sendo utilizadas na bibliometria, cientometria e política científica e tecnológica para entender a colaboração entre os pesquisadores, instituições e países. A seu favor, indicadores bibliométricos de coautoria são verificáveis por outros pesquisadores a partir do acesso aos dados originais, é um método relativamente barato e prático para quantificar colaboração, permite trabalhar com grande volume de dados com resultados estatisticamente mais significativos que estudos de caso, e o processo de mensuração não influencia as práticas de colaboração (KATZ; MARTIN, 1997; VANZ; STUMPF, 2010; FARIA et al., 2010).

Indicadores de coautoria de artigos em determinadas áreas científicas, como bioprospecção, podem demonstrar que países avançados tendem a cooperar mais entre si do que com países em desenvolvimento enquanto estes últimos tendem a colaborar mais com os primeiros do que entre si, revelar existência de clusters de instituições que cooperam entre si, entre outros (LIMA; VELHO; FARIA, 2007). Coautoria de publicações resultantes de convênios internacionais entre instituições de pesquisa podem revelar assimetria na colaboração internacional e preferências por colaborações com pesquisadores de determinados países em detrimento de outros, sugerindo estratégias de publicação e colaboração para adquirir visibilidade e existência de “ilhas de competência” individuais e de grupos de pesquisa (HENRIQUES; UNGAR; REBELO, 2017).