O universo da pesquisa são as 63 universidades públicas federais: 38 autarquias e 25 fundações, conforme especificadas na DN TCU nº 134/2013 (BRASIL, 2013e). Foram selecionadas cinco universidades, uma de cada região geográfica do Brasil (Norte, Nordeste, Centro-Oeste, Sudeste e Sul). Para a seleção das UFs foram consultados os seguintes
rankings:
a) Academic Ranking of World Universities – ARWU (2013a);
b) Quacquarelli Symonds(QS) Latin American University Rankings – QS (2013a); c) Ranking Universitário Folha – RUF (2013a);
d) Times Higher Education World University Rankings – THE (2013);
e) Webometrics Ranking of World Universities (Webometrics) também chamado de Ranking
Web of World Universities (WEBOMETRICS, 2013).
O ARWU, Ranking Acadêmico das Universidades Mundiais, foi publicado pela primeira vez em junho de 2003, pelo Center for World-Class Universities (CWCU), Centro de Universidades de Classe Mundial, da Graduate School of Education (Escola Superior de Educação) ex-Institute of Higher Education (Instituto de Ensino Superior) da Universidade de Jiao Tong de Xangai, na China, atualizado numa base anual. O ARWU usa seis indicadores objetivos para classificar as universidades mundiais, incluindo o número de ex-alunos vencedores do Prêmio Nobel e Medalha Field e membros do corpo docente que obtiverem tais prêmios, o número de pesquisadores altamente citados, selecionados pela Thomson Reuters, o número de artigos publicados em periódicos de Ciência e Natureza (dependendo da área), o número de artigos indexados no Science Citation Index - Expanded (SCIE) e Social
Sciences Citation Index (SSCI) e o desempenho acadêmico per capita da universidade. O
ARWU, apesar de elaborar o ranking com mais de 1.200 universidades, são publicadas na
web apenas as 500 melhores. Com essa amplitude somente três universidades federais
brasileiras apareceram nesse ranking, em 2013. A metodologia utilizada pelo ARWU, para o cálculo do ranking de 2013, levou em consideração quatro indicadores e seus respectivos pesos em termos relativos (ARWU, 2013b):
a) qualidade da educação (alunos da instituição que ganharam Prêmios Nobel e Medalhas
Fields: 10%);
b) qualidade da faculdade (servidores da instituição que ganharam Prêmios Nobel e Medalhas Fields: 20% e pesquisadores altamente citados em 21 amplas categorias de assuntos: 20%);
c) resultados de pesquisa (artigos publicados sobre Natureza (Nature) e Ciência (Science): 20% e artigos indexados nos principais índices de citação SCIE e SSCI: 20%) e;
d) desempenho acadêmico per capita da instituição (10%).
A QS foi fundada em 1990, possui sede em Londres e publica o QS World
University Rankings (QS Rankings de Universidades Mundiais) desde 2004 e o QS Latin American University Ranking (QS Ranking de Universidades da América Latina) desde 2011. Utilizou, como metodologia, para o ranking de 2013, uma classificação que variou entre uma e cinco estrelas com oito indicadores (QS, 2013b):
a) qualidade da pesquisa; b) qualidade do ensino;
c) empregabilidade dos graduados; d) infraestrutura;
e) internacionalização; f) inovação;
g) transferência de conhecimento;
h) terceira missão e excelência num determinado campo.
A partir de 2014, alterou sua metodologia com indicadores diferenciados para os
rankings das regiões da América Latina, da Ásia e da Arábia e os países do Brics,84 inclusive acrescentou, para o caso das Latino-Americanas, o indicador de impacto da Web (QS, 2015).85
O RUF é um ranking anual do ensino superior do Brasil elaborado pelo jornal Folha de S. Paulo, desde 2012. Sua metodologia contempla cinco grandes áreas:
a) ensino (32%); b) pesquisa (40%);
c) inserção no mercado de trabalho (18%); d) internacionalização (6%);
84
Brics é o nome de um conjunto econômico de países considerados emergentes, formado atualmente
pelo Brasil, Rússia, Índia, China e África do Sul.
85
Para ver mais sobre esse assunto, consultar o sítio eletrônico disponível em: <http://www.iu.qs.com/ university-rankings/rankings-indicators/>. Acesso em: 28 ago. 2015.
e) inovação (4%).
Fundamenta-se em metodologias utilizadas em rankings internacionais com adaptações para o cenário nacional. Para o ano de 2013, implantou significativas mudanças nos critérios de sua metodologia em relação a 2012 (RUF, 2013b).
O THE, com sede em Londres, no Reino Unido, foi fundado em 1971. Utiliza, desde 2010, como critério, 13 indicadores de desempenho calibrados cuidadosamente, agrupados em cinco áreas:
a) ensino (30%); b) pesquisa (30%);
c) transferência de conhecimento – citações (30%); d) inovações (2,5%);
e) visibilidade internacional (7,5%).
Além do World University Ranking, o THE elabora também o World Reputation
Ranking (desde 2011), o 100 Under 50 Ranking (desde 2012), o Asia University Ranking
(desde 2013) e o BRICS & Emerging Economies Ranking (desde 2014) (THE, 2015). Para o
World University Ranking, publica na web somente as 400 melhores e, nesse intervalo, para o
ano de 2013, não houve nenhuma universidade federal brasileira classificada.
O Webometrics (2015) é uma iniciativa do Cybermetrics Lab, um grupo de pesquisa pertencente ao Consejo Superior de Investigaciones Científicas (CSIC), órgão público de investigação ligado ao Ministério da Educação, localizado em Madrid, Espanha. A primeira edição foi publicada em 2004 e os dados são divulgados duas vezes por ano, desde 2006. A partir de 2008, o portal também incluiu rankings para centros de investigação, hospitais, repositórios e escolas de negócios. Na área de ensino, além de divulgar o ranking mundial, publica também os rankings regionais (por exemplo, para a América do Norte, América Latina, Europa, Ásia, África, Oceania etc.), por país, dos países do Brics e Civets.86
O objetivo do Webometrics, de acordo com Aguillo (2013), é promover a presença
web acadêmica, apoiando as iniciativas de acesso aberto para aumentar significativamente a
transferência de conhecimento científico e cultural gerada pelas universidades a toda a sociedade. O Webometrics, para o ano de 2013, utilizou em sua metodologia, como parâmetros, 50% para visibilidade e 50% para as atividades. Esse último subdivide-se em três indicadores:
86
Civets é o nome de um conjunto econômico de países considerados os mercados emergentes a aumentar rapidamente em importância econômica nas próximas décadas, formado pela Colômbia, Indonésia, Vietnã,
a) 1/3 presença (número total de páginas hospedadas no webdomain principal (incluindo todos os subdomínios e diretórios) da universidade, tendo como indexador o motor de busca comercial Google);
b) 1/3 abertura (representa o esforço global para criar repositórios institucionais de pesquisa – publicações recentes); e
c) 1/3 excelência (artigos acadêmicos publicados em revistas internacionais de alto impacto). Para os objetivos desta pesquisa, dentre os rankings analisados e suas respectivas metodologias, optou-se pelo Webometrics, em virtude de este apresentar mais aderência com a proposta deste estudo, pois é um sistema de classificação de universidades com base em um indicador composto que leva em conta tanto o volume do conteúdo da instituição na web (número de páginas e arquivos) quanto a visibilidade e o impacto dessas publicações on-line de acordo com o número de inlinks externos87 (citações do site) que receberam.