FieldMade

3 =

0,70 + 0,74 + 0,74

3 = 0,73

Embora a análise se restrinja a este edital, de modo que não se pode falar de modo amplo, podemos facilmente observar tendência ao aumento da desigualdade social. A elasticidade média encontrada é menor que um, o que indica que há um alto grau de concentração dos projetos aprovados em grupos majoritários, e tendência ao agravamento da situação. O grupo minoritário na área do Meio Ambiente mais prejudicado foi o universo feminino, que embora possua elasticidade de 0,74 (e, portanto, comparável aos demais grupos minoritários), teve apenas 27% dos recursos recebidos. Os dados analisados indicam tendência ao não ao equilíbrio social.

Página 164

Apêndice K. SER DO MEIO AMBIENTE AFETA A PROBABILIDADE DE APROVAÇÃO?

K.1. Meio Ambiente e Probabilidade de Aprovação

O estudo busca a análise da política de investimento público na área do Meio Ambiente. Como vimos, o Meio Ambiente é, por imposição legal, área prioritária, de modo que ser do Meio Ambiente deveria, em tese, afetar suas chances de aprovação. A resposta à essa pergunta influencia diretamente na análise da transversalidade setorial, e, portanto, na análise da eficácia do investimento público. Assim, procuramos responder à pergunta: “ser da área do Meio Ambiente afeta a probabilidade de aprovação de um projeto”?

K.2. Método de análise

Para responder à essa pergunta, foi realizada regressão logística binária de todos os índices, incluindo a categoria “Meio Ambiente”. A metodologia utilizada foi a apresentada pelo livro de Scott (2015), utilizando os métodos passos condicionais à frente (Forward Conditional) e passos condicionais à trás (Backward Conditional) e já foi detalhada no item 1.8.2. O mesmo método foi usado para todas as regressões logísticas desta dissertação. A variável independente, binária, foi a aprovação ou não no projeto, e as variáveis dependentes foram os índices relacionados no item Erro! Fonte de

referência não encontrada., além das categorias “Meio Ambiente”, “Área do Processo”

e “Faixa do Universal”. A pergunta foi respondida pela significância da categoria “Meio Ambiente” nas chances de aprovação.

A análise foi realiza com filtro de artigos de 2006 a 2010 (5 anos antes da aprovação do Universal). A limitação inferior (2006) se justifica pois, normativamente, os CAs devem limitar a análise do currículo a 5 anos (CNPQ, 2016), e a limitação superior se justifica, pois o julgamento ocorreu em 2010, e, portanto, não se pode levar em consideração artigos que ainda não tinham sido produzidos.

K.3. Coleta e análise dos dados

Esta regressão logística foi realizada sem filtros de processos, ou seja, em todas as áreas solicitadas no Universal 2010. Foram 13.052 propostas analisadas, tendo sido atendidos 3.550 propostas (27,2%). O modelo é significativo (significância de 0,000) e

Página 165 responde à aproximadamente 41,8% dos resultados encontrados (pseudo R2 Nagelkerke = 0,418). Responde adequadamente a 93,4% dos processos negados, mas apenas a 24,4% dos processos aprovados, de modo que o modelo demonstra ser incapaz de prever quais processos foram aprovados. O Fato é comprovado pelo teste de Hosmer e Lemeshow, que resulta em significância de 0,000, de modo que o teste “o modelo não descreve a realidade” é perfeitamente significante.

Tabela 28 – Modelo de regressão para todas as áreas

B E.P. WALD GL SIG. EXP(B) FAIXA 619,852 2 ,000 CITACOES -,001 ,000 7,416 1 ,006 ,999 ARTIGOS_FRACIONADOS ,093 ,022 17,085 1 ,000 1,097 CITACOES_FRACIONADAS ,002 ,001 6,264 1 ,012 1,002 CITACOES_MEDIA ,011 ,004 5,774 1 ,016 1,011 INDICE_H ,231 ,011 429,243 1 ,000 1,259 CITACOES_ANO -,002 ,001 8,344 1 ,004 ,998 ARTIGOS_ANO ,038 ,019 4,132 1 ,042 1,039 COLABORADORES_ANO -,005 ,002 4,835 1 ,028 ,995 ARTIGOS_FRACIONADOS_ANO -,151 ,058 6,781 1 ,009 ,860 CITACOES_MEDIA_ANO ,021 ,009 5,251 1 ,022 1,021 JCR_TOTAL_ANO ,015 ,003 20,060 1 ,000 1,015 N_AREA 1588,867 78 ,000 MEIO AMBIENTE * ,145 ,081 3,179 1 ,075 1,156 *AUSENTE DO MODELO

Fonte: Resultado de regressão realizada pelo autor no banco de dados por meio do IBM SPSS.

K.4. Conclusão

Observa-se que o Meio Ambiente não está presente no modelo final e que foi retirada no passo 11 (o último passo). Podemos verificar que pertencer à área do Meio Ambiente afeta positivamente a chance do processo ser aprovado (Exp(b) = 1,156, > 1), mas de modo insignificante (Sig. = 0,075 > 0,05). O fato é confirmado em outros testes de regressão, em que a variável sempre possui significância maior que 5%.

Deve-se observar que os resultados da regressão se alteram, conforme alteram as variáveis, dessa forma, para confirmar o fato acima, foram realizadas regressões pelos métodos Forward Setpwise, em que cada variável é inclusa em ordem de significância, e pelo método Backward Stepwise, além de regressão incluindo o Meio Ambiente, a Faixa e a Categoria. Em todos os casos o Meio Ambiente ficou de fora do modelo, comprovando

Página 166 a ausência de significância quanto à relação entre a aprovação do projeto e esse pertencer à área do Meio Ambiente. Portanto, podemos concluir que ser do Meio Ambiente não altera, de modo significante, as chances de aprovação de um projeto.

Página 167

Apêndice L. SÃO OS ÍNDICES PRESENTES NO MODELO FINAL RECOMENDADOS PELA REVISÃO LITERÁRIA?

L.1. Revisão Literária

Ao analisarmos os indicadores recomendados pela regressão, levamos em conta as considerações levantadas por Colwell et al. (2012), que elaboraram documento buscando verificar qual a evidência científica e as abordagens utilizadas por outras fontes de financiamento ao redor do mundo e o que elas têm globalmente a oferecer, em termos de indicadores de desempenho e relacionados com as melhores práticas, no contexto da investigação nas ciências naturais e engenharia, realizada em universidades, faculdades e institutos politécnicos. O painel produziu extenso relatório que, resumidamente, apresenta indicadores (1) Recomendados e (2) Não Recomendados.

São indicadores (1) Recomendados os (a) Artigos Publicados com Peso (são o número de artigos publicados em que são incorporados outra medida de qualidade, como a qualidade da revista em que o artigo foi publicado) e (b) Indicadores baseados em Citações. Há muitos indicadores baseados em quantidade de citações, mas são condições para a validade estarem normalizados por cada área de conhecimento e estarem baseados em janela de tempo suficientemente longa. Finalmente, em alguns casos, as pesquisas realizadas não são publicadas ou indexadas pelo Thomson Reuter’s Web of Science ou o

Elsevier’s Scopus, tornando o uso do índice perigoso.

São indicadores (2) Não recomendados o (a) índice h Especialistas em bibliometria não consideram o índice h como indicador válido (GINGRAS, 2009; VAN LEEUWEN, 2008), pois o índice possui um alto peso na simples quantidade de artigos publicados (sem levar em conta suas qualidades). (b) o financiamento externo é um proxy facilmente obtido, e normalmente utilizado para indicar a qualidade da pesquisa realizada. No entanto, financiamento externo depende das políticas internacionais, torna a comparação entre áreas de conhecimento impraticáveis, e não são razoavelmente aplicadas a pequenos centros de pesquisa (como é o caso do Universal), mas apenas a grandes centros de pesquisa. Assim, este indicador é mais apropriado a medidas de capacidade de pesquisa, e não à qualidade.

(c) a população estudantil, embora seja um indicador comumente empregado como proxy para a qualidade da pesquisa, não é válido como comparação entre diversas linhas de pesquisa. Além disso, a escolha dos estudantes não é influenciada apenas pela

Página 168 qualidade da instituição, mas por muitos outros fatores, como localização e valor. Assim, este indicador é mais apropriado a medidas de capacidade de pesquisa, e não à qualidade. (d) honras profissionais, como medalhas, premiações, são exemplos do reconhecimento internacional do pesquisador na sua área de trabalho. Um estudo refuta este indicador como válido (DONOVAN; BUTLER, 2007), indicando que pode ter uso como indicador da reputação, mas não da qualidade da pesquisa sendo realizada. Finalmente, (e)

Webometrics é um indicador que busca verificar publicações realizadas apenas na

internet, algo cada vez mais comum. No entanto, embora possa ser um índice promissor para o futuro, é improvável que ele substitua os índices de publicação em revistas correntes nos próximos anos (THELWALL, 2009).

Observa-se na literatura estudada que o fator de impacto da revista é sujeito a muita controvérsia. Embora o indicador tenha sido criado para que seja medida a visibilidade da revista, é comumente utilizado para avaliar pesquisadores e instituições. Algumas das críticas indicam que o índice é influenciado pela língua, área do conhecimento, política de acesso aberto e que pode ser manipulada quanto ao número de artigos. Assim, é sugerido que o indicador seja utilizado para avaliar apenas a revista, e não os pesquisadores (THONON et al., 2015).

Denise et al. (2015) anida aponta as seguintes considerações: alguns periódicos são muito usados, mas raramente citados; que embora os periódicos de melhor fator aceitem apenas os melhores artigos, que a quantidade de artigos produzidos é índice adequado para análise da produtividade do pesquisador, que o número de citações para a qualidade da pesquisa produzida, mas que o fator de impacto da revista é índice adequado apenas para analisar a qualidade da revista; e que em dezembro de 2012, durante o Encontro Anual da Sociedade Americana para Biologia Celular (Annual Meeting of the

American Society for Cell Biology), “um documento foi assinado por 150 cientistas e 75

organizações buscando eliminar o uso do fator de impacto da revista na análise da qualidade individual de um pesquisador” (DENISE et al., 2015, tradução nossa). Assim, levando-se em consideração as diversas críticas negativas encontradas no uso do fator de impacto da revista para a análise de pesquisadores, este índice não pode ser utilizado como forma de análise da qualidade da pesquisa.

L.2. Conclusão

O indicador que sozinho mais se correlaciona às chances de aprovação foi o Índice-h, que é não recomendado pela literatura acima apontada, pois está associado à

Página 169 Produtividade do pesquisador, e não à Qualidade de sua pesquisa. Portanto, pode-se concluir que, apesar da tabela “Significância, Pseudo R2 e % Correta dos Índices

escolhidos” nos indicar que podem-se utilizar índices baseados em citações, conforme

recomenda a literatura, a escolha dos projetos a serem aprovados no Universal 2010 se baseou de forma mais acentuada em indicadores não recomendados.

Página 170

Apêndice M. PODE O MEIO AMBIENTE SER TRATADO COMO ÁREA DO CONHECIMENTO?

M.1. Introdução

Meio Ambiente é área interdisciplinar e, portanto, não é, a priori, uma Área do Conhecimento. Andrés (2009) demonstra que não se deve comparar indicadores de diferentes áreas do conhecimento, pois cada área do conhecimento possui um padrão diferente de publicação e de citação, de modo que, a depender de diferentes áreas do conhecimento, autores podem ser mais ou menos produtivos, ou citar mais ou menos. Assim, precisa-se verificar se o Meio Ambiente pode ser considerado como se fosse uma Área do Conhecimento, ou seja, se os artigos selecionados como do Meio Ambiente satisfazem às leis da bibliometria e, assim, se podem ser analisados conjuntamente.

Para isso, nos utilizaremos do estudo de Lotka, que estudou padrões em publicações científicas. Lotka constatou que, dada qualquer área particular da ciência, muitos autores publicam apenas um artigo, enquanto poucos autores contribuem com um grande número de publicações. Dessa forma, considerando o número de autores que publicaram apenas um artigo igual a c, o número de autores y que publicaram x artigos seria igual a:

Equação 26 - Lei de Lotka