3.4 Evaluation of the Research Design
4.1.2 The Integration of Climate and Energy Policies
Uma vez definido os indicadores presentes no modelo, cabe realizar a regressão logística. O Banco de Dados foi aquele fornecido pela informática do órgão, contendo dados sobre todos os pesquisadores que submeteram propostas ao Universal 2010, filtrado pela área do Meio Ambiente. O filtro foi realizado importando-se todos os dados para o Bando de Dados MySQL e utilizando a linguagem SQL para relacionar os processos do meio ambiente em nova coluna. Os códigos utilizados podem ser enviados, se assim requisitado. Os indicadores utilizados foram aqueles presentes no Apêndice A.2. , representando os indicadores relativos ao Impacto Social da Pesquisa. A variável dependente foi o atendimento ou não da demanda (0 para não atendido, e 1 para atendido), e as independentes foram os índices, bem como a Faixa e Área em que o pesquisador
Página 130 concorreu (como variáveis categóricas). O Método utilizado foi o Forward Stepwise, com entrada se a variável tiver significância menor que 0,05, e retirada com significância maior que 0,05, corte de classificação de também 0,05 e 35 iterações permitidas. O programa utilizado foi o SPSS da IBM.
A constante no modelo não foi permitida. A constante tem interpretação teórica de haver possibilidade constante de aprovação, mesmo que independentemente dos índices. Teoricamente, a escolha dos projetos contemplados deve se basear inteiramente na qualidade do projeto, o que envolve os indicadores como aqui analisado, ou em outros fatores, como o projeto de pesquisa em si e a localização da instituição. Assim, se há concorrência o suficiente, a constante não possui significado prático/teórico. Além disso, percebe-se que a remoção da constante do modelo elevou o R2 de Nagelkerke, o que comprova fato estatístico de que a remoção da constante do modelo descreve melhor a realidade. O resultado pode ser encontrado no Apêndice A.3. e leva ao seguinte modelo:
Equação 12 – Modelo resultante da Regressão logística 𝜋𝑃,𝑄,𝑆 = 𝐸(𝑌|𝑃, 𝑄, 𝑆) = 𝑒 0,021 ∙𝑃+0,019 ∙𝑄+𝑆𝑜𝑐+𝐴𝑟𝑒𝑎+𝐹𝑎𝑖𝑥𝑎 1 + 𝑒0,021 ∙𝑃+0,019 ∙𝑄+𝑆𝑜𝑐+𝐴𝑟𝑒𝑎+𝐹𝑎𝑖𝑥𝑎 Onde: 𝐹𝑎𝑖𝑥𝑎 = { 0 𝑝𝑎𝑟𝑎 𝑝𝑟𝑜𝑐𝑒𝑠𝑠𝑜𝑠 ∈ 𝐹𝑎𝑖𝑥𝑎 𝐴 −1,560 𝑝𝑎𝑟𝑎 𝑝𝑟𝑜𝑐𝑒𝑠𝑠𝑜𝑠 ∈ 𝐹𝑎𝑖𝑥𝑎 𝐵 −1,605 𝑝𝑎𝑟𝑎 𝑝𝑟𝑜𝑐𝑒𝑠𝑠𝑜𝑠 ∈ 𝐹𝑎𝑖𝑥𝑎 𝐶 P = Artigos Q = Citacoes_Media
Soc = 0,071 ∙ JCR_Total_Fracionado + 0,005 ∙ soc_2010_122− 0,062 ∙ soc_2010_2C− 0,026 ∙ soc_2010_43+ 0,016 ∙soc_2010_A11+ 0,025 ∙ soc_2010_A32+ 0,017 ∙ soc_2010_242 𝐴𝑟𝑒𝑎 = { VALOR Nº ÁREA 0,00 1 -1,68 2 -1,03 3 -1,42 4 -0,33 5 -0,75 6 36,69 7 35,09 8 -36,59 11 -2,07 12 -1,54 13 36,59 14 -2,25 15 -0,22 16 -1,33 17 -0,80 18 -34,88 19 -1,11 20 -0,80 21 -2,06 22 -1,78 23 -1,17 25 -36,42 26 -36,27 27 -1,30 29 -0,72 31
Página 131 -2,84 32 -34,93 33 -2,24 34 -35,11 35 -35,41 36 -1,22 37 -1,14 39 -1,17 40 -36,90 41 -2,68 42 -0,62 43 -0,57 44 -0,57 45 -35,56 46 -3,18 48 -1,46 49 -0,11 50 -0,39 51 -36,50 52 -0,29 53 -35,88 56 -4,48 57 -2,45 58 -2,02 59 -39,64 60 -1,30 61 -34,64 62 -2,45 63 -1,38 64 -3,08 66 -0,30 67 74-1,15 69 -2,52 70 -1,84 71 -0,70 72 -0,59 73 -0,60 74 -0,32 76 -1,78 77 -1,58 78 -1,75 79 -35,69 80
Página 133 A Equação 12 permite calcular as chances de aprovação no âmbito do Universal 2010, a depender da produtividade do pesquisador, da qualidade de sua pesquisa, de seus índices sociais, bem como da área e faixa em que concorreu. No entanto, a Odds Ratio (OR), que representa em quantas vezes a chance da variável independente ocorrer é aumentada pela presença da variável dependente, é medida mais facilmente interpretada. Em nosso caso, OR representa quantas vezes mais chance tem o pesquisador de ser contemplado no Universal 2010, a partir de cada indicador. Como a regressão logística foi realizada pelo método clássico (variável independente codificada em 0 ou 1, variáveis categóricas codificadas tendo como referência a primeira), OR é facilmente calculado pela exponencial do coeficiente. No presente caso, para facilitar a interpretação, calculamos OR para dobrar (ou reduzir à metade, no caso de coeficientes negativos) as chances de contemplação. Assim, temos:
Equação 13 – Regressão Logística – Odds Ratio: dobrar ou reduzir à metade as chances de aprovação
𝑂𝑅 = 2 = 𝑒𝑥 ∙𝐵 ↔ 𝑥 =𝑙𝑛(2)
𝐵 ou 𝑂𝑅 = 0,5 = 𝑒
𝑥 ∙𝐵 ↔ 𝑥 =𝑙𝑛(0,5) 𝐵
O quadro que se segue representa, portanto, a quantia necessária de cada indicador para dobrar as chances de contemplação:
Quadro 15 - Resultado da Regressão Logística – Meio Ambiente do Universal 2010 –
Odds Ratio
COD.INDICADOR DESCRIÇÃO Nº PARA
OR=2* FAIXA (1)* O pesquisador que concorreu para a Faixa A possui
4,8 vezes mais chance de ganhar do que aquele que concorreu para a Faixa B.
1/EXP (B) = 4,8
FAIXA (2)* O pesquisador que concorreu para a Faixa A possui 5,0 vezes mais chance de ganhar do que aquele que concorreu para a C.
1/EXP (B) = 5,0
ARTIGOS 33 Artigos publicados em periódicos dobram chances de contemplação.
33
CITACOES_MEDIA 10 Citações médias por artigo publicado dobran chances de publicação.
Página 134
SOC_122 138 Publicações em Anais de Evento dobram chances de contemplação.
138
SOC_2C* A cada 11 Materiais Didáticos desenvolvidos OR é reduzido à metade.
OR (0,5) = 11 SOC_43* A cada 27 Monografias em curso de especialização,
OR é reduzido à metade.
OR (0,5) = 27 SOC_A11 43 Mestrados Orientados dobram as chances de
contemplação.
43
SOC_A32 28 Seminários realizados dobram as chances de contemplação.
28
SOC_242 41 Trabalhos Técnicos – Consultoria dobram as chances de contemplação.
41
* Representam casos em que B é negativo, ou seja, cálculo de OR (0,5), ou casos em que foi calculado 1/EXP (B).
Fonte: Elaborado pelo autor.
Quadro 16 – Resultado da Regressão Logística – Meio Ambiente do Universal 2010 – Estatísticas Descritivas – 1503 casos -
MÍNIMO MÁXIMO MÉDIA DESVIO
PADRÃO ARTIGOS 1 271 12,93 13,68 CITACOES_MEDIA 0 140,66 9,99 14,38 SOC_2010_122 0 514 52,52 63,25 SOC_2010_2C 0 56 0,95 2,92 SOC_2010_43 0 105 2,89 8,35 SOC_2010_A11 0 254 15,70 22,41 SOC_2010_A32 0 150 5,02 9,46 SOC_2010_242 0 234 2,96 11,02
Fonte: Elaborado pelo autor.
Conforme podemos verificar, tanto Artigos quanto Citações Médias foram significativas na regressão realizada. No entanto, para se dobrar as chances de contemplação no âmbito do caso escolhido, são necessários 33 artigos publicados e 10 citações em média por artigo. A média de artigos publicados por pesquisador na área do Meio Ambiente foi de 13 publicações. Quanto aos indicadores sociais relevantes, chamam atenção a importância de orientações de mestrado, trabalhos técnicos,
Página 135 publicações em anais de eventos e seminários. No entanto, nota-se que a presença de diversos outros indicares não foi significativa.
Nota-se também relação negativa com orientações de especializações e materiais didáticos produzidos. O fato não pode ser interpretado como se a presença do indicador de fato reduza as chances de aprovação. Há de se lembrar que essa foi análise estatística em que há forte correlação entre diversos indicadores, de modo que o fato não leva à conclusão de que a presença do indicador, sozinho, reduza as chances de aprovação. Isso é comprovado com nova análise, utilizando somente os indicadores em questão. Nessa regressão mostrou-se que ambos são positivos e insignificantes. Dessa forma, esses indicadores não possuem relação com as chances de aprovação no Universal 2010 sem a presença dos demais indicadores, e estão presentes para estatisticamente aprimorar a previsibilidade do modelo.
Na tabela constante do Apêndice A.4, os valores em negrito nos permitem diferenciar quando a Escala Explicativa cai a menos de 10%, e quando a significância cai a mais de 0,05. O que primeiro chama atenção é a escala explicativa do Fator H, de 89%. A escala explicativa é baseada no R2 de Nagelkerke e é fator que busca indicar a aproximação do modelo com a realidade. Como não é possível medir o erro, em termos de quadrados médios, na regressão logística, esse é o cálculo que mais se aproxima do R na regressão linear. Como nosso estudo encontrou, para o índice H, 0,759 de relação com o fator Produtividade, e 0,406 com o fator Qualidade, e como foi utilizado o método rotacional Varimax, que presume eixos ortogonais entre si, pode-se dizer com 89% de precisão que as chances de aprovação são explicadas pelo fator Produtividade 1,87 vezes mais do que pelo fator Qualidade.
Além disso, analisando aqueles índices que são significativos e cuja Escala Explicativa é maior que 10%, percebemos presença marcante de índices relacionados a orientações de doutorado, mestrado e iniciação científica, escrita de capítulo de livros, além de participação em congressos e eventos similares. Notadamente, temos que produções técnicas e contatos com a sociedade e/ou indústria (como participações em jornais, TV ou feiras de ciência, além de patentes, produção de softwares ou aplicações práticas) não são significativas, ou se o são, possuem baixa Escala Explicativa.
Mais especificamente, apenas os indicadores Resumo de Trabalho publicado em anais de evento, Capítulo de livro publicado, Organização de Congresso, Trabalho Completo publicado em anais de evento, Trabalhos técnicos – Assessoria, Apresentação de Trabalho em Conferência ou palestra, Participações em Simpósio, Participações em
Página 136 Seminário, Participação em banca de comissões julgadoras de Concurso público e Consultorias são explicativos.