Prestasjonsmåling som et verktøy for legitimitet

Portanto, a fase I de análise dessa revisão sistemática foi realizada sobre um to- tal de 1588 artigos. Para cada execução da string em um motor de busca, foi gerado um arquivo contendo o BibTex dos resultados obtidos. Tal arquivo era então submetido à ferra- menta StArt, onde foi previamente indicado os motores de busca que seriam utilizados. A Figura A.1 apresenta a interface de upload dos artigos na ferramenta StArt. Além do upload dos arquivos BibTex, resultante da busca nos motores de busca, também foi realizado o ca- dastro dos artigos encontrados manualmente.

Os dados obtidos de cada artigo variaram de acordo com a qualidade do BibTex fornecido pelo motor de busca. Porém, todos tinham as informações básicas de Nome do Autor, Título, Palavras-Chave, Local de Publicação, Ano e Tipo. O resumo não foi fornecido diretamente por todas as bases, caso da Springer e da ACM digital library. Nesse caso, o resumo foi obtido manualmente e cadastrado na ferramenta. A Figura A.2 mostra a interface de apresentação dos dados dos artigos.

Com base nessas informações básicas foi realizada a avaliação dos artigos na Fase I, aplicando-se os critérios de exclusão e os critérios de inclusão de estudo, no título e abstract das publicações. A Figura A.3 apresenta a aplicação dos critérios na fase I.

Dessa forma, foi possível, de maneira mais eficiente, definir quais artigos seriam selecionados para a segunda fase da revisão sistemática, além de permitir que algumas es- tatísticas sobre os artigos fossem geradas inicialmente. Também foi realizado o tratamento de duplicatas de artigos, ou seja, artigos que retornaram em mais de um motor de busca e na busca manual. Nessa atividade, percebeu-se que todos os artigos obtidos na busca ma-

Figura A.1 – Interface de Upload de Arquivos StArt

Figura A.3 – Aplicação dos Critérios de Inclusão e Exclusão na Fase I

nual foram retornados por algum dos motores de busca, enfatizando assim, a importância de tais trabalhos.

Dos 1588 artigos revisados, 132 artigos foram escolhidos para a Fase II da revisão sistemática. O critério para que um paper fosse selecionado a participar da Fase II era que deveria responder SIM para a pergunta abaixo.

- Apresenta uma solução para realização de estimativa de esforço para projetos de desenvolvimento de software?

Nessa fase, 1092 artigos foram rejeitados, sendo 1057 pelo critério de exclusão d (relacionado a estimativa de esforço, mas não apresenta uma solução para o problema), 31 pelo critério e (trabalhos voltados para estimativa de defeitos) e 4 pelo critério f (apresenta desafios e direcionamentos na área). Além disso, foram encontradas 330 duplicatas de artigo.

A.4 EXECUÇÃO DA FASE II

Após a execução da Fase I dessa Revisão Sistemática, foi realizada a leitura de- talhada de cada um dos 132 artigos selecionados, a fim de caracterizá-los segundo os critérios definidos no protocolo da revisão e descritos na Seção A.9. Tais critérios foram escolhidos com base na revisão sistemática realizada por Tenório Jr. [TEN10] e na revisão sistemática realizada por [JØR07]. Nesse capítulo, os aspectos analisados foram consolida- dos em diversas seções, com o propósito de ilustrar o panorama da pesquisa a respeito de Soluções de Apoio à Estimativa de Esforço em Projetos de Desenvolvimento de Software. A.4.1 AVALIAÇÃO DE QUALIDADE

Uma vez selecionados, cada um dos 132 artigos foram avaliados de acordo com os 12 critérios de qualidade indicados na Seção A.9. Em conjunto, estes 12 critérios fornecem uma medida do grau em que cada um dos artigos contribui para o resultado desta revisão. Cada um dos 12 critérios foi graduado em uma escala dicotômica (“Sim” ou “Não”). Nesta fase artigos foram retirados e adicionados artigos de acordo com o a seção a seguir.

Retirando e Adicionando Artigos

Após a leitura completa dos textos constatou-se que os artigos [KUM11], [KUL09] e [GAL07] tratavam-se de duplicatas dos artigos [16], [50] e [94], respectivamente. Com exceção do último, os artigos duplicados continham alterações no título e no resumo do trabalho, mas mantendo os mesmos resultados e sendo publicados em veículos diferentes, por isso, optou-se por excluir os artigos em duplicata, conservando as versões publicadas nos veículos melhores classificados pela CAPES.

Além disso, após a leitura do texto na íntegra, verificou-se que os artigos [ALJ13], [SAX12], [THA12], [KOS12], [CAT11], [PUR09], [JOR03] e [LOP12] não se tratavam de Solution Proposal, ou seja, não apresentavam uma solução para realização de estimativa de esforço, mas sim estudos comparativos entre soluções ou estudos de caso para aplicação de uma solução apresentada anteriormente, por isso, tais artigos também foram excluídos. Já os artigos [KAS09], [NAR12], [SAN09] e [JUN08] foram excluídos por não cor- responderem ao critério de inclusão b, e não terem descritos os dados necessarios para avaliação deste artigo nesta revisão sistemática. Enquanto que os artigos [LUC02] e [LIU09] tiveram sua avaliação na primeira fase revisada, pois entendeu-se que as soluções não eram aplicadas ao contexto de desenvolvimento de software, como sugeria o título e o abs- tract. Os artigos [GAN13], [TOD13], [FU12], [GON12], [CHE11], [ATT11], [PAP09] e [PRI96]

não foram obtidos para leitura na íntegra, não podendo, portanto, serem avaliados nesta fase da pesquisa.

Por fim, os artigos “Software Engineering Economics” e “Software Function, Source Lines of Code, And Development Effort Prediction: a Software Science Validation” não fo- ram retornados na aplicação das strings de busca e na busca manual no Journal IEEE Transactions on Software Engineering, por não serem Solution Proposal em estimativa de esforço, porém, a partir da leitura dos trabalhos selecionados na fase I, identificou-se que esses artigos eram marcos de referência do modelo COCOMO81 e da técnica de Estimati- vas por Pontos por Função, respectivamente. Uma vez que estas soluções foram propostas inicialmente em livros e que estes foram os primeiros artigos dos autores sobre os temas, optou-se por inserir estes trabalhos na lista final da revisão.

No total, 25 artigos foram excluídos e 2 artigos foram incluídos nesta fase, res- tando 109 a serem avaliados como diretamente relacionados a proposta de solução para estimativa de esforço em desenvolvimento de software.

A Seção A.12 mostra a avaliação quantitativa dos 109 artigos selecionados, de acordo com os critérios de qualidade propostos, neste caso, foi atribuído peso 1 para as respostas do tipo “sim” e peso 0 para as respostas do tipo “não”. Já a Seção A.13 contém a listagem destes artigos.