Uma revisão sistemática é um meio de avaliar e interpretar todas as pesquisas disponíveis relevantes para uma determinada questão de pesquisa, área de tópico, ou fenômeno de interesse (KITCHENHAM, 2004). Segundo Kitchenham (2004), as revisões sistemáticas visam apresentar uma avaliação justa de um tema de pesquisa, utilizando uma metodologia confiável e rigorosa. Para a execução da revisão, foi utilizado como base o guia para revisão sistemática de Kitchenham (2004). A Figura 8 exibe o fluxo do processo de revisão utilizado neste trabalho a partir das etapas de Kitchenham (2004). Nas próximas seções, serão descritas as etapas necessárias para o planejamento, condução e documentação da revisão.
Figura 8 – Fluxo do processo de revisão
3.1.1 Planejamento da revisão
1 – Identificação da necessidade de uma revisão: existem várias técnicas para avaliar diversos aspectos de SS, no entanto, não é fácil encontrar trabalhos que utilizem as postagens dos usuários no sistema para fazer avaliação dele.
2 – Desenvolvimento de um protocolo de revisão: o protocolo de revisão é composto de seis subetapas descritas a seguir.
A – Definição das questões da pesquisa: esta revisão sistemática teve como questão de pesquisa principal (QP): “Qual é o estado da arte sobre SS?”. Foram definidas duas subquestões de pesquisa (Questões Secundárias, QS) que ajudam a responder à questão principal:
a) QS1: Quais são os principais aspectos avaliados em trabalhos sobre avaliação de SS?
b) QS2: Quais são os principais métodos de avaliação em trabalhos sobre SS?
B – Definição da estratégia de busca: em todas as consultas foram utilizadas as seguintes palavras-chave: Facebook, Twitter, Tweet, Tweets, “Rede Social”, “Redes Sociais”, “Social systems”, “Social system”, “Social Network”, “Social Networks” ou “Social
networking”17. Foram obtidas 999 publicações. Os artigos foram pesquisados no indexador ACM Digital Library18, por meio do mecanismo de busca avançada.
C — Definição de critérios de inclusão e exclusão: algumas restrições (R) foram utilizadas para limitar a busca, tais como:
a) R1: trabalhos completos (journal or proceeding), em português ou inglês, e publicados entre os anos de 2010 a 2012.
b) R2: trabalhos cujo tema é relacionado a avaliação. D – Definição de procedimentos de seleção:
a) etapa 1: a estratégia de busca é aplicada nas fontes.
b)etapa 2: para selecionar um conjunto inicial de estudos, os títulos e resumos de todos os artigos obtidos foram lidos e confrontados com os critérios de inclusão e exclusão do item (C, R1), são extraídos: ano e veículo de publicação;
17 String usada: Searching for: ((Title:Facebook or Title:Twitter or Title:Tweet or Title:Tweets or Title:"Social
systems" or Title:"Social system" or Title:"Social Network" or Title:"Social Networks" or Title:"Social networking") and (PublishedAs:journal OR PublishedAs:proceeding) and (FtFlag:yes)) and (FtFlag:yes)
c) etapa 3: todos os artigos selecionados na etapa 2 tiveram uma leitura diagonal e foram novamente confrontados com os critérios do item (C, R2), são extraídos: título, autores, tema e palavras-chave;
d) etapa 4: todos os artigos selecionados na etapa 3 tiveram uma leitura completa. Os artigos incluídos são documentados e são extraídas as demais informações (observações, método(s) de avaliação e aspecto(s) avaliado(s)).
E – Definição de procedimentos de extração: a extração das informações dos artigos foi organizada em uma planilha com itens direcionados a responder as questões de pesquisa da revisão. A planilha continha os seguintes itens a serem preenchidos para cada trabalho: título, ano de publicação, veículo de publicação, autores, palavras-chave, tema, observações, método(s) de avaliação e aspecto(s) avaliado(s).
F — Síntese de dados: segundo Kitchenham e Charters (2007), a síntese de dados envolve resumir os resultados dos estudos incluídos, podendo ser descritiva e, quando possível, também quantitativa (envolvendo análise estatística). Nesta revisão, foi realizada uma análise quantitativa, a partir das publicações obtidas e descritiva, pela leitura completa dos trabalhos mais relevantes.
3.1.2 Condução da revisão
A condução da revisão consistiu de quatro subetapas (numeradas de 3 a 6, segundo a Figura 8), descritas a seguir:
3 – Identificação da pesquisa: a coleta de informações desta revisão sistemática ocorreu no mês de fevereiro de 2013. A execução das demais atividades ocorreu no primeiro semestre de 2013. Como resultado obtido, foram encontrados 999 trabalhos na ACM Digital Library.
4 – Seleção dos estudos: para um refinamento dos resultados, foram seguidas as etapas do procedimento de seleção (E). A partir da etapa 1 foram extraídos 999 trabalhos, que depois de inspecionados, percebeu-se que 395 destes não se tratava de trabalhos completos. Tais trabalhos foram eliminados, resultando em 604 trabalhos para a etapa 2. Na etapa 3, por meio de uma leitura diagonal, foram selecionados trabalhos cujo tema fosse relacionado à avaliação, resultando em 42 trabalhos. A partir de uma leitura completa, 20 trabalhos foram obtidos como resultado da etapa 4 (Tabela 1).
Tabela 1 – Quantidade de trabalhos selecionados em cada etapa da seleção
Etapas Quantidade de trabalhos
Etapa 1 999
Etapa 2 604
Etapa 3 42
Etapa 4 20
5 – Avaliação da qualidade dos estudos: a avaliação da qualidade dos artigos para a última etapa foi realizada de forma simplificada, verificando apenas a presença ou não de alguma forma de avaliação em SS.
6 – Extração dos dados: o processo de extração dos dados ocorreu em três situações: a) na primeira etapa, com os 999 trabalhos obtidos. Foram preenchidas as
informações: ano e veículo de publicação;
b) na segunda etapa, com os 604 trabalhos. Foram preenchidas as informações: título, autores, tema e palavras-chave;
c) uma vez definido o conjunto dos trabalhos selecionados, a partir de uma leitura completa, foram preenchidas as informações restantes: observações, método(s) de avaliação e aspecto(s) avaliado(s) para os 20 trabalhos de avaliação.
Essa atividade durou aproximadamente quatro meses para ser concluída.
3.1.3 Documentação
A documentação da revisão consistiu de duas subetapas (numeradas de 7 e 8, segundo a Figura 8), descritas a seguir:
7 – Apresentação dos estudos: apresenta uma visão geral dos resultados obtidos pela revisão. Esses resultados mostram informações gerais, não diretamente associadas à avaliação, mas aos principais temas encontrados em trabalhos sobre SS, que servem para contextualizar a época da realização da revisão.
8 – Resultado das questões: apresenta o resultado das questões de pesquisa (questão principal e questões secundárias).