A qualidade e validade das conclusões obtidas numa RSL dependem das características metodológicas dos estudos incluídos (Perestelo-Perez, 2013). Deste modo, efetuou-se a avaliação crítica da qualidade metodológica de todos os estudos selecionados,
43 com o objetivo de compreender a validade dos resultados obtidos. Esta análise tem implicações na apresentação dos resultados dos estudos, sendo que a relevância dada a cada um se ajustará com base nessa avaliação.
Para a análise da qualidade, foram tidos em conta os seguintes aspetos: (i) o método da recolha da amostra e a sua representatividade (considerando a região dos participantes e o balanceamento entre os diferentes grupos estudados [e.g. sexos, idades, ESE]); (ii) a adequação dos instrumentos para a população (faixa etária e país de origem) e para a avaliação das varáveis que o estudo em questão se propõe investigar (com especial foco nos instrumentos específicos do bem-estar); (iii) o nível a que se consideraram os resultados estatisticamente significativos; e (iv) a referência à avaliação dos pressupostos básicos para a análise de dados (aquando da utilização de testes paramétricos).
No que concerne à amostra, será fornecida informação relativamente ao tipo de amostragem utilizada nos estudos. Esta indicação revela-se pertinente uma vez que a forma como os participantes são incluídos tem impacto nas generalizações que se podem efetuar (Gleitman, Fridlund, & Reisberg, 2014). O recurso a uma amostra aleatória (cada membro da população tem a mesma probabilidade de ser escolhido) ou estratificada (os estratos identificados numa dada população [e.g. idade, sexo] estão representados na amostra na mesma proporção com que existem na população) permite alcançar amostras representativas da população que, por sua vez, possibilitam que se efetue uma generalização dos resultados obtidos para a população alvo (Gleitman et al., 2014). Em muitos estudos, no entanto, pode não ser possível efetuar estes tipos de amostragem. Por vezes, os investigadores optam por recorrer a amostras de conveniência que, apesar de possuírem a vantagem de serem mais fáceis de obter, evidenciam uma limitação relevante, pois os resultados finais são apenas generalizáveis à população estudada, e não à população alvo geral (Bornstein, Jager, & Putnick, 2013).
Para além da informação relativa ao método de recolha da amostra, será também referido o aspeto da homogeneidade ou heterogeneidade dos seus grupos constituintes. Isto é, quando os diferentes grupos que compõem a amostra se revelarem muito heterogéneos entre si (e.g. sexo feminino: 60% da amostra), essa informação será partilhada. Por fim, importa referir que se inferirá maior qualidade, e ter-se-á maior confiança para generalizações dos resultados, quando estes forem obtidos em estudos que recorram a uma amostragem aleatória ou estratificada.
44 Relativamente aos instrumentos, serão apresentadas informações quanto à adequação à população alvo e consistência interna. Relativamente à adequação à população, teve-se em conta se os instrumentos se encontravam validados para população portuguesa e brasileira, bem como se se adequavam à faixa etária que pretendiam estudar – a adolescência. De facto, se os instrumentos não forem adequados à cultura e características desenvolvimentistas da população que se pretende estudar, não se pode ter confiança nos resultados obtidos (Borsa, Damásio, & Bandeira, 2012). Esta confiança nos resultados advém também da fidelidade dos instrumentos utilizados. Assim, para analisar a qualidade, teve-se igualmente em conta a consistência interna, uma vez que esta permite estimar o quanto cada enunciado do instrumento mede de forma equivalente o mesmo conceito/ característica (Souza, Alexandre, & Guirardello, 2017). Deste modo, quanto mais os itens de um instrumento se encontram correlacionados, maior será o valor do alfa de Cronbach e maior confiança haverá de que estes se encontram a medir o mesmo constructo (Souza et al., 2017). Assim, considerou-se a consistência interna adequada a partir de 0.7 e questionável quando o alfa se revelou inferior a este valor (George & Mallery, 2003).
No que concerne à significância estatística, será apresentado o valor p utilizado em cada estudo. Este aspeto é muito relevante para a análise da qualidade das evidências, uma vez que este valor se refere à probabilidade de obtenção da amostra e dos dados exatamente como foram obtidos na investigação, supondo que as diferenças observadas se deveram ao acaso ou à variação natural das medidas (Victor & Paes, 2008). Usualmente, consideram-se valores p inferiores a 0.05, 0.01 e 0.001 como representando evidências moderadas, fortes e fortíssimas, respetivamente (Victor & Paes, 2008), sendo o valor p<0.05 o intervalo de confiança mais comummente utilizado (Zar, 1999). Através do valor p conseguimos, então perceber, qual a probabilidade de os resultados serem devido ao acaso e, nesse sentido, ter-se- á maior confiança nos estudos que utilizarem os valores referidos anteriormente.
Relativamente aos pressupostos básicos para a análise de dados, teve-se em conta a sua avaliação prévia à utilização de testes paramétricos. Este tipo de testes implica a verificação e cumprimento de quatro pressupostos para que a análise paramétrica se possa considerar válida e para que se possam retirar conclusões rigorosas da realidade (Tabachnick & Fidell, 2013). Assim, a presença de outliers deve ser analisada, pois estes têm um grande impacto na distribuição dos dados, influenciando negativamente os resultados e, nesse sentido, é necessária a sua remoção antes de se efetuarem as análises estatísticas (Princípio da ausência de outliers) (Tabachnick & Fidell, 2013). O princípio da normalidade assume que a
45 distribuição dos erros do modelo proposto não difere significativamente de uma distribuição normal, deste modo, é necessário verificar se este pressuposto não é violado antes de se efetuarem análises estatísticas, sendo o fenómeno da normalidade particularmente relevante quando se pretendem realizar inferências (Field, 2009).
No que concerne ao princípio da homogeneidade, este assume que a variação do erro do modelo proposto não difere significativamente em função dos diversos níveis da variável independente, isto é, que a variabilidade do erro não é diferente nas várias condições da variável independente (Field, 2009; Tabachnick & Fidell, 2013). A existência de variância dentro de cada grupo analisado (e.g. sexo masculino vs feminino) causa distorções na análise de resultados, pelo que convém que os diversos grupos apresentem alguma homogeneidade, não só nos valores médios como também na sua variação interna (Tabachnick & Fidell, 2013). Por fim, o princípio da multicolinearidade assume que não existem correlações muito fortes (r>09) entre as variáveis independentes, sendo que a sua análise apenas é necessária quando a investigação envolve duas ou mais variáveis independentes (Field, 2009). O objetivo deste pressuposto é assegurar que não se consideram conjuntos de dados muito correlacionados de modo a se evitarem duplicações de resultados (Tabachnick & Fidell, 2013). Assim, ter-se-á maior confiança nos estudos que tenham em conta estes pressupostos na sua análise de dados (quando recorrerem a testes paramétricos).
Relativamente à avaliação da qualidade da presente RSL, recorreu-se ao instrumento
Assessment of Multiple Systematic Reviews (AMSTAR) (Shea et al., 2007), que foi
classificado pela Canadian Agency for Drugs and Technologies in Health (CADTH), como sendo dos instrumentos mais adequados, válidos e úteis para este tipo de avaliação (Perestelo- Perez, 2013). O AMSTAR tem vindo a revelar boa validade facial e de conteúdo, bem como a demonstrar-se adequado para avaliar a qualidade das RSL, isto é, a probabilidade das revisões originarem resultados não enviesados (Shea et al., 2007, 2009). Foram considerados diferentes instrumentos para este fim, no entanto, o AMSTAR pareceu o mais adequado dado possuir menos itens direcionados para RSL que se focam na comparação de intervenções (randomised control trials).