Introdução
Uma revisão sistemática procura identificar, avaliar criticamente e sumariar todos os estudos relevantes que correspondam a critérios predefinidos para responder a uma ou mais perguntas predefinidas (Aromataris & Pearson, 2014). Apesar de existirem inúmeras tipologias de revisões sistemáticas que obedecem a especificidades metodológicas, a tipologia mais comum é a revisão sistemática de efetividade que pretende de um modo simplista avaliar a efetividade de uma ou mais intervenções ou terapias (Santos & Cunha, 2013; Tufanaru et al., 2017). Por carecer de uma técnica de síntese agregativa, usualmente, as revisões sistemáticas de efetividade recorrem à meta-análise como método de resumo de análise estatística com o objetivo positivista de diminuir a subjetividade dos dados tradicionais obtidos pela síntese narrativa e sintetizar dados provenientes de diferentes estudos numa medida única (Apóstolo, 2017; Santos & Cunha, 2013; Santos et al., 2016).
É relevante fazer notar que os termos revisão sistemática e meta-análise são utilizados muitas vezes de forma incorreta. Na literatura encontramos meta-análises que não tiveram por base um processo de síntese consistente, ou seja, não foram alvo de uma revisão sistemática (Santos & Cunha, 2013). A meta-análise é simplesmente um dos passos finais do que deve ser um processo rigoroso e que apenas se deve realizar se existirem condições para isso, ou seja, na presença de vários pressupostos pré-determinados dos quais podemos salientar a homogeneidade dos estudos incluídos (Santos & Cunha, 2013; Tufanaru et al., 2017; Tufanaru et al., 2015). Podemos, por isso, afirmar que numa revisão sistemática de efetividade existem duas opções de síntese - a meta-análise e a síntese narrativa (Tufanaru et al., 2015).
Existem vários métodos propostos no que concerne à conceção, desenvolvimento, publicação e disseminação de revisões sistemáticas, dos quais podemos salientar os que são propostos pelos Centros Colaboradores JBI (Tufanaru et al., 2017) e a Colaboração Cochrane (Higgins et al., 2019). Contudo, ainda que altamente específicos e abrangentes, é comum que os revisores considerem que alguns dos seus passos são mais fáceis e rápidos (Berman & Parker, 2002), incorrendo, por vezes, em imprecisões e limitações importantes que podem inviabilizar todas as recomendações realizadas (Imrey, 2020). Curiosamente isso acontece inúmeras vezes quando nos referimos à heterogeneidade dos resultados de uma meta-análise. É comum os revisores realizarem apenas a meta-análise, não analisando a heterogeneidade, ou, simplesmente, considerarem-na, mas ignorarem as suas implicações, não procedendo à devida exploração (Higgins & Thompson, 2002; Santos & Cunha, 2013).
Neste artigo são apresentados os conceitos fundamentais de heterogeneidade e inconsistência em meta-análise, bem como as diferentes opções para a medir e explorar. Iremos abordar especificamente os tipos de heterogeneidade, os testes estatísticos aplicáveis e as suas implicações para a escolha do modelo de análise, bem como a sua exploração através das análises de sensibilidade, por subgrupos e meta-regressão. Assim, o objetivo deste artigo é demonstrar como se mede e explora a heterogeneidade de uma meta-análise.
Desenvolvimento
As revisões sistemáticas com meta-análise podem fornecer evidências convincentes e fiáveis para os cuidados de saúde. O seu valor é reforçado quando os resultados dos estudos incluídos mostram efeitos clinicamente significativos e de semelhante magnitude (Higgins et al., 2019). Quando esta condição se verifica podemos afirmar que os estudos são homogéneos e, usualmente, para verificar esta condição as revisões sistemáticas com meta-análises apresentam o cálculo e interpretação de testes estatísticos de heterogeneidade (Higgins et al., 2003). Na sua génese, estes testes procuram confirmar se existem diferenças genuínas subjacentes aos resultados dos estudos (heterogeneidade) ou se a variação nos resultados é compatível apenas com o acaso (homogeneidade; Higgins et al., 2003; Santos & Cunha, 2013).
Em termos globais a heterogeneidade pode ser de três tipos (Higgins et al., 2019; Santos & Cunha, 2013): heterogeneidade estatística (diferenças nos resultados) - é a variação entre os resultados dos estudos e que pode ser causada por heterogeneidade clínica ou metodológica, a escolha errada das medidas de efeito do tratamento ou simplesmente pelo acaso; heterogeneidade metodológica (diferenças nos desenhos dos estudos incluídos) - consiste nas variações relacionadas com a aleatorização, o sigilo da alocação, a ocultação e as perdas/exclusões de participantes; heterogeneidade clínica (diferenças entre as características dos estudos das quais se destacam os participantes, intervenções/exposições ou resultados) - é a diferença real entre os estudos devido às suas características: participantes (critérios de inclusão e exclusão, diagnóstico, . . .), intervenções (tipo, dose, duração, . . .) e desfechos clínicos (tipo, escala, ponto de coorte, duração do follow up, . . .).
A identificação da heterogeneidade pode ser intuída pela inspeção visual dos gráficos das meta-análises através da verificação do agrupamento ou dispersão dos efeitos individuais dos estudos (os resultados são semelhantes? os intervalos de confiança sobrepõem-se?; Santos & Cunha, 2013). Contudo, este procedimento não substitui a aplicação dos testes recomendados para o efeito (Higgins et al., 2019).
Os testes estatísticos de heterogeneidade na sua génese derivam da aplicação do teste do qui-quadrado (X 2 ; Marôco, 2021). Predominantemente os testes mais utilizados são o teste Q de Cochran e o I 2 .
O teste Q parte do pressuposto que os achados dos estudos primários são iguais (hipótese nula) e verifica se os dados encontrados refutam esta hipótese. Se a hipótese nula for confirmada, os estudos são considerados homogéneos (p > 0,05; Lau et al., 1998). Contudo, a aplicação deste teste por si só não é isenta de problemas e/ou desvantagens porque se baseia numa distribuição X 2 impondo um baixo poder do teste para meta-análises (Higgins et al., 2003; Lau et al., 1998). Deste modo, o teste Q para meta-análises que envolvem um número pequeno de estudos pode não conseguir detetar a heterogeneidade, porém quando a meta-análise envolve um número elevado de estudos, o poder do teste será alto e pode evidenciar uma heterogeneidade entre os estudos estatisticamente significante, mas que clinicamente é irrelevante (Higgins & Thompson, 2002; Higgins et al., 2019; Higgins et al., 2003; Lau et al., 1998). Foi com base nestas limitações que foi proposto o teste do I 2 que é obtido através do teste Q (Higgins & Thompson, 2002).
O teste do I 2 pode variar de valores negativos até 100%, contudo por questões interpretativas quando o valor é negativo é igualado a 0. Para um valor de I 2 próximo a 0% assumimos não existir heterogeneidade entre os estudos (homogeneidade), próximo a 25% baixa heterogeneidade, próximo a 50% heterogeneidade moderada e próximo ou superior a 75% alta heterogeneidade (Higgins & Thompson, 2002; Higgins et al., 2019; Higgins et al., 2003). Por não ter as limitações do teste Q, o teste I 2 é recomendado como teste de heterogeneidade para julgar a consistência da evidência em revisões sistemáticas com meta-análises (Higgins et al., 2019; Higgins et al., 2003).
Como a presença de heterogeneidade tem implicações para os resultados das revisões sistemáticas, bem como para as recomendações que emanam (Guyatt et al., 2008), esta deve ser explorada e se possível minimizada ou tratada (Higgins et al., 2019; Santos & Cunha, 2013; Tufanaru et al., 2017). Para esse efeito estão descritas várias opções: Excluir estudos que apresentaram alguma ambiguidade nos critérios de inclusão (Higgins et al., 2019; Santos & Cunha, 2013); Excluir estudos que apresentaram baixa qualidade metodológica (Higgins et al., 2019; Santos & Cunha, 2013); Confirmar a introdução dos dados da meta-análise e reanalisar caso exista alguma incerteza sobre os resultados (Higgins et al., 2019; Santos & Cunha, 2013); Repetir a realização da meta-análise com recurso a diferentes modelos estatísticos (modelos de efeitos fixos ou aleatórios; Higgins et al., 2019; Tufanaru et al., 2017; Tufanaru et al., 2015); Repetir a realização da meta-análise com recurso a diferentes medidas de efeitos (quando identificamos casos de heterogeneidade estatística; Higgins et al., 2019; Santos & Cunha, 2013; Tufanaru et al., 2017; Tufanaru et al., 2015); Realizar meta-análise por subgrupos ou meta-regressão, que prevejam e confirmem as fontes da heterogeneidade. Por exemplo, as características dos participantes (diferentes proporções de idade, género, entre outras), as características das intervenções (tipo, dose, frequência, intensidade, via de administração, entre outras) e, por fim, dos outcomes/ resultados (tipo, diferentes escalas, pontos de corte, duração do follow-up, entre outras). Todos estes exemplos são representativos de fontes de heterogeneidade clínica e que são os mais facilmente controláveis. Adicionalmente podem-se realizar subgrupos tendo por base aspetos específicos de um desenho, como por exemplo, realizar uma meta-análise de ensaios clínicos por subgrupos relativamente a aspetos como a aleatorização, a ocultação, entre outros (trata-se neste caso de um exemplo de heterogeneidade metodológica; Higgins et al., 2019; Richardson et al., 2019; Santos & Cunha, 2013; Tufanaru et al., 2017; Tufanaru et al., 2015).
Modelos estatísticos da meta-análise e o impacto da sua escolha para a heterogeneidade
Para a realização de uma meta-análise existem fundamentalmente dois tipos de modelos estatísticos que podemos adotar - os modelos de efeitos fixos e os modelos de efeitos aleatórios (DerSimonian & Laird, 1986; Moayyedi, 2004; Santos & Cunha, 2013; Tufanaru et al., 2015). Os modelos de efeitos fixos pressupõem que o efeito de interesse é o mesmo em todos os estudos incluídos na meta-análise e que as diferenças observadas entre eles são devidas apenas a erros amostrais. De forma simplificada, estes modelos assumem que a variabilidade entre os estudos ocorreu apenas pelo acaso e ignoram a sua heterogeneidade (Moayyedi, 2004; Santos & Cunha, 2013). Por outro lado, e contrariamente aos modelos de efeitos fixos, os modelos de efeitos aleatórios pressupõem que o efeito de interesse não é o mesmo em todos os estudos, assumindo-se algum nível de heterogeneidade à priori. Ainda assim, e apesar dos efeitos dos estudos não serem considerados iguais, eles integram uma distribuição de probabilidade, geralmente assumida como normal (Moayyedi, 2004; Santos & Cunha, 2013). Devido a estas particularidades, os modelos de efeitos fixos geram ponderações individuais de cada estudo para a meta- -análise mais sensíveis ao tamanho amostral. Isto porque a ponderação de cada estudo é inversamente proporcional à medida de variabilidade estimada no estudo, que é anulada pelo pressuposto de inexistência de heterogeneidade. Por outro lado, os modelos de efeitos aleatórios geram ponderações individuais de estudos mais sensíveis às amostras menores o que leva em última instância a que a medida da meta-análise tenha intervalos de confiança maiores (menos precisão; DerSimonian & Laird, 1986; Moayyedi, 2004; Santos & Cunha, 2013).
A escolha destes modelos é essencial para a análise da heterogeneidade e para os resultados da meta-análise pois, na presença de heterogeneidade significativa, e conforme referido anteriormente, os modelos de efeitos aleatórios devem ser preferidos (DerSimonian & Laird, 1986; Santos & Cunha, 2013; Tufanaru et al., 2015). Por oposição, apenas tem sentido a utilização de modelos de efeitos fixos quando a heterogeneidade não existe, ou seja, quando se verifica uma verdadeira homogeneidade (Santos & Cunha, 2013; Tufanaru et al., 2015). Como se assume que existe algum grau de heterogeneidade entre os estudos, os modelos de efeitos aleatórios devem ser considerados especialmente quando existe uma intenção clara de generalização dos resultados. Tendo por base estas decisões, o JBI propôs um fluxograma de decisão (Tufanaru et al., 2015).
Opções metodológicas para explorar a heterogeneidade
Na presença de heterogeneidade significativa, como já foi referido anteriormente, os modelos de efeitos aleatórios devem ser preferidos (Tufanaru et al., 2015). Ainda assim, existem outras opções que podemos utilizar para minimizar os efeitos da heterogeneidade no valor meta-analítico, bem como as conclusões que podemos retirar. As opções metodológicas que comummente são utilizadas são as análises de sensibilidade, a meta-análise por subgrupos e a meta-regressão (Higgins et al., 2019; Santos & Cunha, 2013; Tufanaru et al., 2017).
As análises de sensibilidade procuram explorar o impacto das diferentes decisões tomadas nos resultados/ meta- -análise. Nesse sentido, este tipo de análises pode incluir explorar o impacto da utilização de diferentes modelos de meta-análise e excluir ou incluir estudos em meta-análises com base no tamanho da amostra, qualidade metodológica, ou variância. Se os resultados permanecerem consistentes entre as diferentes análises, os resultados podem ser considerados robustos. Em oposição, se os resultados diferirem entre as análises de sensibilidade, isto é uma indicação de que o resultado deve ser interpretado com cautela e/ou alvo de medidas corretivas (Higgins et al., 2019; Tufanaru et al., 2017).
Já a meta-análise por subgrupos permite tirar conclusões válidas de meta-análises de estudos heterogéneos quando estes são subagrupados e não houver heterogeneidade nos subgrupos (ou seja, os resultados dos estudos individuais dentro de cada subgrupo são semelhantes; Richardson et al., 2019). Nesse sentido, a interpretação da análise de subgrupos pode levar a conclusões informativas sobre os resultados da meta-análise que de outra maneira não seria possível. Para além disso, as análises, em alguns casos, carecem de apresentação por grupos devido ao sentido clínico. Por exemplo, pode ser necessário estimar a efetividade do tratamento para subgrupos específicos de doentes (características: género, idade, entre outras) ou mesmo da intervenção (tipo, dose, frequência, intensidade, via de administração, entre outras) (Richardson et al., 2019; Santos & Cunha, 2013).
Nas meta-análises por subgrupos podem verificar-se cinco cenários: 1) Existe efeito de subgrupo quantitativo estatisticamente significativo; 2) Existe efeito de subgrupo qualitativo estatisticamente significativo, com substancial heterogeneidade inexplicada; 3) Não existe efeito de subgrupo; 4) Não existe efeito de subgrupo, mas há heterogeneidade inexplicada; e 5) Existe efeito de subgrupo estatisticamente significativo, com uma distribuição desigual da covariância (Richardson et al., 2019).
Por fim, e se os estudos merecem um agrupamento por subgrupos, a meta-regressão pode tornar-se um complemento de exploração das fontes da heterogeneidade. A meta-regressão é uma extensão das análises de subgrupos e permite investigar o efeito de características contínuas ou categóricas, e os efeitos de múltiplos fatores. De uma forma simplificada, a meta-regressão é, essencialmente, semelhante à regressão simples, na qual uma variável de resultado/ dependente é prevista de acordo com os valores de uma ou mais variáveis explicativas. Na meta-regressão, a variável de resultado é a estimativa do efeito (por exemplo, uma diferença média, uma diferença de risco, entre outros). As variáveis explicativas são características de estudos que podem influenciar a dimensão do efeito de intervenção e são frequentemente denominadas de modificadoras potenciais de efeitos ou covariadas (Higgins et al., 2019).
Exemplo prático
Para ilustrar de forma mais objetiva os conceitos anteriormente referidos, vamos considerar um exemplo fictício de uma revisão sistemática com meta-análise que procurou avaliar a efetividade da terapia compressiva em comparação com o cuidado padrão/ standard care (sem compressão) no tratamento de úlceras de perna venosas. No processo de revisão foram incluídos 10 ensaios clínicos e todos os pressupostos metodológicos de uma revisão sistemática foram cumpridos. Note-se que estamos perante a mesma intervenção e comparador entre estudos e o outcome de interesse é a cicatrização da úlcera. Perante estas condições foi utilizado o programa RevMan 5.1.7 para a realização das meta-análises dicotómicas com recurso ao método estatístico clássico de Mantel-Haenszel.
Por desconhecermos se existe homogeneidade entre os estudos incluídos na meta-análise é recomendado assumir que o efeito entre os estudos incluídos é o mesmo até prova contrária, ou seja, utilizamos para o efeito os modelos de efeitos fixos (Higgins et al., 2019; Santos & Cunha, 2013; Tufanaru et al., 2017). A Figura 1 ilustra a meta-análise dicotómica de efeitos fixos para dados fictícios que revelou heterogeneidade elevada (I 2 = 77%).
Neste caso em particular e como nos encontramos na presença de heterogeneidade elevada é recomendado proceder à sua exploração. Na impossibilidade de assumirmos que os estudos são homogéneos, devemos utilizar os modelos de efeitos aleatórios conforme foi referido anteriormente (Figura 2).
Note-se que apesar dos níveis de heterogeneidade se manterem, os pesos individuais de cada estudo foram alterados, bem como o valor global da meta-análise adquiriu um maior intervalo de confiança.
Seguidamente podemos utilizar algumas das opções metodológicas para minimizar os efeitos da heterogeneidade, de que é caso as análises de sensibilidade ou, por exemplo, as meta-análises por subgrupos. Se optarmos pelas análises de sensibilidade é possível observar que existem dois estudos (D e I) que são responsáveis por um incremento acentuado da heterogeneidade (I 2 de 40 para 77%). Assim e caso exista um critério justificado (por exemplo, a baixa qualidade metodológica), a sua remoção traduz-se numa melhoria da heterogeneidade que passa a ser tida como moderada (Figura 3).
Outra opção metodológica que podemos utilizar são as meta-análises por subgrupos. Neste caso em particular apesar da intervenção ser a terapia compressiva, existem diferentes materiais para a administrar (ligaduras/compressão elástica e não elástica/inelástica). Este facto pode traduzir-se numa importante fonte de heterogeneidade clínica conforme já referido anteriormente, pelo que merece ser analisado (Figura 4).
A meta-análise por subgrupos revelou que existe um efeito de subgrupo estatisticamente significativo (p = 0,04) ainda que a heterogeneidade se mantenha elevada dentro de cada subgrupo (I 2 de 67 a 77%). Neste caso em particular, as meta-análise por subgrupo não parecem justificar os níveis de heterogeneidade. Contudo, os investigadores podem decidir mantê-los pelo sentido clínico.
Por fim, e para ilustrar o efeito de subgrupo quantitativo e heterogeneidade ligeira, apresentamos na Figura 5 outro exemplo de meta-análise por subgrupos (que não segue o anteriormente exposto), em que existe efeito de subgrupo significativo (p < 0.00001) mas que justificou os níveis de heterogeneidade dentro de cada subgrupo (I 2 de 0 a 34%).
Neste caso, a heterogeneidade elevada passou a não se verificar para o subgrupo da compressão inelástica (I 2 = 0%) e passou a ser ligeira para o subgrupo da compressão elástica (I 2 = 34%).
Conclusão
Este artigo apresenta o conceito de heterogeneidade em meta-análise, apontando diversas opções metodológicas que a permitem explorar, nomeadamente as análises de sensibilidade, a meta-análise por subgrupos e a meta-regressão, embora a última não seja abordada em pormenor.
A exploração da heterogeneidade de uma meta-análise assume-se como um passo imprescindível porque permite melhorar a homogeneidade e subsequente qualidade da revisão sistemática (meta-análise), aperfeiçoando a consistência dos seus resultados e, consequentemente, a força das suas recomendações.
Em conclusão, podemos afirmar que ao explorar e tratar a heterogeneidade os investigadores obtêm informações muito relevantes para a prática clínica, ao invés de se cingirem exclusivamente e quase que cegamente ao valor global de meta-análise ou dos resultados dos estudos individuais. Em particular, a utilização de meta-análises por subgrupos é muito interessante pois permite melhorar práticas especificas para grupos específicos.