ARTIGO TEÓRICO/ENSAIO

 

Como Realizar e Interpretar uma Meta-Análise em Rede para Comparações Indiretas e Mistas: Estratégias Metodológicas Fundamentais

How to Perform and Interpret a Network Meta-Analysis for Indirect and Mixed Comparisons: Key Methodological Strategies

Cómo Realizar e Interpretar una Meta-Análisis en Red para Comparaciones Indirectas y Mixtas: Estrategias Metodológicas Fundamentales

 

Eduardo José Ferreira dos Santos*; Ricardo Jorge Oliveira Ferreira**; Andréa Ascenção Marques***

* Msc., Investigador Associado do Portugal Centre for Evidence Based Practice: a Collaborating Centre of the Joanna Briggs Institute. Enfermeiro, Centro Hospitalar e Universitário de Coimbra, EPE - Serviço de Urgência, Pólo HUC, 3000-075, Coimbra, Portugal [ejf.santos87@gmail.com]. Contribuição no artigo: pesquisa bibliográfica; elaboração do exemplo prático e das tabelas; análise bibliográfica e discussão. Morada para correspondência: Unidade de Investigação em Ciências da Saúde: Enfermagem, Avenida Bissaya Barreto. Apartado 7001, 3046-851 Coimbra, Coimbra Portugal.

** Msc., Enfermeiro, Centro Hospitalar e Universitário de Coimbra, EPE - Serviço de Reumatologia, Pólo HUC, 3000-075, Coimbra, Portugal [rferreira@reumahuc.org]. Contribuição no artigo: elaboração das tabelas; análise bibliográfica e discussão; escrita do artigo

*** Msc., Enfermeiro, Centro Hospitalar e Universitário de Coimbra, EPE - Serviço de Reumatologia, Pólo HUC, 3000-075, Coimbra, Portugal [amarques@reumahuc.org]. Contribuição no artigo: análise bibliográfica e discussão; escrita do artigo.

 

RESUMO

Enquadramento: Tradicionalmente as técnicas de meta-análise serviram para avaliar a eficácia e segurança de um tratamento através da comparação direta com um único comparador. Mais recentemente, as meta-análises em rede permitiram estabelecer comparações de múltiplas intervenções e incorporar evidência clínica de comparações diretas e indiretas. Pela atualidade do tema consideramos pertinente divulgar as suas principais considerações metodológicas.

Objetivos: Demonstrar como se realiza e interpreta uma meta-análise em rede para comparações indiretas e mistas.

Principais tópicos em análise: São apresentados alguns conceitos fundamentais relativos à meta-análise em rede para comparações indiretas e mistas e os pressupostos da sua aplicação. Apontamos alguns dos desafios metodológicos e oportunidades de aplicação desta técnica estatística, resultantes da análise teórica e metodológica de artigos publicados nos últimos 5 anos.

Conclusões: A introdução das comparações indiretas e das comparações mistas, que permitem aumentar o poder estatístico, apresentam-se como contributos indispensáveis para as atuais técnicas de meta-análise, permitindo aos investigadores incrementar o processo de síntese da melhor evidência disponível e aos profissionais de saúde a sua aplicação.

Palavras-chave: metanálise; literatura de revisão como assunto; métodos epidemiológicos; prática clínica baseada em evidências

 

ABSTRACT

Background: Meta-analysis techniques were traditionally used to assess the effectiveness and safety of a treatment through direct comparison with a single comparator. More recently, network meta-analyses allowed the comparison of multiple interventions and the incorporation of clinical evidence of direct and indirect comparisons. We consider it relevant to address the main methodological considerations on this theme because of its topicality.

Objectives: To demonstrate how to perform and interpret a network meta-analysis for indirect and mixed comparisons.

Main topics under analysis: We present some key concepts of a network meta-analysis for indirect and mixed comparisons and the assumptions for its application. We point out some of the methodological challenges and opportunities for application of this statistical technique resulting from the theoretical and methodological analysis of articles published in the last 5 years.

Conclusions: The use of indirect and mixed comparisons to increase the statistical power is an essential contribution to the current meta- -analysis techniques, allowing researchers to improve the process of synthesis and health professionals to apply the best available evidence.

Keywords: meta-analysis; review literature as topic; epidemiologic methods; evidence-based practice

 

RESUMEN

Marco contextual: Tradicionalmente las técnicas de metaanálisis sirvieron para evaluar la eficacia y seguridad de un tratamiento a través de la comparación directa con un único comparador. Más recientemente, las técnicas de metaanálisis en red permitieron comparar múltiples intervenciones e incorporar una prueba clínica de comparaciones directas e indirectas. Debido a su innovación, consideramos relevante divulgar sus principales consideraciones metodológicas.

Objetivos: Demostrar cómo se realiza e interpreta un metaanálisis en red para comparaciones indirectas y mixtas.

Principales temas en análisis: Se presentan algunos conceptos fundamentales relacionados con el metaanálisis en red para comparaciones indirectas y mixtas y los presupuestos de su aplicación. Asimismo, se señalan algunos de los desafíos metodológicos y de las oportunidades de aplicación de esta técnica estadística, que resultan del análisis teórico y metodológico de los artículos publicados en los últimos cinco años.

Conclusiones: La introducción de las comparaciones indirectas y las comparaciones mixtas, que permiten aumentar el poder estadístico, se presentan como contribuciones indispensables para las técnicas de metaanálisis actuales, lo que permite, a los investigadores, incrementar el proceso de síntesis de la mejor prueba disponible y, a los profesionales de la salud, su aplicación.

Palabras clave: metanálisis; literatura de revisión como asunto; métodos epidemiológicos; práctica clínica basada en la evidencia

 

Introdução

As revisões sistemáticas utilizam métodos pré-especificados e explícitos para identificar, avaliar e sintetizar toda a evidência disponível com o objetivo de dar resposta a uma questão clínica (The Joanna Briggs Institute [JBI], 2012; Santos & Cunha, 2013; JBI, 2014a). Quando os resultados dos estudos primários assim o permitem, as revisões sistemáticas podem incluir uma meta-análise, ou seja, uma análise estatística que permite combinar os resultados de dois ou mais estudos separados (Rodrigues & Ziegelmann, 2010; Li, Puhan, Vedula, Singh, & Dickersin, 2011; JBI, 2012; Santos & Cunha, 2013; JBI, 2014a). Durante décadas, as revisões sistemáticas apenas compararam duas intervenções (B versus [vs] A) provavelmente devido à escassez de informações reportadas nos estudos primários (Catalá-López & Tobías, 2013). Estas revisões possibilitam apenas a realização de meta-análises simples, com comparação de eficácia/segurança de pares de intervenções disponíveis para uma determinada condição (Li et al., 2011).

Nos últimos anos, foram desenvolvidos novos métodos analíticos que fornecem estimativas do efeito relativo (eficácia ou segurança comparativa) de vários tratamentos através de comparações indiretas, tendo em conta a rede completa dos estudos disponíveis (Li et al., 2011). Neste sentido, a meta-análise em rede, no contexto de uma revisão sistemática, refere-se a uma meta-análise em que três ou mais tratamentos são comparados usando quer as comparações diretas das intervenções de um estudo randomizado e controlado (RCT), quer as comparações indiretas entre RCTs que usem um comparador comum. Estas meta-análises são comumente designadas na literatura por network meta-analysis, multiple-treatments meta-analysis (MTM) ou mixed treatment comparisons meta-analysis (MTC; Higgins & Green, 2011; Li et al., 2011; Catalá-López & Tobías, 2013; Tobías, Catalá-López, & Roqué, 2014).

Neste artigo são apresentados alguns conceitos fundamentais inerentes à realização e interpretação de uma meta-análise em rede para comparações indiretas e mistas. Para tal, resumimos os seus desafios metodológicos e oportunidades de aplicação decorrentes da análise teórica e metodológica de artigos da área, publicados nos últimos cinco anos. Iremos abordar especificamente a geometria das redes de evidência, as condições de aplicação – princípios da transitividade e da consistência – e apresentar um exemplo de aplicação do método e sua interpretação.

Assim, o objetivo deste artigo é demonstrar como se realiza e interpreta uma meta-análise em rede para comparações indiretas e mistas, discutindo os potenciais benefícios da sua aplicação na área da saúde.

 

Desenvolvimento

Apesar de as meta-análises em rede serem mais complexas e poderem ser percebidas como mais propensas a erros de interpretação do que as tradicionais (Jansen & Naci, 2013), ambas possuem pressupostos que sendo cumpridos lhe conferem validade. Tanto numa como noutra metodologia é essencial, entre outros aspetos, respeitar a questão da revisão, especificar os critérios de elegibilidade, selecionar e localizar os estudos corretamente, bem como avaliar o risco de viés e qualidade dos estudos (Li et al., 2011; Mills et al., 2012). Adicionalmente, não podemos deixar de referir que apesar de as meta-análises serem estudos secundários podem levantar dúvidas no cumprimento dos princípios éticos e legais em particular na exatidão e adequação das conclusões estabelecidas (Li et al., 2011).

A aplicação mais simples de uma meta-análise em rede para comparações indiretas e mistas é na determinação de quanto o tratamento B é melhor do que A, e de quanto o tratamento C é melhor do que o mesmo comparador A, não existindo estudos que comparem diretamente B e C (Tobías et al., 2014; Figura 1A). Assim, existem vários métodos estatísticos para a realização de comparações indiretas que podem combinar os dados dos estudos preliminares quando estes são limitados ou simplesmente inexistentes (Figura 1B), tais como: O método de Bucher (Bucher, Guyatt, Griffith, & Walter,1997) também designado método das comparações indiretas ajustadas; a meta-regressão (abordagens inferenciais bayesianas e frequencistas); e os modelos hierárquicos bayesianos com base em redes de Markov Monte Carlo (Catalá-López & Tobías, 2013; Tobías et al., 2014). Neste trabalho demonstraremos apenas o Bucher pela sua relativa simplicidade e por ser o mais utilizado na comunidade científica (Catalá-López & Tobías, 2013; Tobías et al., 2014).

As comparações mistas podem combinar as estimativas de comparações diretas e indiretas, aumentando o poder estatístico (reduzindo o seu intervalo de confiança e aumentando a precisão; Catalá-López & Tobías, 2013; Tobías et al., 2014). Note-se, porém, que esta metodologia mantém a identidade de cada intervenção e só pode ser realizada quando estas são similares entre os estudos primários (Higgins & Green, 2011).

É também um facto que as meta-análises em rede são particularmente adequadas como abordagem às principais limitações das revisões sistemáticas de revisões, também designadas na literatura por overviews of reviews (Higgins & Green, 2011) ou umbrella reviews (JBI, 2014b). No entanto, também estas pressupõem que os estudos de diferentes comparações sejam semelhantes (Higgins & Green, 2011; Santos & Cunha, 2013). As comparações indiretas não são comparações randomizadas, pelo que não devem ser interpretadas como tal. São essencialmente resultado das observações provenientes de todos os ensaios, podendo sofrer os vieses característicos dos estudos observacionais (Fronteira, 2013).

Em situações em que as comparações diretas e indiretas podem ser realizadas, qualquer utilização de comparações indiretas deve ser complementar, e não substituir, as comparações diretas. A menos que existam limitações importantes nos RCTs, as duas abordagens devem ser consideradas separadamente e as comparações diretas devem prevalecer como base para a formação de conclusões (Catalá-López & Tobías, 2013; Tobías et al., 2014). Neste processo torna-se clara a pertinência da existência na equipa de revisores de um revisor expert em estatística de estudos secundários e predominantemente de meta-análise (Santos & Cunha, 2013).

Em termos de programas estatísticos para executar meta-análises em rede, estão atualmente disponíveis diversos programas do tipo comercial (com copyright), de que são exemplo o STATA e o SAS; ou de domínio público, como é o caso do OpenBUGS, do WinBUGS, o R (Neupane, Richer, Bonner, Kibret, & Beyene, 2014) ou a folha de Excel criada por Tobías et al. (2014).

Geometria das Redes de Evidência

As redes de evidência demonstram a representação de como cada tratamento é comparado entre si. Deste modo, cada linha conecta dois ou mais tratamentos e a sua presença indica que foi realizada uma comparação direta em pelo menos um estudo (Catalá-López & Tobías, 2013; Jansen & Naci, 2013; Catalá-López, Tobías, Cameron, Moher, & Hutton, 2014).

A figura 1C demonstra vários exemplos de geometria de redes. As redes mais simples são as comparações em pares (figura 1C i). As redes em estrela (figura 1C ii) e em cadeia (figura 1C iii) são as que permitem estabelecer comparações indiretas entre os tratamentos (Catalá-López & Tobías, 2013; Jansen & Naci, 2013; Catalá-López et al., 2014). Um exemplo clássico da rede em estrela é o de vários RCTs que têm um comparador comum (por exemplo um placebo). Podemos por isso, utilizando este exemplo, estabelecer comparações indiretas para A-C, C-D e A-D (Figura 1C ii). De salientar que existem modelos de rede mais complexos (Figura 1C iv) e que exigem a utilização de modelos de regressão também eles mais complexos.

Comparações Indiretas e Mistas

No âmbito da realização de uma revisão sistemática com meta-análise com comparações diretas que procura comparar a eficácia (medida do efeito θ) de um tratamento B em relação ao A (θ_{AB direta}) e de outro tratamento C com o mesmo comparador A (θ_{AC direta}), e na ausência de estudos que comparem diretamente B e C, é possível, nomeadamente através do método de Bucher, estabelecer uma comparação indireta e obter uma estimativa da medida do efeito entre B e C (θ_{BC indireta}), denominada de comparação indireta ajustada (Bucher et al.,1997; Hoaglin et al., 2011; Miladinovic, Hozo, Chaimani, & Djulbegovic, 2014; Tobías et al., 2014). Este método é descrito na Figura 2A.

Adicionalmente, mesmo quando os estudos apresentam também comparações diretas entre B e C, é ainda possível combinar as comparações direta (θ_{BC direta}) e indireta (θ_{BC indireta}), obtendo uma comparação mista (θ_{BC mista}; Figura 2B). Esta comparação mista, possível através do cálculo do inverso das suas variâncias, irá melhorar a precisão das estimativas dos efeitos dos tratamentos (Bucher et al.,1997; Hoaglin et al., 2011; Miladinovic et al., 2014; Tobías et al., 2014).

Condições de Aplicação: Princípios da Transitividade e da Consistência

A transitividade é uma propriedade obrigatória (Madan et al., 2011; Higgins et al., 2012; Catalá-López & Tobías, 2013) que pressupõe que os estudos que comparam A e C não tenham relação com B e que os estudos que comparam A e B não tenham relação com C, considerando-se que a comparação B e C não existe. Interpretativamente, podemos afirmar que se o tratamento B é hipoteticamente melhor que A e se A é melhor do que C, então pode-se assumir que B é melhor que C (Catalá-López & Tobías, 2013; Catalá-López et al., 2014; Tobías et al., 2014).

Por se tratar de uma análise observacional não devem existir diferenças em relação à distribuição dos fatores modificadores do efeito entre os estudos considerados, designadamente relativos aos participantes (idade, comorbilidades…), à intervenção (forma de administração, posologia, follow-up…), ao comparador ou ao outcome (Santos & Cunha, 2013; Tobías et al., 2014).

Para além da transitividade é imperativo que exista concordância entre a evidência proveniente das comparações diretas e indiretas. Esta propriedade é definida como consistência e procura atestar que θ_{BC direta} é igual ou semelhante a θ_{BC indireta}. Um dos métodos utilizados para quantificar esta relação é através do designado fator de inconsistência (FI= θ_{BC direta} – θ_{BC indireta}), ao qual é atribuído uma prova Z e intervalos de confiança para verificar se existe significância estatística na hipótese nula de consistência (FI=0; Bucher et al., 1997; Higgins et al., 2012; Catalá-López & Tobías, 2013; Tobías et al., 2014).

Apesar destas propriedades (transitividade e consistência) constituírem condições obrigatórias para a realização de comparações indiretas e meta-análises em rede não se pode deixar de reforçar que, quando se realiza síntese da evidência, é fundamental avaliar a heterogeneidade entre os estudos incluídos (variabilidade ou diferença entre estudos em relação à estimativa de efeitos) que pode ser de três tipos: a heterogeneidade estatística (variação entre os resultados dos estudos que provoca a existência de diferenças nos resultados), a heterogeneidade metodológica (diferenças nos desenhos dos estudos incluídos) e a heterogeneidade clínica (diferenças entre as características dos estudos; JBI, 2012; Santos & Cunha, 2013; JBI, 2014a).

Para determinar a existência de heterogeneidade podemos recorrer ao teste Q de Cochran e à estatística I² de Higgins e Thompson (Higgins & Green, 2011). O teste Q assume que os achados dos estudos primários são iguais – hipótese nula – e se esta for confirmada, os estudos são considerados homogéneos (p>0,05; Rodrigues & Ziegelmann, 2010; Higgins & Green, 2011; Santos & Cunha, 2013). A estatística I² varia entre valores negativos até 100%: Um valor de I² próximo a 0% indica não existir heterogeneidade, próximo a 25% indica baixa heterogeneidade, próximo a 50% indica heterogeneidade moderada e próximo a 75% indica alta heterogeneidade (Rodrigues & Ziegelmann, 2010; Higgins & Green, 2011; Santos & Cunha, 2013).

Exemplo Prático

Para ilustrar de forma mais clara e objetiva os conceitos anteriormente expostos, vamos considerar um exemplo fictício de uma revisão sistemática com meta-análise que procurou avaliar a eficácia de medicamentos biológicos (ou biofármacos) no tratamento da artrite reumatóide, comparando particularmente o Adalimumab e Certolizumab. No processo de revisão foram selecionados quatro RCTs que comparam a eficácia do Adalimumab com placebo (RR=0,88; IC 95%=0,60-1,1) e sete RCTs que comparam a eficácia do Certolizumab também com placebo (RR=1,2; IC 95%=0,71-1,77), não se encontrando estudos primários que comparem diretamente a eficácia do Adalimumab com o Certolizumab. Note-se que estamos perante o mesmo comparador e intervenção (forma de administração, posologia, follow-up…), que a comparação B vs A é relativa ao Adalimumab vs placebo e que a comparação C vs A é relativa ao Certolizumab vs placebo. De salientar que previamente ao processo que iremos exemplificar, os investigadores devem primeiramente calcular as meta-análises das comparações diretas com recurso a programas estatísticos que o permitam (por exemplo: o RevMan, o MASTARi-JBI, o STATA, entre outros).

Perante estas condições podemos assumir o cumprimento do princípio da transitividade e calcular a comparação indireta entre os dois tratamentos (Adalimumab vs Certolizumab).

Usaremos neste exemplo a folha de Excel criada por Tobías et al. (2014) que pode ser acedida em http://metaanalisisenred.weebly.com/excel.html ou em http://www.cochrane.es/?q=es/elaborar_RS.

Ao abrir a folha de cálculo (Figura 3) os investigadores devem escolher a medida do efeito que adotaram para o cálculo das comparações diretas, que no nosso caso é o risco relativo (RR) na coluna dos outcomes binários.

 

 

Seguidamente os investigadores devem introduzir manualmente os dados (risco relativo e respetivos intervalos de confiança) relativos às comparações diretas anteriormente referidas (B vs A e C vs A) o que automaticamente nos calcula a comparação indireta (Figura 4).

 

 

Os resultados da comparação indireta mostram as duas possibilidades de comparações (B vs C e C vs B). A primeira comparação (Adalimumab vs Certolizumab) apresenta um risco relativo 0,36 pontos acima de 1 (RR=1,36; IC 95%=0,79-2,36) e a segunda – inversa – apresenta um risco relativo 0,27 pontos abaixo de 1 (RR=0,73; IC 95%=0,42-1,27). Podemos, ainda, verificar que em nenhuma das comparações existe diferença estatisticamente significativa (z=1,11; p=0,2674), o que desde logo era possível identificar pelo facto de os intervalos de confiança (IC 95%) incluírem o valor 1 entre o seu limite inferior e superior.

Ainda no mesmo exemplo, mas assumindo agora que no processo de revisão foram incluídos três RCTs que comparavam diretamente a eficácia do Adalimumab com o Certolizumab (supondo RR=0,81; IC 95%=0,51-1,21), podemos recorrer às comparações mistas, para melhorar a precisão dos resultados. Neste sentido, devemos introduzir manualmente os dados (RR e respetivos IC 95%) relativos às comparações diretas e indiretas, o que automaticamente calcula a comparação mista (Figura 5). Sobre este procedimento, os investigadores devem prestar particular atenção ao sentido das comparações que são introduzidas, respeitando a ordem do tratamento e o tratamento que é usado como comparador, para não incorrerem em erros estatísticos.

 

 

Os resultados obtidos através da comparação mista geram nova evidência e permitem encurtar os intervalos de confiança (melhorando a precisão). Analisando os resultados (Figura 5), verifica-se que existe menor risco em relação à comparação direta em utentes tratados com Adalimumab vs Certolizumab (RR=0,78; IC 95%=0,55-1,09), embora não atinja a significância estatística (p>0,05; z=-1,44; p=0,1499). Teríamos ainda de apreciar criticamente o fator de inconsistência que também é calculado automaticamente pela folha de cálculo (FI=1,11; IC 95%=0,55-2,24). O resultado indica que não podemos rejeitar a hipótese nula (H₀ – As comparações são inconsistentes), por não existirem diferenças estatisticamente significativas (z=0,29; p= 0,7715). Assim, podemos assumir que a comparação mista é consistente (princípio da consistência preservado).

 

Conclusão

Este artigo descreve os aspetos básicos inerentes às metodologias de comparações indiretas através do método de Bucher e das comparações mistas. Existem ainda outros métodos estatísticos a ter em consideração que não foram abordadas ao longo deste trabalho por motivos editoriais, como a meta- -regressão e a meta-análise multivariada. Para estes é necessário recorrer a programas estatísticos mais avançados (por exemplo o Stata ou o R).

As meta-análises em rede apresentam potencial relevância porque permitem dar informações em situações nas quais a evidência primária é escassa ou inexistente e permitem proporcionar estimativas de efeito mais precisas.

Embora sejam apontadas na literatura algumas limitações a esta metodologia, nomeadamente as relacionadas com o poder de efeito da estimativa estatística calculada (infra ou supra estimada) ou o facto de ser facilmente potenciadora de enviesamentos (devido à pluralidade de métodos e interpretações existentes), foram identificados um conjunto de condições, princípios e procedimentos cujo cumprimento auxilia a colmatar estas limitações, facultando resultados válidos e replicáveis.

Em conclusão, podemos afirmar que as comparações indiretas e mistas se impõem como acréscimos muito valiosos às atuais técnicas de meta-análise, permitindo incrementar o processo de síntese da melhor evidência disponível e auxiliar a tomada de decisões.

 

Referências bibliográficas

Bucher, H. C., Guyatt, G. H., Griffith, L. E., & Walter, S. D. (1997). The results of direct and indirect treatment comparisons in meta-analysis of randomized controlled trials. Journal of Clinical Epidemiology, 50, 683-691. doi:10.1016/S0895-4356(97)00049-8        [ Links ]

Catalá-López, F., & Tobías, A. (2013). Síntesis de la evidencia clínica y metaanálisis en red con comparaciones indirectas. Medicina Clinica, 140(4), 182-187. doi: 10.1016/j.medcli.2012.09.013        [ Links ]

Catalá-López, F., Tobías, A., Cameron, C., Moher, D., & Hutton, B. (2014). Network meta-analysis for comparing treatment effects of multiple interventions: An introduction. Rheumatology International, 34(11), 1489-1496. doi: 10.1007/s00296-014-2994-2        [ Links ]

Fronteira, I. (2013). Observational studies in the era of evidence based medicine: Short review on their relevance, taxonomy and designs. Acta Medica Portuguesa, 26(2), 161-70. Recuperado de http://www.actamedicaportuguesa.com/revista/index.php/amp/article/view/3975/3223        [ Links ]

Higgins, J. P. T., & Green, S. (2011). Cochrane handbook for systematic reviews of interventions. London, England: The Cochrane Collaboration.         [ Links ]

Higgins, J. P.,Jackson, D., Barrett, J. K., Lu, G., Ades, A. E., & White, I. R. (2012). Consistency and inconsistency in network meta-analysis: Concepts and models for multi-arm studies. Research Synthetesis Methods, 3, 98–110. doi: 10.1002/jrsm.1044        [ Links ]

Hoaglin, D. C., Hawkins, N., Jansen, J. P., Scott, D. A., Itzler, R., Cappelleri, J. C., ... Barrett, A. (2011). Conducting indirect-treatment-comparison and network-meta-analysis studies: Report of the ISPOR task force on indirect treatment comparisons good research practices: Part 2. Value in Health, 14(4), 429-437. doi:10.1016/j.jval.2011.01.011        [ Links ]

Jansen, J. P., & Naci, H. (2013). Is network meta-analysis as valid as standard pairwise meta-analysis?: It all depends on the distribution of effect modifiers. BMC Medicine, 11, 159. doi: 10.1186/1741-7015-11-159        [ Links ]

Li, T., Puhan, M. A., Vedula, S. S., Singh, S., & Dickersin, K. (2011). Network meta-analysis-highly attractive but more methodological research is needed. BMC Medicine, 9, 79. doi: 10.1186/1741-7015-9-79        [ Links ]

Madan, J., Stevenson, M. D., Cooper, K. L., Ades, A. E., Whyte, S., & Akehurst, R. (2011). Consistency between direct and indirect trial evidence: Is direct evidence always more reliable?. Value Health, 14(6), 953-960. doi: 10.1016/j.jval.2011.05.042        [ Links ]

Miladinovic, B., Hozo, I., Chaimani, A., & Djulbegovic, B. (2014). Indirect treatment comparison. Stata Journal, 14(1), 76-86.         [ Links ]

Mills, E. J., Ioannidis, J. P., Thorlund, K., Schunemann, H. J., Puhan, M. A., & Guyatt, G. H. (2012). How to use an article reporting a multiple treatment comparison meta-analysis. JAMA, 308(12), 1246-1253. doi:10.1001/2012.jama.11228        [ Links ]

Neupane, B., Richer, D., Bonner, A. J., Kibret, T., & Beyene, J. (2014). Network meta-analysis using r: A review of currently available automated packages. Plos One, 9(12), 1-17. doi:10.1371/journal.pone.0115065        [ Links ]

Rodrigues, C., & Ziegelmann, P. (2010). Metanálise: Um guia prático. Revista HCPA, 30(4), 435-446. Recuperado de http://hdl.handle.net/10183/24862        [ Links ]

Santos, E., & Cunha, M. (2013). Interpretação crítica dos resultados estatísticos de uma meta-análise: Estratégias metodológicas. Millenium, 44, 85-98. Recuperado de http://www.ipv.pt/millenium/Millenium44/7.pdf        [ Links ]

The Joanna Briggs Institute. (2012). User manual: Version 5.0 system for the unified management, assessment and review of information. Recuperado de http://joannabriggs.org/assets/docs/sumari/SUMARI-V5-User-guide.pdf        [ Links ]

The Joanna Briggs Institute. (2014a). Joanna Briggs Institute reviewers' manual: 2014 edition. Australia: Author. Recuperado de http://joannabriggs.org/assets/docs/sumari/reviewersmanual-2014.pdf

The Joanna Briggs Institute. (2014b). Joanna Briggs Institute reviewers' manual: 2014 edition/supplement. Australia: Author. Recuperado de http://joannabriggs.org/assets/docs/sumari/ReviewersManual-Methodology-JBI_Umbrella%20Reviews-2014.pdf

Tobías, A., Catalá-López, F., & Roqué, M. (2014). Desarrollo de una hoja excel para metaanálisis de comparaciones indirectas y mixtas. Revista Espanhola de Salud Pública, 88(1), 5-15. Recuperado de http://scielo.isciii.es/scielo.php?pid=S1135-57272014000100002&script=sci_arttext        [ Links ]

 

Agradecimentos

Os autores agradecem à Enfermeira Daniela Cardoso e à Enfermeira Mayra Santos pela revisão crítica do artigo e pelos comentários construtivos.

 

Recebido para publicação em: 14.09.15

Aceite para publicação em: 30.11.15