Systematic review in psychology: Challenges and guidelines

Cláudia Camilo¹, Margarida Vaz Garrido¹

¹ISCTE – Instituto Universitário de Lisboa, CIS-IUL, Lisboa, Portugal

Correspondência

RESUMO

Nas últimas décadas, a comunidade científica tem assistido a um incremento exponencial na divulgação de ciência, com novas revistas lançadas anualmente e milhares de trabalhos de pesquisa publicados em vários domínios científicos entre os quais a Psicologia. No entanto, se por um lado é através da acumulação de conhecimento que a ciência avança, por outro, esse conhecimento deve ser integrado no sentido de informar a investigação, a prática e os decisores políticos.

As revisões sistemáticas da literatura constituem um valioso método para dar sentido a grandes corpos de informação sobre um determinado tópico, sumariar a investigação acumulada e avaliar a robustez dos seus resultados. Assim, e atendendo à importância que as revisões sistemáticas de literatura têm na acumulação e divulgação do conhecimento, é importante que sejam conduzidas através de métodos estruturados que permitam identificar, sintetizar e avaliar todos os estudos relevantes para responder a uma pergunta específica.

Neste artigo apresentam-se diferentes perspetivas e orientações sobre a condução de uma revisão sistemática da literatura no domínio da Psicologia, discutem-se os desafios associados a este método e procura-se facilitar cada etapa da condução da revisão sistemática através da apresentação de instrumentos e procedimentos recomendados na literatura. ]]>

Palavras-chave: Revisão sistemática de literatura, Síntese de resultados de investigação, Acumulação de conhecimento.

ABSTRACT

In the last decades, the scientific community has been observing an exponential increase in the dissemination of science, with new journals launched annually and thousands of research papers published in various scientific domains including Psychology. However, if on the one hand it is through the accumulation of knowledge that science advances, on the other hand, this knowledge must be integrated to inform research, practice and policy makers.

Systematic literature reviews are a valuable method for making sense of large bodies of information on a particular topic, summarizing accumulated research, and assessing the robustness of their findings. Thus, and given the importance that systematic literature reviews have in the accumulation and dissemination of knowledge, it is important that they are conducted through structured methods that allow the identification, synthesis and evaluation of all relevant studies to answer a specific question.

This article presents different perspectives and guidelines on conducting a systematic literature review in the field of Psychology, discusses the challenges associated with this method, and seeks to facilitate each step of conducting the systematic review through the presentation of instruments and recommended procedures in the literature.

Key words: Systematic literature review, Synthesis of research outcomes, Accumulation of knowledge.

Like the artisans who construct a building from blueprints, bricks, and mortar, scientists contribute to a common edifice, called knowledge.

Face ao crescimento do conhecimento científico e à multiplicidade de equipas de investigadores que trabalham sobre um mesmo tópico, facilmente nos deparamos com diversos estudos sobre um mesmo fenómeno, seja porque os investigadores não sabem o que está a ser feito por outras equipas, porque têm dúvidas acerca de estudos anteriores ou porque desejam tornar mais robustos esses resultados (Cooper & Hedges, 2009). A integração do conhecimento constitui-se assim como uma das mais importantes tarefas atuais do investigador, permitindo identificar padrões e ligações entre dados empíricos de diferentes estudos e discutir questões teóricas que ultrapassam o foco de discussão dos resultados reportados separadamente em estudos individuais (Cooper & Hegdes, 2009; Ferreira & Santos, 2016). Assim, a revisão de literatura apresenta-se como um contributo na avaliação do estado da arte em determinado tópico, sustentando de forma mais robusta a explicação dos fenómenos, e permitindo desenhar futuras investigações.

Especificamente na área da Psicologia, a American Psychological Association (APA) na 6ª edição do Manual de Normas de Publicação (2010) refere que as revisões de literatura deverão contribuir para a definição e clarificação de um problema, síntese de resultados de investigação, identificação de relações, contradições, lacunas e inconsistências na investigação conduzida, e sugestão de novas hipóteses de investigação.

Atendendo à exigência da elaboração de uma revisão, a síntese do conhecimento passou a ser considerada nas últimas décadas um processo sistemático, e não um processo narrativo e subjetivo como anteriormente era encarado (Cooper, 2003). Entre outras formas de integração do conhecimento (Ribeiro, 2014), a revisão sistemática de literatura destaca-se pelo rigor científico e metodológico, especificamente ancorado em procedimentos estandardizados (e.g., The Cochrane Collaboration, Higgins & Green, 2011; PRISMA, Liberati et al., 2009) que diminuem o risco de enviesamento dos resultados apresentados e permitem a replicação futura destas revisões, integrando nova investigação entretanto realizada.

O presente artigo tem por objetivo apresentar e discutir as várias orientações que existem sobre este método, identificando desafios específicos na condução de estudos de revisão sistemática de literatura com particular ênfase no domínio da Psicologia. Apoiados na literatura específica sobre o tema, numa primeira parte apresentamos uma breve descrição da natureza e objetivos de uma revisão sistemática de literatura e, posteriormente, descrevemos as etapas da revisão sistemática, identificando potenciais desafios e limitações associados a cada uma delas bem como instrumentos e procedimentos que os permitem minimizar.

Revisão sistemática: Características e objetivos

Com tradição nas ciências médicas (e.g., The Cochrane Collaboration), a revisão sistemática da literatura é hoje adotada por inúmeras disciplinas, especificamente a Psicologia, seja como um produto de investigação em si mesmo, seja como forma de sistematização, atualização e avaliação do conhecimento sobre determinado tópico, ou ainda para informar a prática profissional dos Psicólogos através do desenvolvimento de diretrizes para a intervenção (Cronin, Ryan, & Coughlan, 2008).

Já na década de 70, Garvey e Griffith (1971) deram conta do aumento significativo da produção científica em Psicologia, chamando a atenção para a dificuldade da classe profissional assimilar a numerosa informação científica publicada. De acordo com o relatório de 2017 da American Psychological Association sobre as publicações nas suas bases de dados, só neste ano foram publicados na PsycINFO mais de 200 mil artigos, perfazendo um total de mais de 4 milhões de publicações acumuladas (https://www.apa.org/about/governance/bdcmte/2017-report-pcb.aspx). É neste contexto que os métodos de revisão de literatura sistemáticos e rigorosos começam a ganhar popularidade e deixam gradualmente de ser exclusivos das ciências médicas. Especificamente no domínio da Psicologia, surgem inclusive editoriais de revistas de referência como a Psychological Bulletin (Cooper, 2003) a incentivar à submissão deste tipo de investigação.

A revisão sistemática de literatura carateriza-se assim pela utilização de critérios explícitos, rigorosos e transparentes que permitem identificar, sintetizar e avaliar criticamente toda a literatura sobre um tópico específico para responder a uma questão de investigação (Cronin, Ryan, & Coughlan, 2008; Higgins & Green, 2011), permitindo assim a avaliação da exaustividade da síntese e a sua replicação (Atkinson, Koenka, Sanchez, Moshontz, & Cooper, 2015). Higgins e Green (2011), no Cochrane Handbook for Systematic Reviews of Interventions, identificam como principais características de uma revisão sistemática as seguintes: (a) tem objetivos claramente delineados, com critérios de elegibilidade pré-definidos para a integração dos estudos; (b) apresenta uma metodologia clara e passível de ser reproduzida; (c) conduz uma pesquisa de literatura sistemática no sentido de identificar o máximo possível de estudos elegíveis; (d) realiza uma avaliação da validade dos resultados dos estudos incluídos; (e) apresenta uma síntese sistemática das caraterísticas e resultados dos estudos incluídos.

A revisão sistemática da literatura distingue-se também de outro tipo de revisão que utiliza também métodos sistemáticos, mas que é mais abrangente na sua questão de investigação – a designada revisão scoping. Este tipo de revisão assume um caráter mais exploratório do que a revisão sistemática, procurando mapear conceitos-chave, tipos de evidências e lacunas na investigação, selecionando e sintetizando sistematicamente o conhecimento existente (Colquhoun et al., 2014), ultrapassando assim algumas das limitações da revisão narrativa.

A qualidade acrescida da revisão sistemática é conferida através da transparência, de uma maior amplitude de pesquisa, maior objetividade e redução do viés implícito do investigador, e uma análise crítica mais alargada sobre a qualidade da evidência. Todavia, dada a complexidade e rigor deste tipo de processo, os recursos necessários (uma equipa em vez de um investigador) e o tempo para conduzir uma revisão sistemática (dependendo do número de estudos que são identificados nas primeiras fases do processo de pesquisa) difere, e muito, de uma revisão tradicional (Mallett et al., 2012).

A título de exemplo, a Figura 1 ilustra dois excertos do resumo de duas revisões diferentes. Enquanto o resumo da revisão narrativa ou tradicional (excerto A) não explicita o método de revisão, o resumo da revisão sistemática (excerto B) demonstra a clareza esperada em relação ao método da pesquisa, baseado num protocolo que define à priori critérios de inclusão/exclusão e a estratégia de pesquisa da literatura.

Cooper (2003) especifica ainda que, no campo da Psicologia, as revisões sistemáticas se focam nos resultados ou métodos de investigação, teorias e práticas de intervenção ou aplicação, com o objetivo de (a) integrar a investigação realizada sobre determinado tópico, (b) criticar a literatura existente, geralmente ancorando a crítica em critérios definidos a priori relativos à qualidade metodológica dos estudos incluídos (e.g., critérios STROBE; Vandenbroucke et al., 2007), ou (c) identificar questões centrais relativas a determinado tópico de investigação.

Estes resultados podem ser ainda combinados e resumidos através de técnicas estatísticas específicas, originando uma meta-análise; ou seja, muitas revisões sistemáticas contêm meta-análises, mas não todas (Liberati et al., 2009). A meta-análise corresponde exatamente à utilização de métodos estatísticos que permitem sintetizar quantitativamente os resultados de estudos independentes, gerando um tamanho do efeito combinado dos estudos e explorando as consistências e divergências dos resultados (e.g., Cooper & Hedges, 2009; Higgins & Green, 2011; Petticrew & Roberts, 2006).

Sendo a revisão sistemática um processo metódico, existem um conjunto de etapas que deverão ser seguidas. Não existe um modelo exclusivo a ser utilizado, mas existem antes um conjunto de orientações, de um modo geral bastante similares, que sugerem as etapas sequenciais para a condução de uma revisão sistemática.

Cooper (2016), uma das principais referências para as revisões sistemáticas nas ciências aplicadas, sugere que a revisão passe pelas seguintes etapas: (1) formulação do problema, caraterizada pela definição da questão de investigação e dos objetivos da revisão; (2) pesquisa da literatura, precedida da definição da estratégia de pesquisa, nomeadamente as fontes e os termos de pesquisa; (3) compilação da informação dos estudos, através da extração da informação relevante para a questão de investigação inicial; (4) avaliação da qualidade dos estudos, aplicando determinados critérios de qualidade às características dos estudos; (5) análise e integração dos resultados dos estudos, que implica combinar resultados dos vários estudos individuais e testar diferenças entre estes estudos; (6) interpretação da evidência, elaborando conclusões sobre as evidências acumuladas, identificando as suas potencialidades e limitações; (7) apresentação dos resultados, através da elaboração do relatório da revisão.

Outra proposta, da área das ciências da saúde, é o PRISMA Statement – Preferred Reporting Items for Systematic Reviews and Meta-Analyses (Liberati et al., 2009; Moher, Liberati, Tetzlaff, Altman, & The PRISMA Group, 2009) que consiste num conjunto mínimo de itens baseados em evidência para reportar revisões sistemáticas e meta-análises. As orientações do PRISMA Statement permitem então, através de uma checklist e de um diagrama de fluxo, conduzir a equipa nas várias etapas do processo e apoiá-la ainda na comunicação dos resultados da revisão sistemática. Assim, os itens propostos pelo PRISMA (entendam-se “as etapas”, dado que seguem uma ordem sequencial da condução da revisão sistemática; Liberati et al., 2009) são os seguintes: (1) título e resumo; (2) introdução, ou seja, elaboração do racional teórico e dos objetivos; (3) métodos, secção na qual devem ser apresentados o protocolo e registo da revisão, os critérios de elegibilidade dos estudos, as fontes de informação, a pesquisa da literatura, a seleção dos estudos, o processo de recolha de dados, as variáveis dos estudos, tipo de resultados de interesse (e.g., estatísticas de interesse a extrair dos estudos), o plano de análise dos dados e o risco de viés dos estudos; (4) resultados, onde devem ser apresentados os estudos selecionados, as características desses estudos e o risco de viés entre os estudos; (5) discussão, que deverá sumariar as evidências, relatar as limitações e as principais conclusões; e, por fim, (6) fontes de financiamento.

Já a Cochrane Collaboration ou a Campbell Collaboration, redes internacionais de publicação de revisões sistemáticas de elevada qualidade científica, a primeira sobre cuidados de saúde e a segunda sobre intervenções em educação, justiça e bem-estar social, definem um conjunto de critérios a priori para a publicação de revisões sistemáticas nas suas bibliotecas on-line. O leitor poderá encontrar nos respetivos websites a informação necessária para conduzir e submeter uma revisão sistemática na Cochrane Collaboration (https://www.cochrane.org/) ou na Campbell Collaboration (https://www.campbellcollaboration.org/).

Tendo por base as propostas supramencionadas, apresentamos de seguida as principais etapas de uma revisão sistemática de literatura e quais os desafios que o investigador encontra em cada uma delas, nomeadamente no campo da Psicologia.

A formulação do problema

A primeira etapa da revisão sistemática, à semelhança de qualquer outro estudo, é a formulação do problema, isto é, a definição da questão de investigação, dos objetivos ou hipóteses da revisão.

A questão de investigação fornece a estrutura para a revisão de literatura que se pretende desenvolver e deverá ser tão clara quanto possível, exequível (tendo em conta o tempo e recursos disponíveis), ter um corpo teórico bem estabelecido e constituir um potencial contributo importante para o conhecimento (Jesson, Matheson, & Lacey, 2011). É também crucial que sejam definidas conceptualmente as variáveis de interesse e as relações entre elas (Cooper 2016; Cooper, Hedges, & Valentine, 2009).

Quando o propósito da revisão implica a inclusão de estudos qualitativos ou mistos, será mais adequada a utilização da estratégia SPIDER (Sample, Phenomen of Interest, Design, Evaluation and Research Design; Cooke, Smith, & Booth, 2012). O SPIDER, exemplificado na Figura 2, dá suporte na definição dos seguintes componentes: S – Amostra, cujo significado se aplica melhor aos estudos qualitativos em comparação com o termo “população” que remete mais a pesquisa para estudos epidemiológicos, mais comuns na Medicina, por exemplo; PI – Fenómeno de interesse,que deverá incluir tópicos relativos a comportamentos, experiências ou intervenções; D – Desenho/método de investigação dado que, na investigação qualitativa, a abordagem teórica determina o método de investigação utilizado que, ao ser incluído especificamente na estratégia de pesquisa, aumenta a probabilidade de deteção dos estudos de interesse; E – Avaliação, que diz respeito aos resultados dos estudos; R – Tipo de investigação, dado que esta ferramenta se adequa a estudos quantitativos, qualitativos e métodos mistos (para uma descrição detalhada ver Cooke et al., 2012).

Torna-se assim claro que a definição da questão de investigação vai determinar o tipo de estudos a serem incluídos na revisão, na medida em que diferentes desenhos de investigação respondem a diferentes problemas. Por exemplo, ensaios randomizados responderão a questões como “o que funciona?”, sendo o foco estudos sobre a eficácia de determinada intervenção; mas se o interesse do investigador passa por compreender “o que importa?”, será pertinente incluir estudos qualitativos (Petticrew & Roberts, 2006). A especificação destes elementos permitirá então clarificar os critérios de elegibilidade dos estudos a incluir na revisão, os quais iremos aprofundar de seguida.

A pesquisa da literatura

A etapa seguinte da revisão sistemática é a pesquisa da literatura, que é iniciada com a definição de um conjunto de procedimentos que conduzirão aos estudos revelantes que vão depois responder à questão de investigação (e.g., Cooper, 2016; Cooper et al., 2009; Liberati et al., 2009; Petticrew & Roberts, 2006). Assim, antes de iniciar a pesquisa da literatura é necessário definir os (a) critérios de elegibilidade, as (b) fontes de informação e a (c) estratégia de pesquisa.

Critérios de elegibilidade. Os critérios de elegibilidade assumem um papel fundamental no processo de revisão sistemática, determinando a sua validade, aplicabilidade e abrangência (Liberati et al., 2009) e, acima de tudo, permitem que a revisão possa ser replicada no futuro (Atkinson et al., 2015).

Especificamente, é necessário definir dois conjuntos de critérios de inclusão: a) os critérios de inclusão relativos aos estudos em si, isto é, as características dos estudos (variáveis, participantes, desenho de investigação), que poderão ser definidos com base nos componentes PICOS ou SPIDER; e b) os critérios de inclusão relativos às publicações dos estudos a incluir, isto é, o idioma da publicação, o tipo de publicação (e.g., inclusão de artigos com revisão por pares, material não publicado) e o ano de publicação (Liberati et al., 2009). Atkinson e colegas (2015) referem ainda a importância de clarificar as definições de conceitos nos critérios de elegibilidade, como exemplificado no Quadro 1.

A equipa de investigação deverá ter atenção, nesta fase, a um conjunto de questões que podem provocar viés nos resultados da revisão sistemática, como o viés relativo ao idioma dos manuscritos ou o viés de publicação, um dos temas mais discutidos pela comunidade científica no que diz respeito a revisões sistemáticas e meta-análises.

Sobre o idioma das publicações, ainda que nas principais bases de pesquisa predominem publicações em inglês, a pesquisa seletiva somente para manuscritos redigidos em inglês ou a exclusão de outros idiomas pode significar a não inclusão de investigação publicada noutras línguas (Reed & Baxter, 2009; Rothstein & Hopewell, 2009). Todavia, quanto mais inclusiva for a revisão a este nível, mais os recursos necessários, já que é provável que a equipa tenha necessidade de contratar serviços de tradução.

Relativamente ao viés de publicação, sendo o objetivo principal de uma revisão sistemática procurar evidências na literatura, dizem Cooper e Hedges (2009) que não devem ser incluídos somente estudos com resultados positivos, geralmente sobre-representados nas publicações. De forma a ter uma amostra representativa da população de estudos sobre o tópico, a pesquisa de evidências (publicadas ou não publicadas) deve também ir além das redes de colegas e parceiros da equipa, uma vez que estas tenderão a convergir com a perspetiva ou posição teórica dos autores (Cooper & Hedges, 2009). Os manuscritos ou relatórios de estudos não publicados em revistas científicas são denominados de “literatura cinzenta”, que integra investigação divulgada através de outros canais como atas de conferências, artigos não publicados, ou relatórios técnicos (Rothstein & Hopewell, 2009). A importância de incluir “literatura cinzenta” vem exatamente da Psicologia, quando um grupo de investigadores constatou a existência de diferenças nos tamanhos do efeito reportados nos estudos publicados e nos estudos não publicados (Reed & Baxter, 2009). Ainda que existam argumentos no sentido de excluir estes estudos das sínteses de investigação devido à sua qualidade, contra-argumentos defendem que publicar em jornais académicos, com processos de revisão por pares, não está tanto relacionado com a qualidade da pesquisa, mas antes com outros critérios como a ausência de resultados positivos (Rothstein & Hopewell, 2009).

Fontes de informação. As fontes de pesquisa da literatura assumem um papel fundamental no processo de revisão, determinando o quão compreensiva pode ser a síntese da evidência.

Para além do viés de publicação já referido, existem outras questões a ter em consideração na definição das fontes de pesquisa, nomeadamente o risco de incluir seletivamente estudos que estão mais acessíveis aos investigadores envolvidos (viés de disponibilidade), estudos disponíveis sem qualquer custo ou a baixo custo (viés de custo), estudos da sua própria disciplina científica (viés de familiaridade), estudos publicados repetidamente (viés de duplicação), e estudos mais citados (viés de citação) (Rothstein & Hopewell, 2009).

Assim, na perspetiva de ultrapassar estas possíveis limitações, e considerando a equipa incluir a denominada “literatura cinzenta”, a pesquisa da literatura deverá considerar um conjunto de fontes de informação que incluam não apenas as (a) bases de dados eletrónicas, mas também (b) pesquisa direta em revistas importantes para o tópico, (c) pesquisa em atas de conferência, (d) contacto direto com investigadores, (e) pesquisa de registos de investigação, e (f) pesquisa na Internet (e.g., Atkinson et al., 2015; Rothstein & Hopewell, 2009). Existe ainda a opção “snowball”, que consiste em procurar manualmente a literatura que consta nas referências bibliográficas dos artigos selecionados (Garrard, 2011), sendo geralmente mais importante fazê-lo nos artigos selecionados para leitura integral ou em artigos teóricos de referência. Todavia, os enviesamentos associados às fontes de informação vão depender das características do problema de pesquisa e da questão de investigação (e.g., há quanto tempo o tópico é alvo de investigação, se a sua natureza é multidisciplinar) (Cooper & Hedges, 2009).

Centrando agora a atenção na pesquisa em bases de dados eletrónicas, é fundamental que a equipa reflita sobre o âmbito disciplinar da sua revisão e quais as bases de dados a que tem acesso (Reed & Baxter, 2009). No caso específico da Psicologia, alguns recursos de informação disponíveis para a área disciplinar são: Academic Search Complete, ERIC, PsycARTICLES, PsycINFO, Psychology and Behavioral Sciences Collection, Scopus e a Web Of Science. A PubMed pode ainda ser considerada em tópicos que se interligam com a área da Saúde; e o Google Scholar é também outra opção importante para tópicos de investigação mais abrangentes. Os agregadores de recursos são também importantes ferramentas na pesquisa dos artigos, sendo possível por exemplo utilizar o portal EBSCO para pesquisar em conjunto as bases de dados Academic Search Complete, ERIC, PsycARTICLES, PsycINFO, Psychology and Behavioral Sciences Collection (selecionar manualmente no portal as bases pretendidas).

Estratégia de pesquisa. Seguidamente à definição das fontes de informação, é importante delinear a estratégia de pesquisa a ser utilizada. Nesta fase, devem ser definidos os termos de pesquisa e as restrições de acordo com os critérios de elegibilidade dos estudos (especificamente os idiomas, limites de data e tipo de documentos; Higgins & Green, 2011).

Para a determinação dos termos de pesquisa, um conjunto de estratégias podem auxiliar nesta tarefa, nomeadamente: (a) selecionar palavras dos critérios PICOS/SPIDER; (b) identificar palavras similares ou relacionadas (com recurso a dicionários de sinónimos online, como por exemplo http://www.thesaurus.com); (c) procurar nas palavras-chave dos artigos relevantes para o tópico ou outras revisões de literatura sobre o tema.

Para a combinação dos termos de pesquisa são geralmente utilizados operadores lógicos de pesquisa ou operadores booleanos, que permitem combinar de formas diferentes as palavras ou grupos de palavras, modificando assim os resultados da pesquisa. Os operadores booleanos mais comuns são os seguintes: “AND”, utilizado para procurar artigos que incluam todas as palavras identificadas; “OR”, para procurar artigos que incluíam qualquer uma das palavras identificadas; e “NOT”, utilizado para excluir artigos que incluam determinada palavra (Cronin et al., 2008; Reed & Baxter, 2009). Alguns termos de pesquisa podem ainda ser truncados utilizando um asterisco a seguir à última letra comum a várias formas da palavra. Por exemplo, singular e plural (utilizar child* para child e children) ou outras palavras relacionadas (childhood). Também é aconselhado o uso de aspas quando nos referimos a uma expressão ou conjunto de palavras, como por exemplo “cognição social”, pois se colocarmos as duas palavras separadas, é possível que algumas bases de dados considerem os dois termos de forma independente. A utilização de grupos de palavras-chave é também uma importante estratégia para refinar os resultados de pesquisa, combinando qualquer palavra de um tópico específico com qualquer palavra de outro tópico (ver Higgins & Green, 2011). O exemplo da Figura 3 ilustra a utilização de operadores booleanos e de grupos de termos de pesquisa.

Esta informação culmina então num protocolo que assegura que a revisão é criteriosamente planeada e que esse planeamento é explicitamente documentado antes de ser iniciada a revisão (Moher et al., 2015). Neste protocolo de revisão sistemática são descritas as definições das variáveis, a sequência da pesquisa, a estratégia de pesquisa, critérios de elegibilidade e a abordagem a ser utiliza na síntese de resultados (Mallett et al., 2012). Este protocolo pode ser submetido para pré-registo em redes de investigação internacionais sobre revisões sistemáticas (e.g., PROSPERO, disponível em https://www.crd.york.ac.uk/prospero/), passando por um processo de revisão por pares e monitorização. O registo das revisões sistemáticas permite assim minimizar possíveis enviesamentos da revisão, reduzir a duplicação de esforços e repetição de revisões entre grupos de trabalhos diferentes e manter as revisões sistemáticas atualizadas (The PLoS Medicine Editors, 2011).

A seleção dos estudos

A seleção dos estudos a incluir na revisão sistemática consiste em identificar e aplicar sequencialmente os critérios de elegibilidade aos resultados da pesquisa da literatura (e.g., Cooper, 2016; Cooper et al., 2009).

Após obtida a listagem de referências de cada base de dados/agregador de recursos, existem várias ferramentas de apoio para a fase de seleção dos artigos a incluir na revisão sistemática. Apresentamos apenas alguns dos exemplos, disponíveis gratuitamente online, que poderão ser utilizados nesta fase da revisão:

Rayyan QCRI: É uma aplicação desenvolvida pelo Qatar Computing Research Institute, especificamente direcionada para a o acordo inter-juízes numa revisão sistemática de literatura. Oferece gratuitamente a aplicação online em https://rayyan.qcri.org/ e ainda tem a possibilidade de ser descarregada para dispositivos móveis. Aceita a importação de referências em vários formatos e permite ainda a condução de revisão simultânea por mais do que um investigador. A aplicação tem um tutorial disponível online que fornece orientações a novos utilizadores.

Abstrackr: Apresenta as mesmas funções que o Rayyan QCRI, sendo também direcionada para o acordo inter-juízes, fornecendo a informação sobre a percentagem de acordo obtida. Está disponível gratuitamente online em http://abstrackr.cebm.brown.edu/account/login

Covidence: É igualmente uma ferramenta online direcionada especificamente para a realização de revisões sistemáticas de literatura e está disponível em https://www.covidence.org/ (não é gratuita, mas oferece uma primeira experiência de utilização sem qualquer custo associado). Esta ferramenta está especificamente desenhada de acordo com o PRISMA Statement, seguindo os passos do flow diagram, e auxilia ainda na tarefa da extração de dados.

Para além destas ferramentas, os investigadores podem ainda recorrer aos softwares de gestão de referências bibliográficas como o Endnote, Zotero ou Mendeley para gerir as suas pesquisas, mas estes já não estão preparados para a realização posterior do acordo inter-juízes.

Deverá ser ainda tido em consideração que em determinados agregadores de recursos eletrónicos é dada informação sobre o número de duplicados (isto é, artigos que estão incluídos em várias bases de dados e que, por esse motivo, são captados várias vezes na pesquisa), e estes artigos duplicados são automaticamente removidos da lista de referências. Poderá ser importante para o investigador fazer o registo sequencial do número de artigos duplicados, caso este opte por utilizar o flow diagram do PRISMA (explicado no parágrafo seguinte) (Liberati et al., 2015).

Após obtidas todas as referências identificadas pela pesquisa nas bases de dados e outras fontes de informação, importadas e organizadas num dos softwares referidos anteriormente, dá-se início ao processo sequencial de seleção dos artigos a incluir na revisão sistemática de literatura. Para apoiar e sintetizar este processo, o PRISMA Statement oferece o flow diagram, uma ferramenta para a apresentação dos resultados da revisão sistemática. O flow diagram é constituído por 4 fases: (a) a identificação dos artigos, onde deve ser referido o número total de artigos retidos na pesquisa em bases de dados eletrónicas, o número total encontrado na pesquisa manual e, por último, o número final depois de removidos os duplicados; (b) a triagem dos artigos, sendo esta a primeira fase de seleção realizada com base no título e resumo (e, sempre que existam dúvidas nesta fase, o manuscrito deve ser incluído para a fase seguinte), e deverá ser referido o número de artigos excluídos (não é necessário identificar, nesta fase, os motivos de exclusão); (c) a elegibilidade dos artigos, a partir da sua leitura integral são selecionados com base nos critérios de elegibilidade os artigos a incluir na revisão e os artigos a excluir (referindo as razões de exclusão de cada artigo); (d) a inclusão dos artigos, apresentando o número final de estudos incluídos para a síntese qualitativa e, caso se aplique, para a síntese quantitativa (meta-análise). Geralmente, as revisões sistemáticas de literatura incluem apenas artigos empíricos ou de resultados de intervenção, sendo importante nesta etapa que as revisões de literatura ou meta-análises que surjam na pesquisa de artigos sejam integradas no enquadramento teórico e/ou na discussão de resultados da revisão sistemática. A Figura 4 apresenta um exemplo do flow diagram de um artigo de revisão sistemática.

De acordo com Liberati e colaboradores (2009), não há um procedimento padrão para a seleção dos artigos, mas a condução do processo por, pelo menos, dois investigadores, pode reduzir a possibilidade de excluir manuscritos importantes. Os autores deverão informar se cada etapa da seleção dos estudos foi conduzida por um ou mais elementos, se existiu acordo inter-juízes, e qual o procedimento utilizado para resolver desacordos.

Não existe um número de referências ideal para a revisão sistemática de literatura, na medida em que este número depende do tópico e consequentemente da quantidade de publicações a que deu origem (Jesson et al., 2011).

A extração dos dados

Definidos os artigos a incluir na revisão sistemática, a equipa de investigação poderá então prosseguir para a extração dos dados, isto é, a documentação das caraterísticas dos estudos e dos seus principais resultados. Nesta fase, será importante ler novamente os artigos, listar as características de interesse para a revisão e selecionar um conjunto de tópicos a reter dos estudos (e.g., Garrard, 2011).

A replicabilidade e robustez da síntese vai depender também da forma como são documentadas as evidências dos estudos incluídos. Esta etapa deve também ser realizada por mais do que um elemento de forma a garantir a fiabilidade da informação extraída (Cooper & Hedges, 2009).

Esta etapa implica a realização de procedimentos de análise de conteúdo, nomeadamente a exploração dos estudos com a definição de categorias, que consistem em sistemas de codificação da informação a extrair de cada estudo. Previamente à elaboração do protocolo de codificação, é importante listar os constructos em análise e as características dos estudos relevantes para a revisão. Em alternativa é possível derivar as categorias de codificação dos próprios estudos, após a sua leitura e extração inicial de informação descritiva sobre possíveis categorias de interesse (mais apropriado para revisões com poucos estudos) (Wilson, 2009). As informações a retirar de cada estudo incluído podem ser de dois tipos: características metodológicas (e.g., desenho de investigação, tipo de medidas ou instrumentos); e/ou características relacionadas com o conteúdo (e.g., modelo teórico ou conceptual, tipos de resultados, implicações práticas) (Petticrew & Roberts, 2006). Especificamente, podem ser exemplo de tópicos a reter dos estudos os seguintes: (a) informação identificativa, como ID (número/código atribuído ao artigo), autores, título, tipo de publicação, revista/fonte da publicação, país de origem (onde foi efetuada a recolha de dados) e país da publicação, fonte de financiamento; (b) características do estudo, como objetivos ou hipóteses, desenho da investigação, amostra (número de participantes, critérios de inclusão e procedimentos); (c) características dos participantes, como idade, género, etnia, estatuto socioeconómico; (d) intervenção e contexto, como a descrição da intervenção, exposição ou condição (no caso de estudos experimentais, por exemplo), e como é que foi desenvolvida (no caso da intervenção) ou é definida (no caso da exposição/condição); (e) resultados, como definições específicas de variáveis-resultado utilizadas, métodos e instrumentos de avaliação, utilização de follow-up (duração e número), e síntese dos resultados quantitativos (para dados dicotómicos, extrair o número de eventos e o número de participantes para cálculo de odds ratio, risk ratio e intervalos de confiança, p-value; para dados contínuos, extrair média e desvio-padrão para cálculo da diferença entre médias e intervalos de confiança) (e.g., Centre for Reviews and Dissemination, 2008; Wilson, 2009).

Os mecanismos de codificação dos dados podem assumir várias formas, sendo que a codificação direta num formulário em papel (ver exemplo na Figura 5) pode ser uma opção melhor para revisões com poucos estudos (dado que é necessário introduzir depois os dados numa base de dados), ou codificar diretamente para uma base de dados eletrónica (e.g., Microsoft Access ou Excel) (Wilson, 2009).

Quando se incluem estudos quantitativos e qualitativos, é importante que sejam feitas matrizes de extração de dados separadas e que os resultados sejam analisados separadamente (Garrard, 2011).

A apreciação qualitativa

O desenho e condução dos estudos incluídos na revisão, sejam ou não provenientes de “literatura cinzenta”, podem levantar questões sobre a validade dos respetivos resultados e influenciar os resultados da revisão sistemática. Assim, a avaliação da qualidade dos estudos tem sido amplamente recomendada, podendo a qualidade ser relativa ao desenho, execução ou análise de resultados de um estudo, à sua relevância ou à qualidade do relatório (Juni, 2001).

A avaliação da qualidade dos estudos passa então por definir um conjunto de critérios de avaliação de acordo com a questão de investigação, que pretende discutir a correspondência entre os métodos e inferências dos estudos incluídos (Cooper, 2016). Existem já um conjunto de instrumentos estandardizados, como escalas ou checklists que permitem questionar a validade interna e externa de cada um dos estudos (e.g., Higgins & Green, 2011). Por exemplo, a Cochrane Collaboration disponibiliza um conjunto de critérios para sínteses de ensaios clínicos (Higgins & Green, 2011) e outros institutos de investigação, como o Joanna Briggs Institute, têm disponíveis online gratuitamente checklists de critérios de qualidade para vários tipos de estudos (http://joannabriggs.org/research/critical-appraisal-tools.html) que auxiliam os investigadores nesta análise qualitativa da investigação. Outro exemplo que pode ser útil para os investigadores na área da Psicologia são os critérios STROBE (Vandenbroucke et al., 2007; https://www.strobe-statement.org/), direcionados para estudos observacionais. No Quadro 2 apresentamos um exemplo da aplicação dos critérios STROBE numa revisão sistemática na área da Psicologia (Maïano, Aimé, Salvas, Morin, & Normand, 2016).

Também nesta fase, de forma a ultrapassar possíveis enviesamentos confirmatórios, a avaliação dos critérios de qualidade pode ser realizada por dois codificadores independentes e calculado o acordo inter-juízes (Kappa de Cohen).

A síntese da literatura

A etapa de síntese da literatura consiste no resumo e integração dos resultados da investigação, nomeadamente a equipa de investigação deverá, nesta fase, procurar combinar os resultados dos estudos incluídos de forma transversal, identificando diferenças entre os vários estudos (Cooper, 2016; Cooper et al., 2009). Jesson e colaboradores (2011) referem que a leitura e síntese de resultados deve ser um processo analítico e propõem o modelo EEECA: (a) Examine (analisar o tópico de diferentes perspetivas); (b) Evaluate (avaliar ou realizar uma análise crítica); (c) Establish relationships (analisar de que forma os resultados estão relacionados); (d) Compare (comparar e contrastar resultados); (e) Argue (sempre que aplicável, posicionar o argumento em relação às perspetivas apresentadas).

Geralmente, a apresentação de resultados inclui uma síntese narrativa dos resultados focada no objetivo principal da revisão (Petticrew & Roberts, 2006). Garrard (2011) propõe vários tópicos de análise dos estudos incluídos: (a) os modelos conceptuais e teóricos, as hipóteses ou objetivos de investigação, no sentido de identificar os problemas de partida; (b) os métodos utilizados para investigar os problemas, nomeadamente os instrumentos, procedimentos, amostra e análise de dados; (c) os resultados principais; (d) lacunas identificadas; (e) análise crítica de cada um destes tópicos. O procedimento para a síntese dos resultados, tendo como base uma matriz, poderá ser a análise dos estudos em coluna (Garrard, 2011).

Quando se tratam de sínteses de resultados qualitativos, a prática geralmente utilizada é a produção de um resumo narrativo (Pearson, 2004), que poderá passar por um processo de validação com a população em questão ou especialistas no tópico por forma a garantir que os resultados são relevantes e aplicáveis à prática (Soilemezi & Linceviciute, 2018).

Por outro lado, quando as revisões sistemáticas incluem estudos quantitativos, a síntese dos resultados pode ser narrativa ou quantitativa. Neste caso, a meta-análise (já anteriormente referida) prevê a estimação e o cálculo da média dos tamanhos do efeito, examinando possíveis moderadores, permitindo a interpretação cumulativa dos resultados quantitativos (Cooper & Hedges, 2009). Todavia, para que esta análise seja significativa, é importante ter em consideração a diversidade dos estudos, nomeadamente a questão a que cada um responde e respetivo desenho de investigação, as medidas que utilizou, as variáveis dependentes analisadas ou heterogeneidade estatística (Ioannidis, Patsopoulos, & Rothstein, 2008).

Na redação do relatório, a discussão deverá sumarizar os resultados principais da revisão, os seus contributos para a investigação ou estado da arte e, sempre que possível, as suas potenciais aplicações práticas. Caso existam outras revisões de literatura sobre o tópico, é importante que o investigador nesta fase, relacione os resultados das revisões anteriores com a sua revisão sistemática (e.g., Cooper, 2016; Liberati et al., 2009).

Comentário final

O aumento exponencial de publicações em Psicologia observado nas últimas décadas implica que os investigadores sejam cada vez mais capazes de integrar o conhecimento. A revisão sistemática de literatura constitui uma importante estratégia de consolidação de resultados de investigação, essencial ao desenvolvimento teórico inerente à progressão da ciência, assim como à sua transformação em conhecimento relevante na orientação da intervenção dos profissionais na área da Psicologia.

Todavia, a condução de revisões sistemática de literatura coloca muitos desafios aos investigadores no geral, e nomeadamente no campo da Psicologia. Por um lado, o processo de revisão sistemática é um processo extremamente exigente em termos de recursos e tempo (Mallett et al., 2012). Considerando que a tarefa que poderá consumir mais tempo à equipa é a triagem dos estudos, os investigadores em Psicologia têm um desafio acrescido tendo em conta o número crescente de produção científica nesta área (e, portanto, a probabilidade de ter um grande número de artigos iniciais para selecionar é elevada).

Por outro lado, a condução da revisão por mais do que um elemento pode introduzir subjetividade na triagem dos artigos (Mallett et al., 2012). Esta limitação pode ser ultrapassada através da determinação do acordo inter-juízes. No caso de haver um número elevado de estudos a triar, a equipa pode optar por realizar o acordo apenas para uma amostra representativa do total de estudos.

Existem atualmente várias formas de conduzir revisões sistemáticas, não existindo nenhuma solução ótima. Neste artigo, procurámos refletir os contributos das várias abordagens, tentando, com base nas orientações e instrumentos disponíveis para a realização deste tipo de estudos no âmbito da tradição das ciências médicas, apresentar ao leitor as soluções o mais adequadas possível ao domínio da Psicologia.

Procurámos ainda sintetizar as etapas que conduzem à elaboração de uma revisão sistemática de literatura, apoiando o estudante ou investigador com ferramentas e instrumentos específicos e ilustrando com exemplos concretos por forma a clarificar dúvidas comuns. Ainda assim, será importante complementar esta informação com as fontes originais que foram sendo referidas e outras disponíveis online, que agregam informação sobre este método (e.g., http://training.cochrane.org/). Este artigo constitui-se assim como um contributo no apoio à tomada de decisão relativa à realização (ou não) de uma revisão sistemática, bem como um recurso na condução de revisões sistemáticas de literatura e no processo de redação dos respetivos relatórios ou artigos, em particular para os estudantes e investigadores que possam ter interesse neste método.

Referências

American Psychological Association [APA]. (2010). Publication manual of the American Psychological Association (6^th ed.). Washington, DC: Author.         [ Links ]

Atkinson, K. M., Koenka, A. C., Sanchez, C. E., Moshontz, H., & Cooper, H. (2015). Reporting standards for literature searches and report inclusion criteria: Making research syntheses more transparent and easy to replicate. Research Synthesis Methods, 6, 87-95. Retrieved from http://dx.doi.org/10.1002/jrsm.1127        [ Links ]

Camilo, C., Garrido, M. V., & Calheiros, M. M. (2016). Implicit measures of child abuse and neglect: A systematic review. Aggression and Violent Behavior, 29, 43-54. Retrieved from http://dx.doi.org/10.1016/j.avb.2016.06.002        [ Links ]

Centre for Reviews and Dissemination. (2008). Systematic reviews: CRD’s guidance for undertaking reviews in health care. York, UK: CRD, University of York.

Colquhoun, H. L., Levac, D., O’Brien, K. K., Straus, S., Tricco, A. C., Perrier, L., . . . Moher, D. (2014). Scoping reviews: Time for clarity in definition, methods, and reporting. Journal of Clinical Epidemiology, 67, 1291-1294. Retrieved from http://dx.doi.org/10.1016/j.jclinepi.2014.03.013

Cooke, A., Smith, D., & Booth, A. (2012). Beyond PICO: The SPIDER tool for qualitative evidence synthesis. Qualitative Health Research, 22, 1435-1443. Retrieved from http://dx.doi.org/10.1177/1049732312452938        [ Links ]

Cooper, H. (2003). Editorial. Psychological Bulletin, 129, 3-9. Retrieved from http://dx.doi.org/10.1037/0033-2909.129.1.3        [ Links ]

Cooper, H. (2016). Research synthesis and meta-analysis: A step-by-step approach (5^th ed.). Thousand Oaks, CA: Sage.         [ Links ]

Cooper, H., & Hedges, L. V. (2009). Research synthesis as a scientific process. In H. Cooper, L. V. Hedges, & J. C. Valentine (Eds.), The handbook of research synthesis and meta-analysis (2^nd ed., pp. 3-16). New York, NY: The Russell Sage Foundation.         [ Links ]

Cooper, H., Hedges, L. V., & Valentine, J. C. (Eds.). (2009). The handbook of research synthesis and meta-analysis (2^nd ed.). New York, NY: The Russell Sage Foundation.         [ Links ]

Correia, N., Camilo, C., Aguiar, C., & Amaro, F. (2019). Children’s right to participate in early childhood education settings: A systematic review. Children and Youth Services Review, 100, 76-88. Retrieved from https://doi.org/10.1016/j.childyouth.2019.02.031

Cronin, P., Ryan, F., & Coughlan, M. (2008). Undertaking a literature review: A step-by-step approach. British Journal of Nursing, 17, 38-43. Retrieved from http://dx.doi.org/10.12968/bjon.2008.17.1.28059        [ Links ]

Ferreira, M. B., & Santos, A. S. (2016). Divulgação científica: Preparação de relatórios, projetos ou artigos científicos. In M. V. Garrido & M. Prada (Eds.), Manual de competências académicas (pp. 343-374). Lisboa: Edições Sílabo.         [ Links ]

Finkel, E. J., Simpson, J. A., & Eastwick, P. W. (2017). The psychology of close relationships: Fourteen core principles. Annual Review of Psychology, 68, 383-411. Retrieved from http://dx.doi.org/10.1146/annurev-psych-010416-044038        [ Links ]

Garrard, J. (2011). Health sciences literature review made easy: The matrix method (3^rd ed.). Sudbury, MA: Jones & Bartlett Learning.         [ Links ]

Garvey, W. D., & Griffith, B. C. (1971). Scientific communication: Its role in the conduct of research and creation of knowledge. American Psychologist, 26, 349-362. Retrieved from http://dx.doi.org/10.1037/h0032059        [ Links ]

Higgins, J. P. T., & Green, S. (Eds.). (2011). Cochrane handbook for systematic reviews of interventions – Version 5.1.0 [online]. Retrieved from https://training.cochrane.org/handbook/archive/v5.1/

Ioannidis, J. P. A., Patsopoulos, N. A., & Rothstein, H. R. (2008). Reasons or excuses for avoiding meta-analysis in forest plots. BMJ, 336, 1413-1415. Retrieved from http://dx.doi.org/10.1136/bmj.a117        [ Links ]

Jesson, J. K., Matheson, L., & Lacey, F. K. (2011). Doing your literature review: Traditional and systematic techniques. London, UK: SAGE Publications.         [ Links ]

Jonsson, U., Bertilsson, G., Allard, P., Gyllensvärd, H., Söderlund, A., Tham, A., & Andersson, G. (2016). Psychological treatment of depression in people aged 65 years and over: A systematic review of efficacy, safety, and cost-effectiveness. PLoS ONE, 11(8), e0160859. Retrieved from http://dx.doi.org/10.1371/journal.pone.0160859        [ Links ]

Juni, P. (2001). Systematic reviews in health care: Assessing the quality of controlled clinical trials. BMJ, 323(7303), 42-46. Retrieved from http://dx.doi.org/10.1136/bmj.323.7303.42        [ Links ]

Liberati, A., Altman, D. G., Tetzlaff, J., Mulrow, C., Gøtzsche, P. C., Ioannidis, J. P. A., . . . Moher, D. (2009). The PRISMA statement for reporting systematic reviews and meta-analyses of studies that evaluate health care interventions: Explanation and elaboration. PLoS Medicine, 6, e1000100. Retrieved from http://dx.doi.org/10.1371/journal.pmed.1000100        [ Links ]

Maïano, C., Aimé, A., Salvas, M., Morin, A. J. S., & Normand, C. L. (2016). Prevalence and correlates of bullying perpetration and victimization among school-aged youth with intellectual disabilities: A systematic review. Research in Developmental Disabilities, 49-50, 181-195. Retrieved from http://dx.doi.org/10.1016/j.ridd.2015.11.015        [ Links ]

Mallett, R., Hagen-Zanker, J., Slater, R., & Duvendack, M. (2012). The benefits and challenges of using systematic reviews in international development research. Journal of Development Effectiveness, 4, 445-455. Retrieved from http://dx.doi.org/10.1080/19439342.2012.711342        [ Links ]

Moher, D., Liberati, A., Tetzlaff, J., Altman, D. G., & The PRISMA Group. (2009). Preferred reporting items for systematic reviews and meta-analyses: The PRISMA Statement. PLoS Medicine, 6, e1000097. Retrieved from http://dx.doi.org/10.1371/journal.pmed.1000097        [ Links ]

Pearson, A. (2004). Balancing the evidence: Incorporating the synthesis of qualitative data into systematic reviews. JBI Reports, 2, 45-64. Retrieved from http://dx.doi.org/10.1111/j.1479-6988.2004.00008.x        [ Links ]

Perinelli, E., & Gremigni, P. (2016). Use of social desirability scales in clinical psychology: A systematic review. Journal of Clinical Psychology, 72, 534-551. Retrieved from http://dx.doi.org/10.1002/jclp.22284        [ Links ]

Petticrew, M., & Roberts, H. (2006). Systematic reviews in the social sciences: A practical guide. Malden, MA: Blackwell Publishing.         [ Links ]

Reed, J. G., & Baxter, P. M. (2009). Using reference databases. In H. Cooper, L. V. Hedges, & J. C. Valentine (Eds.), The handbook of research synthesis and meta-analysis (2^nd ed., pp. 73-101). New York, NY: The Russell Sage Foundation.         [ Links ]

Ribeiro, J. L. P. (2014). Revisão de investigação e evidência científica. Psicologia, Saúde & Doenças, 15, 671-682. Retrieved from http://dx.doi.org/10.15309/14psd150309        [ Links ]

Rothstein, H. R., & Hopewell, S. (2009). Grey literature. In H. Cooper, L. V. Hedges, & J. C. Valentine (Eds.), The handbook of research synthesis and meta-analysis (2^nd ed., pp. 103-125). New York, NY: The Russell Sage Foundation.         [ Links ]

Soilemezi, D., & Linceviciute, S. (2018). Synthesizing qualitative research: Reflections and lessons learnt by two new reviewers. International Journal of Qualitative Methods, 17, 1-14. Retrieved from http://dx.doi.org/10.1177/1609406918768014        [ Links ]

The PLoS Medicine Editors. (2011). Best practice in systematic reviews: The importance of protocols and registration. PLoS Medicine, 8. Retrieved from http://dx.doi.org/10.1371/journal.pmed.1001009        [ Links ]

Uman, L. S. (2011). Systematic reviews and meta-analyses. Journal of the Canadian Academy of Child and Adolescent Psychiatry, 20, 57-59.         [ Links ]

Vandenbroucke, J. P., von Elm, E. V., Altman, D. G., Gøtzsche, P. C., Mulrow, C. D., Pocock, S. J., . . . Egger, M. (2007). Strengthening the reporting of observational studies in epidemiology (STROBE): Explanation and elaboration. PLoS Medicine, 4(10), e297. Retrieved from http://dx.doi.org/10.1371/journal.pmed.0040297        [ Links ]

Wilson, D. B. (2009). Systematic coding. In H. Cooper, L. V. Hedges, & J. C. Valentine (Eds.), The handbook of research synthesis and meta-analysis (2^nd ed., pp. 159-176). New York, NY: The Russell Sage Foundation.         [ Links ]

Yap, M. B. H., & Jorm, A. F. (2015). Parental factors associated with child hood anxiety, depression, and internalizing problems: A systematic review and meta-analysis. Journal of Affective Disorders, 175, 424-440. Retrieved from http://dx.doi.org/10.1016/j.jad.2015.01.050        [ Links ]

CORRESPONDÊNCIA

Esta investigação é parcialmente suportada pela Fundação para a Ciência e Tecnologia (Bolsa Individual de Doutoramento SFRH/BD/99875/2014) e Marie Curie (FP7-PEOPLE-2013-CIG).

Submissão: 01/03/2018 Aceitação: 05/03/2019