2.1 Etapas metodológicas da Revisão da Literatura aplicadas no webQDA

Revisão da Literatura é um termo genérico que cobre uma vasta gama de assuntos sobre o fornecimento de conjuntos de publicações e a sua análise, em determinados períodos de tempo. Chris ^{Hart (2006}) define como sendo: A seleção de documentos disponíveis sobre um tópico que contém informações, dados, ideias e evidências, relatado sobre um determinado ponto de vista de modo a atingir um objetivo ou a exprimir uma certa visão sobre um assunto e como este foi pesquisado com uma avaliação desses documentos em relação à pesquisa que está sendo proposta. (p. 13) A principal noção sobre a RL que é preciso reter é de que não é um processo com um único modelo. Tradicionalmente assume a forma narrativa e descritiva de uma amostra de publicações. O modo de fazer a revisão depende dos seus objetivos, dos recursos existentes e principalmente do conhecimento prévio do pesquisador. Num artigo de 2009 foram identificados 14 tipos de revisão (^{Grant & Booth, 2009}) o que leva a crer que atualmente poderíamos encontrar novas tipologias. Assim, encontra-se uma variedade de termos que indicam diversos métodos de recolha, de análise e de síntese, como, por exemplo, a meta-análise, a revisão crítica e o estado de arte, entre outras. Na realidade, para construir uma sólida base teórica, por vezes, faz-se uma revisão composta por revisão seminal, revisão sistemática e revisão integrativa (^{Pinho & Leite, 2014}). De forma simplista é possível considerar dois grandes tipos de revisão: revisão tradicional (ou não sistemática) e revisão sistemática. Ambas apresentam vantagens e desvantagens e conhecer as suas caraterísticas ajuda a decidir qual a mais adequada para responder a determinada questão de revisão e, por vezes, podem-se revelar complementares (^{Dijkers, 2009}). Se tradicionalmente liam-se livros e enciclopédias e tomavam-se notas para se iniciar uma procura na biblioteca por artigos e livros, na revisão sistemática o acesso à informação dá-se por meio das bases de dados online e da utilização de palavras-chave, termos e filtros de busca. Contudo, em comum deve haver a preocupação de definir o tópico e de garantir a qualidade das fontes de informação. Normalmente é maior o volume de informação recolhida na revisão sistemática, o que permite fazer análises descritivas quantitativas sobre os autores, os países, as instituições, a produção ao longo do tempo, entre outros itens. Neste contexto, também considera-se que as metodologias qualitativas e quantitativas podem ser complementares, originando estudos iniciados numa perspetiva abrangente disponibilizada por mapas elaborados a partir de estudos bibliométricos (^{Moresi et al., 2020}) e complementados com revisões sistemáticas e ou sínteses qualitativas (^{Dixon-Woods et al., 2006}; ^{Pedrosa et al., 2019}). Segundo ^{Tranfield et al. (2003}, p. 209) , a Revisão Sistemática (RS) pode ser definida como "um processo replicável, científico e transparente". Essa abordagem processual pretende minimizar o viés através de uma recolha exaustiva de estudos publicados e do relato do percurso metodológico onde estão implícitas as decisões, os procedimentos e as conclusões dos revisores (^{Page et al., 2021}). Apesar da sua origem e intensa utilização serem reportadas pela área da Saúde, verificou-se uma difusão para as demais áreas do conhecimento com as devidas adaptações e adequações. Na perspetiva da Saúde, a RS requer uma revisão objetiva e completa de todas as publicações disponíveis sobre determinado tópico com vista a fundamentar a prática clínica por meio de evidência (^{Parums, 2021}). De modo genérico, a RL pode ser organizada em três etapas sequenciais:

Tornando essas três etapas sequenciais, facilita a realização do trabalho em tempo hábil. Diante do uso dos resultados muitas vezes retoma-se o processo de revisão e este processo acaba por ser uma espiral de sucessivos ciclos de operacionalização e refinamento.

2.1.1 Exemplo de Revisão de Literatura com o webQDA

Para fins didáticos dos leitores deste capítulo sobre de que maneira é possível desenvolver uma RL por meio do webQDA, as autoras elaboraram um protocolo de revisão que visa responder à seguinte questão: Como as ferramentas digitais são utilizadas para o desenvolvimento de Revisões da Literatura no contexto da pesquisa qualitativa? A questão dá a cada revisão uma estrutura particular e conduz as principais decisões a tomar durante o percurso metodológico. O desenvolvimento e a estrutura de uma questão de revisão incluem implícita e explicitamente assunções que ajudam a focar o estudo, a definir os critérios de elegibilidade das publicações e as informações que serão recolhidas e analisadas. Essas assunções podem estar associadas à amostra de estudo, aos conceitos sobre o objeto de estudo e aos cenários de estudo. O protocolo de revisão proposto pelas autoras apresentou os seguintes critérios de elegibilidade das publicações:

- Foram incluídos somente estudos de revisão que utilizaram ferramentas digitais para o desenvolvimento de uma ou mais etapas da revisão, e estudos de abordagem qualitativa.

- Foram excluídos estudos que tratavam do tema por meio de abordagem metodológica ou reflexiva, e estudos apresentados em conferências científicas de forma resumida.

Os critérios de elegibilidade precisam ser explicitados na RL para determinar quais estudos são relevantes para a seleção e composição da amostra revisada. Esses critérios também são fundamentais para quando a revisão é realizada em equipa porque serão um mecanismo de facilitação da comunicação. Diante disso, definir os critérios de inclusão e exclusão delimita a área de interesse para o objetivo da revisão. Ao excluir, por exemplo, os estudos apresentados em conferências científicas de forma resumida não quer dizer que estes não são importantes para conhecer o estado da arte, mas que para esta revisão mostram-se limitados devido à apresentação sintetizada do método de pesquisa. Relembra-se que este exemplo é simplesmente didático, não se pretende esgotar todas as perspetivas de análise sobre o fenômeno da RL. Numa RL as fontes de informações podem ser diversas tais como artigos, livros, enciclopédias, resumos de conferências, dissertações e teses, bem como outras consideradas relevantes para cada estudo. Para efeitos deste capítulo, a seleção das fontes de informação recai sobre as bases de dados referenciais. Destaca-se que a seleção de quais bases de dados serão consultadas depende do âmbito e dos objetivos da revisão. Como as diversas bases de dados referenciais têm características distintas e abarcam diferentes tipos de publicações, há que ter algum conhecimento sobre essas características (^{Pinho & Diogo, 2018}). A busca nas bases de dados é realizada por meio de descritores (termos e palavras-chave) associados aos operadores booleanos AND, OR ou NOT. A associação entre os descritores e os operadores booleanos constitui a estratégia de busca. Além disso, a equipa de pesquisa pode aplicar filtros relativos aos metadados, ao limite temporal, à área de conhecimento, ao país e ao tipo de documento. A estratégia de busca deve detalhar as fontes de informação e o modo como serão pesquisadas. Indicar o âmbito, ou seja, se pretende recolher informação exaustiva em várias bases de dados e diferentes línguas, ou se é uma procura mais focada, restrita a algumas revistas científicas e uma língua, são caminhos da estratégia a definir, explicar, justificar e respeitar. Nenhuma base de dados permite uma recolha exaustiva, é necessário ter a noção de que as publicações recolhidas não contemplam toda a publicação definida pela questão de revisão. Por exemplo, comparando a Web of Science e a Scopus, verifica-se que a Scopus tem um âmbito mais alargado, onde as Ciências Sociais estão amplamente representadas. A Scopus tem um caráter multidisciplinar e maior cobertura global, o que são argumentos para a presente escolha para efetuar a recolha de informação usada para elaborar este capítulo (Figura 1). O tema é a RL, especificamente no âmbito das ferramentas digitais usadas para apoiar a análise qualitativa da informação recolhida. Deste modo, foi desenvolvida a seguinte estratégia de busca: (“software” OR "computer software" OR "software tool" OR "computer applications softwares") AND (“review” OR "systematic review") AND ("qualitative research" OR "qualitative method"). Neste caso, também foi aplicado o filtro das palavras-chave, ou seja, a base de dados realizou a busca das publicações que haviam citado todos ou parte desses termos como descritores nos metadados. Ao final da busca obteve-se 137 referências.

Figura 1 Busca dos artigos na base dados Scopus. 

As bases de dados permitem a exportação das referências encontradas por meio da estratégia de busca de diferentes formas a depender da preferência do pesquisador. No caso desta revisão, optou-se pela exportação da seleção diretamente da base de dados no formato de arquivo BibTex, porém são possíveis os formatos bibliográficos XML e RIS. Também é possível a exportação das publicações selecionadas na base de dados para um gestor de referências (Mendeley, EndNote, Zotero, entre outros). Existem diferentes ferramentas desse tipo e a decisão de qual escolher prende-se com as suas características que estão em permanente evolução. Algumas dessas ferramentas podem ajudar não só nas citações automáticas em texto, como na partilha de conjuntos de referências de modo colaborativo (^{Perkel, 2020}). O webQDA permite a importação automática dos arquivos no formato BibTex, XML e RIS. Dessa forma, a etapa de seleção das publicações de acordo com o título e o resumo pode ser realizada logo após a busca na base de dados diretamente no software (Figura 2).

Figura 2 Inserção dos metadados da base de dados no webQDA. 

Na Figura 2 é possível observar que as 137 referências exportadas da Scopus foram inseridas no webQDA por meio do sistema de Fontes. Automaticamente, o software faz a codificação do tipo de publicação, do ano, dos autores, das palavras-chave e do estado (incluído, excluído e duplicado). Mediante a inserção dos metadados no webQDA, por meio do sistema de Fontes > anotações > notas > fonte > carregar metadados, é criada uma pasta chamada "Revisão da Literatura". Nesta pasta, todas as referências apresentam o estado "incluído", com exceção das referências repetidas que migram automaticamente para o estado "duplicado". No caso em tela, não foram identificados artigos duplicados ma vez que foi consultada somente uma base de dados. A primeira etapa de seleção das referências bibliográficas ocorreu mediante a leitura do título e do resumo, seguida pela aplicação dos critérios de inclusão e de exclusão previstos no protocolo de revisão (Figura 3). As referências que não correspondiam aos critérios de inclusão tinham o seu estado alterado para "excluído".

Figura 3 Metadados selecionados para a revisão de acordo o título e o resumo. 

No presente exemplo, a amostra total importada da base de dados Scopus (137 publicações), duas referências foram excluídas previamente por não apresentarem metadados para a análise. Dessa forma, foram analisados o título e o resumo de 135 publicações. Após essa primeira etapa, foram excluídas 109 referências que não tratavam de Revisão da Literatura com abordagem qualitativa ou que não utilizaram ferramenta digital em pelo menos uma das etapas da metodologia. Dessa forma, avançaram para a etapa de leitura na íntegra 26 publicações (Figura 4).

Figura 4 Metadados selecionados para a leitura na íntegra.  

As 26 publicações selecionadas para a leitura na íntegra foram inseridas por meio do sistema de Fontes internas no formato PDF (Figura 5).

Figura 5 Artigos selecionados para a leitura na íntegra. 

Posteriormente a leitura na íntegra, 06 publicações foram excluídas por não corresponderem aos critérios de elegibilidade. Dessa forma, a RL apresentou como amostra final 20 artigos selecionados, que confirmaram o seu alinhamento com o objetivo do presente estudo (Quadro 1).

Quadro 1 Relação de artigos selecionados de acordo com o título, o ano, local e tipo de revisão. 

Dos 20 artigos selecionados, 11 foram publicados no ano de 2021, seguido pelo ano de 2020 (03 artigos), 2017 (03 artigos), 2019 (02 artigo) e 2018 (01 artigos). Estes dados revelam um crescente aumento no número de publicações sobre o tema nos últimos anos. No que se refere ao tipo de revisão, destacou-se a revisão sistemática com 15 publicações e a revisão integrativa com 02 publicações. Sobre as ferramentas digitais mais utilizadas, evidenciou-se o NVivo (12 publicações) e o Covidence (05 publicações). Também foram citadas como ferramentas RevMan, Rayyan QCRI, ATLAS.ti, Refworks, EPPI-Reviewer e Quirkos. Todos os estudos selecionados estavam vinculados à área da Saúde. A partir da questão de revisão, as autoras exploraram sobre o uso das ferramentas digitais em quatro etapas principais da revisão: a) seleção dos artigos; b) avaliação da qualidade e relevância; c) tratamento dos dados; d) síntese dos dados. Para tanto, foi utilizada a funcionalidade dos Códigos Árvore do sistema de Codificação (Figura 6).

Figura 6 Tratamento dos dados por meio de categorias temáticas no webQDA. 

A análise dos dados revelou que nenhuma ferramenta digital foi utilizada para a avaliação da qualidade e da relevância dos artigos incluídos na revisão, apesar do uso de instrumentos validados para isso ter sido amplamente citado. Outro facto que chama a atenção é as ferramentas digitais terem apoiado prioritariamente a etapa de tratamento dos dados. Esse aspeto pode estar associado à elevada utilização de software de análise qualitativa e ao baixo uso de software específico para revisão da literatura. No que se refere às sínteses de conhecimentos produzidas a partir da revisão, as ferramentas digitais podem apoiar na associação entre as diferentes formas de categorização dos dados, bem como fornecer quadros e mapas visuais que otimizam a leitura e a apresentação dos resultados. Neste exemplo prático, foi realizada a associação entre o tipo de revisão e o tipo de software citado na metodologia. Por meio da matriz do sistema de Questionamento, verifica-se que todos os tipos de ferramentas digitais identificados na revisão apoiaram o desenvolvimento de pelo menos uma revisão sistemática. Outra associação relevante para a síntese dos dados foi entre o tipo de software e as etapas da revisão nas quais foi utilizado (Figura 7). Através da matriz, percebe-se que os softwares específicos para revisão foram utilizados primordialmente para a etapa de seleção dos artigos, o mesmo não se aplica para os softwares de análise qualitativa. Essa matriz também ressalta o fato de ser utilizada mais de uma ferramenta digital concomitantemente para o atendimento das necessidades dos pesquisadores correspondentes às diferentes etapas da revisão.

Figura 7 Associação entre o tipo de software citado na metodologia e as etapas da revisão. 

Adicionalmente, ressalta-se que a síntese dos resultados pode-se apoiar na visualização dos resultados. A sua interpretação é a tarefa mais importante onde se faz a ligação entre a teoria, a questão de revisão e o conhecimento prévio e adquirido do utilizador de software. O trabalho colaborativo no decorrer de todo o percurso metodológico da revisão é fundamental para a validação da seleção dos estudos, da classificação e codificação dos dados empíricos. A validação dá-se por meio de um processo duplo cego, por meio do qual a análise das divergências e o seu posterior debate para atingir uma decisão consensual são fundamentais para a promoção da credibilidade das evidências científicas. No caso desta revisão, houve a participação de duas revisoras do início ao fim do projeto no webQDA (Figura 8). A gestora do projeto foi responsável pela seleção codificação das referências, enquanto a colaboradora foi responsável pela validação de todas as etapas.

Figura 8 Trabalho colaborativo por meio do webQDA. 

2.1.2 Exemplo de Análise Bibliométrica

De modo a obter uma visão geral das publicações pode-se fazer uma análise exploratória das referências recolhidas através de uma análise bibliométrica. Apesar de ter sido recolhida uma pequena quantidade de referências, para efeitos didáticos serão usados os mesmos metadados do exemplo anterior, para fazer a análise bibliométrica. A análise bibliométrica pode ser desenvolvida através de diversas técnicas, de modo a fornecer informação sobre a evolução das publicações ao longo de um determinado período de tempo, quais os autores dessas publicações, as instituições e os países (^{Moresi & Pinho, 2021}) . Assim pode-se iniciar com a seguinte questão: Como é a distribuição das publicações ao longo do período de recolha? A Figura 9 mostra que entre 2005 e 2016 recolheram-se menos de 10 publicações em cada ano deste período. A partir dessa data dá-se um incremento de publicações. Quais as áreas onde se situam os documentos recolhidos? Como é mostrado na Figura 9, a maioria dos documentos recolhidos situam-se na área da Medicina.

Figura 9 Distribuição das publicações ano longo dos anos e por área do conhecimento 

Para além destas estatísticas iniciais é possível considerar as citações como pistas para identificar as publicações com maior impacto numa determinada área, os seus autores e as revistas que podem ser consideradas mais relevantes como fonte de informação e como sugestão para futuras publicações (^{Moresi et al., 2021}). Neste caso, ao recolher as publicações nas bases de dados deve-se ter o cuidado de selecionar a opção que nos permite obter também os metadados referentes às citações de cada publicação selecionada. De modo a relevar a estrutura temática da área, conduz-se uma análise de co-ocorrência dos termos e das palavras-chave. Foram detetados 4431 termos nos títulos e resumos, das 137 referências recolhidas do Scopus. A partir destes 4431 termos foi construída a Figura 10 que abarca os principais 49 termos, ou seja, aqueles que têm maior co-ocorrência.

Figura 10 Co-ocorrência de termos no título e resumo. 

A Figura 11 mostra a rede de palavras-chave considerando todas as palavras-chave que aparecem juntas em pelo menos 5 artigos. Ou seja, do total de 1950 palavras-chave identificadas nos 137 artigos recolhidos na Scopus, 124 palavras-chave estão dentro deste critério. A proximidade e espessura das linhas que conectam duas palavras-chave indicam a frequência com que co-ocorrem, e o tamanho de um nó indica a frequência da sua ocorrência.

Figura 11 Co-ocorrência de palavras-chave.  

A rede de co-ocorrência das palavras-chave indica 4 clusters. É possível identificar as palavras-chave que constituem cada cluster, o que pode indiciar diversas abordagens do tema. A exploração desta ferramenta depende da competência no seu uso e do conhecimento sobre a temática. O relatório da RL aparece no final, mas este é construído desde o início da revisão. A metodologia deve estar o mais explícita possível. Os resultados devem abarcar a apresentação da análise descritiva e as sínteses feitas. Estas sínteses devem contribuir para dar a resposta à questão de revisão. As sínteses num nível mais básico podem juntar informação de diversas publicações para cada código, apresentando alguns excertos de publicações, ou apresentando tabelas resultantes de questionamento aos dados após codificados. O nível seguinte é o da interpretação desses resultados. A integração deste tratamento de dados e informação irá depender do conhecimento prévio, da leitura e tratamento da bibliografia selecionada e do alinhamento com a questão de revisão. O modo de apresentação deste relatório depende da audiência a atingir. Se pretender contribuir para o desenvolvimento teórico de um determinado tópico a opção pode ser a publicação de um artigo ou capítulo, mas se o objetivo é o de fornecer informação para a melhoria de funcionalidades, de um determinado software de apoio à RL, o produto final pode ser um relatório onde as funcionalidades tenham uma preponderância e o tratamento dos dados pode ser aprofundado nessa área através de uma análise complementar de questionário a utilizadores de software. As limitações, da revisão realizada, devem ser identificadas e indicadas. Estas limitações devem ser vistas sobre em que medida a revisão atinge os objetivos previamente identificados, bem como a resposta à questão de revisão.

2.2 Reflexões sobre a Revisão da Literatura por meio de ferramentas digitais

Apesar da revisão da literatura representar uma importante forma de sistematizar e dar sentido aos resultados de pesquisas empíricas para a produção de evidências, quando realizadas sem rigor metodológico, pode ser uma tarefa demorada e de difícil desenvolvimento de novos conhecimentos, bem como se tornar ineficaz devido à falta de direcionamento para futuras investigações. Por consequência, por vezes existe a divulgação de suposições errôneas (^{Snyder, 2019}) que irão implicar negativamente nas práticas profissionais ou políticas públicas. Autores descrevem como um dos problemas para o desenvolvimento de revisões a falta de experiência dos pesquisadores que reflete na sua dificuldade de analisar os dados de maneira integrada. Dessa forma, o conjunto das informações é apresentado de maneira desconexa, limitada, sem criticidade e coerência (^{Siddaway et al., 2019}). Outro estudo aponta como problema a construção da estratégia de busca e a análise crítica da qualidade dos estudos incluídos. Sobre esse último aspeto, os autores fazem a reflexão de que em determinadas áreas do conhecimento a qualidade não acompanha o aumento das publicações. Dessa forma, a validade de uma revisão também depende da validade das interpretações dos estudos empíricos (^{Costa et al., 2015}). Um estudo brasileiro sobre a qualidade metodológica das revisões sistemáticas, cuja base foi de artigos publicados em periódicos da área de Psicologia, verificou uma qualidade média (5,39 pontos) na metodologia das revisões, sendo 11 a pontuação maxíma do instrumento de avaliação. Embora tenha sido identificada uma tendência de aumento das publicações, esta não foi acompanhada pelo aumento da qualidade metodológica dos estudos. Os autores destacam a ausência de formas robustas de análise e a dificuldade em conceituar o tipo de pesquisa. Além disso, ressaltam que os itens do instrumento de avaliação tratam de requisitos mínimos para a escrita de uma revisão (^{Zoltowski et al., 2014}). Outro estudo realizado a partir de 25 revisões do tipo overviews, conduzidas na área da Educação, verificou a ausência da explicitação de métodos rigorosos e do percurso metodológico. Parte das revisões selecionadas no estudo não apresentaram detalhes sobre a busca e seleção das publicações, e o processo de codificação dos resultados. De acordo com os autores, esses aspetos refletem a validade e a relevância das overviews analisadas, e sinalizam a necessidade de maior desenvolvimento deste método de revisão e das ferramentas que visam avaliar a sua qualidade (^{Polanin et al., 2016}). Reconhece-se que a RL é um processo de trabalho complexo e árduo, que se mostra desafiador diante da necessidade de coerência interna, abrangência na busca de estudos, transparência e rigor em todas as etapas de desenvolvimento. Assim, destaca-se a importância de utilizar um software para dar suporte para a organização das etapas de revisão e dos achados, de forma a obter sínteses coerentes e robustas, que contribuam para a produção de conhecimentos (^{Soares, 2019}). Considera-se que o percurso de revisão é influenciado pelo propósito e pela experiência dos pesquisadores em relação ao método e ao tema de investigação, pela quantidade e qualidade das publicações, pelo acesso e domínio dos recursos, pela perspetiva teórica e metodológica, e pelo tempo de desenvolvimento. O processo de revisão, por exemplo, pode ser otimizado por meio da utilização de softwares que apoiam a organização, o tratamento e a análise dos dados. Eles também reforçam a adequação das etapas do percurso metodológico e promovem a credibilidade às evidências científicas (^{Fornari & Pinho, 2019}). Assim, os softwares potencializam a construção das revisões por meio da organização dos dados, e influenciam no tempo de duração, na transparência metodológica e no trabalho colaborativo entre os membros da equipe de investigação (^{Dixon-Woods et al., 2001}; ^{Grant & Booth, 2009}). Estudo salienta a utilidade dos softwares específicos para revisão associados aos softwares de análise qualitativa. Segundo os autores, o uso de software torna a análise dos dados mais gerenciável e transparente, favorece a tomada de decisões, a codificação e agregação dos temas. No caso dos softwares específicos, apresentam funções e ferramentas que possibilitam a auditoria de todas as etapas de revisão, enquanto os softwares de análise qualitativa apoiam a análise dos dados e a produção do relatório final (^{Soilemezi & Linceviciute, 2018}). A Revisão da Literatura sobre o uso de ferramentas digitais como apoio para o desenvolvimento de revisões verificou que as ferramentas específicas foram fundamentais na etapa de seleção dos documentos e no tratamento dos dados. Contudo, apesar de serem específicas para revisões, não foram utilizadas em todas as etapas metodológicas. No que se refere às ferramentas de análise qualitativa, foram primordiais na etapa de tratamento e síntese dos dados (^{Fornari et al., 2019}). Outro estudo, realizado a partir de uma revisão sistemática sobre o impacto dos softwares de análise qualitativa na reflexividade dos pesquisadores, verificou que os softwares foram responsáveis pelo aprimoramento da coleta, exploração e codificação dos dados. A utilização desses softwares também potencializou as ações, análises e interpretações dos investigadores (^{Woods et al., 2016).} Neste contexto, salienta-se que o software webQDA, originalmente criado para apoio da análise de dados qualitativos, tem continuamente buscado aprimorar as suas funcionalidades, com o intuito de responder às necessidades apresentadas pelos investigadores. Desde 2019, a sua equipa de colaboradores tem-se dedicado ao aprimoramento de uma ferramenta para apoiar a elaboração de diferentes tipos de revisões (Fornari et al., 2019). No caso da RL, o webQDA permite a importação direta dos metadados extraídos das bases de dados ou dos gestores de referências bibliográficas. A importação dos metadados facilita a inserção de grande volume de dados de forma sincronizada, otimizando o armazenamento, a identificação e a seleção dos artigos, principalmente daqueles duplicados de maneira automática (Fornari & Pinho, 2019). Também possibilita a participação de mais de um revisor num projeto, o que dá credibilidade à seleção das publicações e a codificação dos resultados, uma vez que diminui o viés interpretativo e a probabilidade de perder estudos e informações relevantes, aumentando o rigor (^{Soilemezi & Linceviciute, 2018)}. Por meio do webQDA, as sínteses do conhecimento são representadas no formato de texto, quadro e figura. Essas representações beneficiam a ampliação da análise e interpretação das sínteses, proporcionando novas possibilidades para compreensão e visualização dos resultados de uma revisão (Fornari & Pinho, 2019). Contudo, essa pesquisa evidência a necessidade de aprimoramento das funcionalidades do webQDA para a RL, principalmente nas etapas de seleção e avaliação dos estudos por meio do trabalho duplo-cego, que atualmente é permitido somente na fase de codificação dos dados. Também sugere-se a criação de mapa visual relacionado à etapa de seleção dos estudos, pois o utilizador apenas tem acesso a essa ferramenta nos Sistemas de Codificação e Questionamento.