SciELO - Scientific Electronic Library Online

 
vol.10Phone Interviews: Perspectives and Uses During The Covid-19 PandemicMétodos e dados visuais em Investigação Qualitativa: Natureza, Função e Exemplo Prático com uso de Fotografias author indexsubject indexarticles search
Home Pagealphabetic serial listing  

Services on Demand

Journal

Article

Indicators

Related links

  • Have no similar articlesSimilars in SciELO

Share


New Trends in Qualitative Research

On-line version ISSN 2184-7770

NTQR vol.10  Oliveira de Azeméis June 2022  Epub July 01, 2022

https://doi.org/10.36367/ntqr.10.2022.e512 

Artigo Original

Revisão da Literatura com apoio de ferramentas digitais: avanços e desafios

Literature Review with the support of digital tools: advances and challenges

1 Escola de Enfermagem da Universidade de São Paulo, Brasil

2 Universidade de Aveiro, Portugal


Resumo:

Enquadramento: A Revisão da Literatura é uma etapa importante em qualquer projeto de pesquisa. Saber como fazer uma revisão por meio de ferramentas digitais pode potenciar a colaboração entre pesquisadores e, deste modo, obter resultados mais relevantes. Nos ambientes digitais o trabalho colaborativo é essencial para a criação de conhecimentos; assim, utilizar ferramentas que permitam o compartilhamento de saberes, experiências e recursos é uma via de melhorar a Revisão da Literatura. Objetivos: Apresentar uma Revisão da Literatura feita por meio de ferramentas digitais; reportar os passos sequenciais desta trajetória; refletir sobre a utilização do webQDA para análise qualitativa de Revisão da Literatura. Organização do capítulo: O capítulo inicia com uma breve introdução sobre o tema, seguida pela sessão de apresentação de Revisão da Literatura com o apoio de ferramenta digital. Nesta sessão, serão abordadas as principais etapas de uma revisão e de que maneira se aplicam ao webQDA. Complementarmente, é apresentada um exemplo de análise bibliométrica. Ao final é realizada uma reflexão sobre o desenvolvimento da Revisão da Literatura com o apoio das ferramentas digitais, destacando as principais potencialidades do uso desta tecnologia para a produção de sínteses qualitativas. Considerações finais: As ferramentas digitais despontam como um importante apoio aos pesquisadores para a elaboração da Revisão da Literatura, principalmente nas etapas de seleção, tratamento e síntese dos estudos. Essas ferramentas também favorecem a otimização da organização dos dados, a transparência do percurso metodológico e a credibilidade das evidências científicas. O estudo também revela novas oportunidades de investigação a partir da combinação de diferentes abordagens metodológicas, como a análise bibliométrica (quantitativa) e a análise de conteúdo (qualitativa).

Palavras-chave: Revisão da Literatura; Pesquisa qualitativa; Ferramentas digitais; webQDA.

Abstract:

Framework: Literature Review is an important step in any research project. Knowing how to review through digital tools can enhance collaboration between researchers and thus obtain more relevant results. In digital environments, collaborative work is essential for the creation of knowledge; therefore, using tools that allow the sharing of knowledge, experiences and resources is a way to improve the Literature Review. Goals: To present a Literature Review made using digital tools; report the sequential steps of this trajectory; reflect on the use of webQDA for qualitative analysis of Literature Review. Chapter organization: The chapter starts with a brief introduction on the subject, followed by the Literature Review presentation session with the support of a digital tool. This session will cover the main steps of a review and how they apply to webQDA. In addition, an example of bibliometric analysis is presented. At the end, there is a reflection on the development of Literature Review with the support of digital tools, highlighting the main potentialities of using this technology to produce qualitative syntheses. Final considerations: Digital tools emerge as an important support to researchers for the elaboration of Literature Review, especially in the stages of selection, treatment, and synthesis of studies. These tools also favour the optimization of data organization, the transparency of the methodological path and the credibility of scientific evidence. Also, the study reveals new research opportunities from the combination of different methodological approaches, such as bibliometric analysis (quantitative) and content analysis (qualitative).

Keywords: Literature review; Qualitative research; Digital tools; webQDA.

1.Introdução

De acordo com editorial da revista Review of Educational Research, os artigos de revisão podem ser considerados como um edifício, no qual o tijolo e a argamassa são representados pela produção académica. O olhar aprofundado dos investigadores para o edifício possibilita novos pontos de vista sobre um determinado tema ou uma questão de investigação. Também compreende-se que os artigos de revisão de qualidade permitem conformar o futuro da pesquisa e da prática profissional (Murphy et al., 2017). Os artigos de revisão de qualidade costumam agregar, sintetizar e criticar a produção acadêmica, proporcionam uma impressão geral da extensão, natureza e qualidade da evidência científica e iluminam aquilo que é conhecido ou necessário conhecer (Siddaway et al., 2019). As revisões têm como potencialidade dar sentido para um grande volume de informações que têm a capacidade de fundamentar políticas públicas e orientar pesquisadores e profissionais. Portanto, consistem num importante instrumento de translação do conhecimento. A Revisão da Literatura (RL) também é uma etapa fundamental para o desenvolvimento de um projeto de investigação, uma vez que analisa o conhecimento produzido sobre o tema, apoia no refinamento da questão de investigação tornando-a mais clara e objetiva, evidencia as perspetivas teórico-metodológicas, os resultados obtidos e identifica as lacunas existentes (Soares, 2019). A construção de qualquer projeto de investigação implica em estabelecer uma relação precisa entre aquilo que se deseja responder e o conhecimento existente (Snyder, 2019). A precisão de uma RL envolve o aprofundamento e o rigor na análise dos dados. Os resultados, quando agrupados de maneira significativa, permitem melhorar a compreensão de um fenómeno e fornecer novas possibilidades de investigação. Ao mesmo tempo, requer a descrição detalhada da identificação e seleção das publicações científicas, a fim de que possa ser replicada e atualizada, garantido o contínuo desenvolvimento (Palmatier et al., 2018). O uso de ferramentas digitais desponta, como um importante apoio para a organização, a colaboração e o aprofundamento das etapas da RL. Se por um lado a internet e a existência de bases de dados referenciais permite o acesso a uma elevada quantidade de dados e informações publicadas, por outro lado verifica-se a necessidade de competência para lidar e avaliar essas informações. Nesta perspetiva, salienta-se que diferentes ferramentas digitais são disponibilizadas e cabe ao pesquisador selecionar aquela que permite trabalhar de modo eficiente e colaborativo. Exemplos de incremento de produtividade são dados pelo uso de ferramentas de gestão bibliográfica. Tradicionalmente, o pesquisador tinha um árduo trabalho manual para referenciar as publicações científicas; atualmente, com o auxílio de gestores bibliográficos, aumentou a produtividade da escrita acadêmica através da referenciação automática. Por outro lado, com a emergência de bases referenciais online, novos desafios surgiram sobre como buscar, recolher, selecionar e organizar a informação proveniente destas fontes de dados. Existem diversas ferramentas de apoio à pesquisa, mas saber decidir qual é a mais conveniente num determinado momento requer um diagnóstico das suas características e o tempo de aprendizagem, não esquecendo que estas ferramentas estão em permanente evolução da sua usabilidade. Neste capítulo é apresentada uma RL feita por meio de ferramenta digital, desde a etapa de seleção dos estudos até a síntese qualitativa das evidências. Para além de reportar os passos sequenciais desta trajetória, procura-se refletir sobre a utilização do webQDA para análise qualitativa de uma revisão da literatura. O webQDA é um software destinado a pesquisadores de diferentes áreas que visam analisar dados qualitativos, individual e de modo colaborativo, de forma síncrona ou assíncrona. Ele tem como vantagens a simplicidade de uso, aprendizagem rápida e adaptação a diferentes tipos de investigação. O acesso ao webQDA é por meio da web, sendo compatível com todos os sistemas operacionais. Permite o tratamento de fontes de texto, imagem, vídeo e áudio. O utilizador pode editar, visualizar, vincular e organizar os documentos, criar categorias, códigos, controles, filtros e consultas para responder às questões que emergem da investigação (Costa & Amado, 2018).

2. Revisão da Literatura com apoio de ferramenta digital

Esta seção apresentará o exemplo de uma RL apoiada pelo software de análise qualitativa webQDA (Costa et al., 2019). A escolha desse software se justifica pelo fato das autoras apresentarem experiência consolidada no conhecimento e na utilização das suas funcionalidades para o desenvolvimento desse tipo de pesquisa.

2.1 Etapas metodológicas da Revisão da Literatura aplicadas no webQDA

Revisão da Literatura é um termo genérico que cobre uma vasta gama de assuntos sobre o fornecimento de conjuntos de publicações e a sua análise, em determinados períodos de tempo. Chris Hart (2006) define como sendo: A seleção de documentos disponíveis sobre um tópico que contém informações, dados, ideias e evidências, relatado sobre um determinado ponto de vista de modo a atingir um objetivo ou a exprimir uma certa visão sobre um assunto e como este foi pesquisado com uma avaliação desses documentos em relação à pesquisa que está sendo proposta. (p. 13) A principal noção sobre a RL que é preciso reter é de que não é um processo com um único modelo. Tradicionalmente assume a forma narrativa e descritiva de uma amostra de publicações. O modo de fazer a revisão depende dos seus objetivos, dos recursos existentes e principalmente do conhecimento prévio do pesquisador. Num artigo de 2009 foram identificados 14 tipos de revisão (Grant & Booth, 2009) o que leva a crer que atualmente poderíamos encontrar novas tipologias. Assim, encontra-se uma variedade de termos que indicam diversos métodos de recolha, de análise e de síntese, como, por exemplo, a meta-análise, a revisão crítica e o estado de arte, entre outras. Na realidade, para construir uma sólida base teórica, por vezes, faz-se uma revisão composta por revisão seminal, revisão sistemática e revisão integrativa (Pinho & Leite, 2014). De forma simplista é possível considerar dois grandes tipos de revisão: revisão tradicional (ou não sistemática) e revisão sistemática. Ambas apresentam vantagens e desvantagens e conhecer as suas caraterísticas ajuda a decidir qual a mais adequada para responder a determinada questão de revisão e, por vezes, podem-se revelar complementares (Dijkers, 2009). Se tradicionalmente liam-se livros e enciclopédias e tomavam-se notas para se iniciar uma procura na biblioteca por artigos e livros, na revisão sistemática o acesso à informação dá-se por meio das bases de dados online e da utilização de palavras-chave, termos e filtros de busca. Contudo, em comum deve haver a preocupação de definir o tópico e de garantir a qualidade das fontes de informação. Normalmente é maior o volume de informação recolhida na revisão sistemática, o que permite fazer análises descritivas quantitativas sobre os autores, os países, as instituições, a produção ao longo do tempo, entre outros itens. Neste contexto, também considera-se que as metodologias qualitativas e quantitativas podem ser complementares, originando estudos iniciados numa perspetiva abrangente disponibilizada por mapas elaborados a partir de estudos bibliométricos (Moresi et al., 2020) e complementados com revisões sistemáticas e ou sínteses qualitativas (Dixon-Woods et al., 2006; Pedrosa et al., 2019). Segundo Tranfield et al. (2003, p. 209) , a Revisão Sistemática (RS) pode ser definida como "um processo replicável, científico e transparente". Essa abordagem processual pretende minimizar o viés através de uma recolha exaustiva de estudos publicados e do relato do percurso metodológico onde estão implícitas as decisões, os procedimentos e as conclusões dos revisores (Page et al., 2021). Apesar da sua origem e intensa utilização serem reportadas pela área da Saúde, verificou-se uma difusão para as demais áreas do conhecimento com as devidas adaptações e adequações. Na perspetiva da Saúde, a RS requer uma revisão objetiva e completa de todas as publicações disponíveis sobre determinado tópico com vista a fundamentar a prática clínica por meio de evidência (Parums, 2021). De modo genérico, a RL pode ser organizada em três etapas sequenciais:

    Tornando essas três etapas sequenciais, facilita a realização do trabalho em tempo hábil. Diante do uso dos resultados muitas vezes retoma-se o processo de revisão e este processo acaba por ser uma espiral de sucessivos ciclos de operacionalização e refinamento.

    2.1.1 Exemplo de Revisão de Literatura com o webQDA

    Para fins didáticos dos leitores deste capítulo sobre de que maneira é possível desenvolver uma RL por meio do webQDA, as autoras elaboraram um protocolo de revisão que visa responder à seguinte questão: Como as ferramentas digitais são utilizadas para o desenvolvimento de Revisões da Literatura no contexto da pesquisa qualitativa? A questão dá a cada revisão uma estrutura particular e conduz as principais decisões a tomar durante o percurso metodológico. O desenvolvimento e a estrutura de uma questão de revisão incluem implícita e explicitamente assunções que ajudam a focar o estudo, a definir os critérios de elegibilidade das publicações e as informações que serão recolhidas e analisadas. Essas assunções podem estar associadas à amostra de estudo, aos conceitos sobre o objeto de estudo e aos cenários de estudo. O protocolo de revisão proposto pelas autoras apresentou os seguintes critérios de elegibilidade das publicações:

    - Foram incluídos somente estudos de revisão que utilizaram ferramentas digitais para o desenvolvimento de uma ou mais etapas da revisão, e estudos de abordagem qualitativa.

    - Foram excluídos estudos que tratavam do tema por meio de abordagem metodológica ou reflexiva, e estudos apresentados em conferências científicas de forma resumida.

    Os critérios de elegibilidade precisam ser explicitados na RL para determinar quais estudos são relevantes para a seleção e composição da amostra revisada. Esses critérios também são fundamentais para quando a revisão é realizada em equipa porque serão um mecanismo de facilitação da comunicação. Diante disso, definir os critérios de inclusão e exclusão delimita a área de interesse para o objetivo da revisão. Ao excluir, por exemplo, os estudos apresentados em conferências científicas de forma resumida não quer dizer que estes não são importantes para conhecer o estado da arte, mas que para esta revisão mostram-se limitados devido à apresentação sintetizada do método de pesquisa. Relembra-se que este exemplo é simplesmente didático, não se pretende esgotar todas as perspetivas de análise sobre o fenômeno da RL. Numa RL as fontes de informações podem ser diversas tais como artigos, livros, enciclopédias, resumos de conferências, dissertações e teses, bem como outras consideradas relevantes para cada estudo. Para efeitos deste capítulo, a seleção das fontes de informação recai sobre as bases de dados referenciais. Destaca-se que a seleção de quais bases de dados serão consultadas depende do âmbito e dos objetivos da revisão. Como as diversas bases de dados referenciais têm características distintas e abarcam diferentes tipos de publicações, há que ter algum conhecimento sobre essas características (Pinho & Diogo, 2018). A busca nas bases de dados é realizada por meio de descritores (termos e palavras-chave) associados aos operadores booleanos AND, OR ou NOT. A associação entre os descritores e os operadores booleanos constitui a estratégia de busca. Além disso, a equipa de pesquisa pode aplicar filtros relativos aos metadados, ao limite temporal, à área de conhecimento, ao país e ao tipo de documento. A estratégia de busca deve detalhar as fontes de informação e o modo como serão pesquisadas. Indicar o âmbito, ou seja, se pretende recolher informação exaustiva em várias bases de dados e diferentes línguas, ou se é uma procura mais focada, restrita a algumas revistas científicas e uma língua, são caminhos da estratégia a definir, explicar, justificar e respeitar. Nenhuma base de dados permite uma recolha exaustiva, é necessário ter a noção de que as publicações recolhidas não contemplam toda a publicação definida pela questão de revisão. Por exemplo, comparando a Web of Science e a Scopus, verifica-se que a Scopus tem um âmbito mais alargado, onde as Ciências Sociais estão amplamente representadas. A Scopus tem um caráter multidisciplinar e maior cobertura global, o que são argumentos para a presente escolha para efetuar a recolha de informação usada para elaborar este capítulo (Figura 1). O tema é a RL, especificamente no âmbito das ferramentas digitais usadas para apoiar a análise qualitativa da informação recolhida. Deste modo, foi desenvolvida a seguinte estratégia de busca: (“software” OR "computer software" OR "software tool" OR "computer applications softwares") AND (“review” OR "systematic review") AND ("qualitative research" OR "qualitative method"). Neste caso, também foi aplicado o filtro das palavras-chave, ou seja, a base de dados realizou a busca das publicações que haviam citado todos ou parte desses termos como descritores nos metadados. Ao final da busca obteve-se 137 referências.

    Figura 1 Busca dos artigos na base dados Scopus. 

    As bases de dados permitem a exportação das referências encontradas por meio da estratégia de busca de diferentes formas a depender da preferência do pesquisador. No caso desta revisão, optou-se pela exportação da seleção diretamente da base de dados no formato de arquivo BibTex, porém são possíveis os formatos bibliográficos XML e RIS. Também é possível a exportação das publicações selecionadas na base de dados para um gestor de referências (Mendeley, EndNote, Zotero, entre outros). Existem diferentes ferramentas desse tipo e a decisão de qual escolher prende-se com as suas características que estão em permanente evolução. Algumas dessas ferramentas podem ajudar não só nas citações automáticas em texto, como na partilha de conjuntos de referências de modo colaborativo (Perkel, 2020). O webQDA permite a importação automática dos arquivos no formato BibTex, XML e RIS. Dessa forma, a etapa de seleção das publicações de acordo com o título e o resumo pode ser realizada logo após a busca na base de dados diretamente no software (Figura 2).

    Figura 2 Inserção dos metadados da base de dados no webQDA. 

    Na Figura 2 é possível observar que as 137 referências exportadas da Scopus foram inseridas no webQDA por meio do sistema de Fontes. Automaticamente, o software faz a codificação do tipo de publicação, do ano, dos autores, das palavras-chave e do estado (incluído, excluído e duplicado). Mediante a inserção dos metadados no webQDA, por meio do sistema de Fontes > anotações > notas > fonte > carregar metadados, é criada uma pasta chamada "Revisão da Literatura". Nesta pasta, todas as referências apresentam o estado "incluído", com exceção das referências repetidas que migram automaticamente para o estado "duplicado". No caso em tela, não foram identificados artigos duplicados ma vez que foi consultada somente uma base de dados. A primeira etapa de seleção das referências bibliográficas ocorreu mediante a leitura do título e do resumo, seguida pela aplicação dos critérios de inclusão e de exclusão previstos no protocolo de revisão (Figura 3). As referências que não correspondiam aos critérios de inclusão tinham o seu estado alterado para "excluído".

    Figura 3 Metadados selecionados para a revisão de acordo o título e o resumo. 

    No presente exemplo, a amostra total importada da base de dados Scopus (137 publicações), duas referências foram excluídas previamente por não apresentarem metadados para a análise. Dessa forma, foram analisados o título e o resumo de 135 publicações. Após essa primeira etapa, foram excluídas 109 referências que não tratavam de Revisão da Literatura com abordagem qualitativa ou que não utilizaram ferramenta digital em pelo menos uma das etapas da metodologia. Dessa forma, avançaram para a etapa de leitura na íntegra 26 publicações (Figura 4).

    Figura 4 Metadados selecionados para a leitura na íntegra.  

    As 26 publicações selecionadas para a leitura na íntegra foram inseridas por meio do sistema de Fontes internas no formato PDF (Figura 5).

    Figura 5 Artigos selecionados para a leitura na íntegra. 

    Posteriormente a leitura na íntegra, 06 publicações foram excluídas por não corresponderem aos critérios de elegibilidade. Dessa forma, a RL apresentou como amostra final 20 artigos selecionados, que confirmaram o seu alinhamento com o objetivo do presente estudo (Quadro 1).

    Quadro 1 Relação de artigos selecionados de acordo com o título, o ano, local e tipo de revisão. 

    Dos 20 artigos selecionados, 11 foram publicados no ano de 2021, seguido pelo ano de 2020 (03 artigos), 2017 (03 artigos), 2019 (02 artigo) e 2018 (01 artigos). Estes dados revelam um crescente aumento no número de publicações sobre o tema nos últimos anos. No que se refere ao tipo de revisão, destacou-se a revisão sistemática com 15 publicações e a revisão integrativa com 02 publicações. Sobre as ferramentas digitais mais utilizadas, evidenciou-se o NVivo (12 publicações) e o Covidence (05 publicações). Também foram citadas como ferramentas RevMan, Rayyan QCRI, ATLAS.ti, Refworks, EPPI-Reviewer e Quirkos. Todos os estudos selecionados estavam vinculados à área da Saúde. A partir da questão de revisão, as autoras exploraram sobre o uso das ferramentas digitais em quatro etapas principais da revisão: a) seleção dos artigos; b) avaliação da qualidade e relevância; c) tratamento dos dados; d) síntese dos dados. Para tanto, foi utilizada a funcionalidade dos Códigos Árvore do sistema de Codificação (Figura 6).

    Figura 6 Tratamento dos dados por meio de categorias temáticas no webQDA. 

    A análise dos dados revelou que nenhuma ferramenta digital foi utilizada para a avaliação da qualidade e da relevância dos artigos incluídos na revisão, apesar do uso de instrumentos validados para isso ter sido amplamente citado. Outro facto que chama a atenção é as ferramentas digitais terem apoiado prioritariamente a etapa de tratamento dos dados. Esse aspeto pode estar associado à elevada utilização de software de análise qualitativa e ao baixo uso de software específico para revisão da literatura. No que se refere às sínteses de conhecimentos produzidas a partir da revisão, as ferramentas digitais podem apoiar na associação entre as diferentes formas de categorização dos dados, bem como fornecer quadros e mapas visuais que otimizam a leitura e a apresentação dos resultados. Neste exemplo prático, foi realizada a associação entre o tipo de revisão e o tipo de software citado na metodologia. Por meio da matriz do sistema de Questionamento, verifica-se que todos os tipos de ferramentas digitais identificados na revisão apoiaram o desenvolvimento de pelo menos uma revisão sistemática. Outra associação relevante para a síntese dos dados foi entre o tipo de software e as etapas da revisão nas quais foi utilizado (Figura 7). Através da matriz, percebe-se que os softwares específicos para revisão foram utilizados primordialmente para a etapa de seleção dos artigos, o mesmo não se aplica para os softwares de análise qualitativa. Essa matriz também ressalta o fato de ser utilizada mais de uma ferramenta digital concomitantemente para o atendimento das necessidades dos pesquisadores correspondentes às diferentes etapas da revisão.

    Figura 7 Associação entre o tipo de software citado na metodologia e as etapas da revisão. 

    Adicionalmente, ressalta-se que a síntese dos resultados pode-se apoiar na visualização dos resultados. A sua interpretação é a tarefa mais importante onde se faz a ligação entre a teoria, a questão de revisão e o conhecimento prévio e adquirido do utilizador de software. O trabalho colaborativo no decorrer de todo o percurso metodológico da revisão é fundamental para a validação da seleção dos estudos, da classificação e codificação dos dados empíricos. A validação dá-se por meio de um processo duplo cego, por meio do qual a análise das divergências e o seu posterior debate para atingir uma decisão consensual são fundamentais para a promoção da credibilidade das evidências científicas. No caso desta revisão, houve a participação de duas revisoras do início ao fim do projeto no webQDA (Figura 8). A gestora do projeto foi responsável pela seleção codificação das referências, enquanto a colaboradora foi responsável pela validação de todas as etapas.

    Figura 8 Trabalho colaborativo por meio do webQDA. 

    2.1.2 Exemplo de Análise Bibliométrica

    De modo a obter uma visão geral das publicações pode-se fazer uma análise exploratória das referências recolhidas através de uma análise bibliométrica. Apesar de ter sido recolhida uma pequena quantidade de referências, para efeitos didáticos serão usados os mesmos metadados do exemplo anterior, para fazer a análise bibliométrica. A análise bibliométrica pode ser desenvolvida através de diversas técnicas, de modo a fornecer informação sobre a evolução das publicações ao longo de um determinado período de tempo, quais os autores dessas publicações, as instituições e os países (Moresi & Pinho, 2021) . Assim pode-se iniciar com a seguinte questão: Como é a distribuição das publicações ao longo do período de recolha? A Figura 9 mostra que entre 2005 e 2016 recolheram-se menos de 10 publicações em cada ano deste período. A partir dessa data dá-se um incremento de publicações. Quais as áreas onde se situam os documentos recolhidos? Como é mostrado na Figura 9, a maioria dos documentos recolhidos situam-se na área da Medicina.

    Figura 9 Distribuição das publicações ano longo dos anos e por área do conhecimento 

    Para além destas estatísticas iniciais é possível considerar as citações como pistas para identificar as publicações com maior impacto numa determinada área, os seus autores e as revistas que podem ser consideradas mais relevantes como fonte de informação e como sugestão para futuras publicações (Moresi et al., 2021). Neste caso, ao recolher as publicações nas bases de dados deve-se ter o cuidado de selecionar a opção que nos permite obter também os metadados referentes às citações de cada publicação selecionada. De modo a relevar a estrutura temática da área, conduz-se uma análise de co-ocorrência dos termos e das palavras-chave. Foram detetados 4431 termos nos títulos e resumos, das 137 referências recolhidas do Scopus. A partir destes 4431 termos foi construída a Figura 10 que abarca os principais 49 termos, ou seja, aqueles que têm maior co-ocorrência.

    Figura 10 Co-ocorrência de termos no título e resumo. 

    A Figura 11 mostra a rede de palavras-chave considerando todas as palavras-chave que aparecem juntas em pelo menos 5 artigos. Ou seja, do total de 1950 palavras-chave identificadas nos 137 artigos recolhidos na Scopus, 124 palavras-chave estão dentro deste critério. A proximidade e espessura das linhas que conectam duas palavras-chave indicam a frequência com que co-ocorrem, e o tamanho de um nó indica a frequência da sua ocorrência.

    Figura 11 Co-ocorrência de palavras-chave.  

    A rede de co-ocorrência das palavras-chave indica 4 clusters. É possível identificar as palavras-chave que constituem cada cluster, o que pode indiciar diversas abordagens do tema. A exploração desta ferramenta depende da competência no seu uso e do conhecimento sobre a temática. O relatório da RL aparece no final, mas este é construído desde o início da revisão. A metodologia deve estar o mais explícita possível. Os resultados devem abarcar a apresentação da análise descritiva e as sínteses feitas. Estas sínteses devem contribuir para dar a resposta à questão de revisão. As sínteses num nível mais básico podem juntar informação de diversas publicações para cada código, apresentando alguns excertos de publicações, ou apresentando tabelas resultantes de questionamento aos dados após codificados. O nível seguinte é o da interpretação desses resultados. A integração deste tratamento de dados e informação irá depender do conhecimento prévio, da leitura e tratamento da bibliografia selecionada e do alinhamento com a questão de revisão. O modo de apresentação deste relatório depende da audiência a atingir. Se pretender contribuir para o desenvolvimento teórico de um determinado tópico a opção pode ser a publicação de um artigo ou capítulo, mas se o objetivo é o de fornecer informação para a melhoria de funcionalidades, de um determinado software de apoio à RL, o produto final pode ser um relatório onde as funcionalidades tenham uma preponderância e o tratamento dos dados pode ser aprofundado nessa área através de uma análise complementar de questionário a utilizadores de software. As limitações, da revisão realizada, devem ser identificadas e indicadas. Estas limitações devem ser vistas sobre em que medida a revisão atinge os objetivos previamente identificados, bem como a resposta à questão de revisão.

    2.2 Reflexões sobre a Revisão da Literatura por meio de ferramentas digitais

    Apesar da revisão da literatura representar uma importante forma de sistematizar e dar sentido aos resultados de pesquisas empíricas para a produção de evidências, quando realizadas sem rigor metodológico, pode ser uma tarefa demorada e de difícil desenvolvimento de novos conhecimentos, bem como se tornar ineficaz devido à falta de direcionamento para futuras investigações. Por consequência, por vezes existe a divulgação de suposições errôneas (Snyder, 2019) que irão implicar negativamente nas práticas profissionais ou políticas públicas. Autores descrevem como um dos problemas para o desenvolvimento de revisões a falta de experiência dos pesquisadores que reflete na sua dificuldade de analisar os dados de maneira integrada. Dessa forma, o conjunto das informações é apresentado de maneira desconexa, limitada, sem criticidade e coerência (Siddaway et al., 2019). Outro estudo aponta como problema a construção da estratégia de busca e a análise crítica da qualidade dos estudos incluídos. Sobre esse último aspeto, os autores fazem a reflexão de que em determinadas áreas do conhecimento a qualidade não acompanha o aumento das publicações. Dessa forma, a validade de uma revisão também depende da validade das interpretações dos estudos empíricos (Costa et al., 2015). Um estudo brasileiro sobre a qualidade metodológica das revisões sistemáticas, cuja base foi de artigos publicados em periódicos da área de Psicologia, verificou uma qualidade média (5,39 pontos) na metodologia das revisões, sendo 11 a pontuação maxíma do instrumento de avaliação. Embora tenha sido identificada uma tendência de aumento das publicações, esta não foi acompanhada pelo aumento da qualidade metodológica dos estudos. Os autores destacam a ausência de formas robustas de análise e a dificuldade em conceituar o tipo de pesquisa. Além disso, ressaltam que os itens do instrumento de avaliação tratam de requisitos mínimos para a escrita de uma revisão (Zoltowski et al., 2014). Outro estudo realizado a partir de 25 revisões do tipo overviews, conduzidas na área da Educação, verificou a ausência da explicitação de métodos rigorosos e do percurso metodológico. Parte das revisões selecionadas no estudo não apresentaram detalhes sobre a busca e seleção das publicações, e o processo de codificação dos resultados. De acordo com os autores, esses aspetos refletem a validade e a relevância das overviews analisadas, e sinalizam a necessidade de maior desenvolvimento deste método de revisão e das ferramentas que visam avaliar a sua qualidade (Polanin et al., 2016). Reconhece-se que a RL é um processo de trabalho complexo e árduo, que se mostra desafiador diante da necessidade de coerência interna, abrangência na busca de estudos, transparência e rigor em todas as etapas de desenvolvimento. Assim, destaca-se a importância de utilizar um software para dar suporte para a organização das etapas de revisão e dos achados, de forma a obter sínteses coerentes e robustas, que contribuam para a produção de conhecimentos (Soares, 2019). Considera-se que o percurso de revisão é influenciado pelo propósito e pela experiência dos pesquisadores em relação ao método e ao tema de investigação, pela quantidade e qualidade das publicações, pelo acesso e domínio dos recursos, pela perspetiva teórica e metodológica, e pelo tempo de desenvolvimento. O processo de revisão, por exemplo, pode ser otimizado por meio da utilização de softwares que apoiam a organização, o tratamento e a análise dos dados. Eles também reforçam a adequação das etapas do percurso metodológico e promovem a credibilidade às evidências científicas (Fornari & Pinho, 2019). Assim, os softwares potencializam a construção das revisões por meio da organização dos dados, e influenciam no tempo de duração, na transparência metodológica e no trabalho colaborativo entre os membros da equipe de investigação (Dixon-Woods et al., 2001; Grant & Booth, 2009). Estudo salienta a utilidade dos softwares específicos para revisão associados aos softwares de análise qualitativa. Segundo os autores, o uso de software torna a análise dos dados mais gerenciável e transparente, favorece a tomada de decisões, a codificação e agregação dos temas. No caso dos softwares específicos, apresentam funções e ferramentas que possibilitam a auditoria de todas as etapas de revisão, enquanto os softwares de análise qualitativa apoiam a análise dos dados e a produção do relatório final (Soilemezi & Linceviciute, 2018). A Revisão da Literatura sobre o uso de ferramentas digitais como apoio para o desenvolvimento de revisões verificou que as ferramentas específicas foram fundamentais na etapa de seleção dos documentos e no tratamento dos dados. Contudo, apesar de serem específicas para revisões, não foram utilizadas em todas as etapas metodológicas. No que se refere às ferramentas de análise qualitativa, foram primordiais na etapa de tratamento e síntese dos dados (Fornari et al., 2019). Outro estudo, realizado a partir de uma revisão sistemática sobre o impacto dos softwares de análise qualitativa na reflexividade dos pesquisadores, verificou que os softwares foram responsáveis pelo aprimoramento da coleta, exploração e codificação dos dados. A utilização desses softwares também potencializou as ações, análises e interpretações dos investigadores (Woods et al., 2016). Neste contexto, salienta-se que o software webQDA, originalmente criado para apoio da análise de dados qualitativos, tem continuamente buscado aprimorar as suas funcionalidades, com o intuito de responder às necessidades apresentadas pelos investigadores. Desde 2019, a sua equipa de colaboradores tem-se dedicado ao aprimoramento de uma ferramenta para apoiar a elaboração de diferentes tipos de revisões (Fornari et al., 2019). No caso da RL, o webQDA permite a importação direta dos metadados extraídos das bases de dados ou dos gestores de referências bibliográficas. A importação dos metadados facilita a inserção de grande volume de dados de forma sincronizada, otimizando o armazenamento, a identificação e a seleção dos artigos, principalmente daqueles duplicados de maneira automática (Fornari & Pinho, 2019). Também possibilita a participação de mais de um revisor num projeto, o que dá credibilidade à seleção das publicações e a codificação dos resultados, uma vez que diminui o viés interpretativo e a probabilidade de perder estudos e informações relevantes, aumentando o rigor (Soilemezi & Linceviciute, 2018). Por meio do webQDA, as sínteses do conhecimento são representadas no formato de texto, quadro e figura. Essas representações beneficiam a ampliação da análise e interpretação das sínteses, proporcionando novas possibilidades para compreensão e visualização dos resultados de uma revisão (Fornari & Pinho, 2019). Contudo, essa pesquisa evidência a necessidade de aprimoramento das funcionalidades do webQDA para a RL, principalmente nas etapas de seleção e avaliação dos estudos por meio do trabalho duplo-cego, que atualmente é permitido somente na fase de codificação dos dados. Também sugere-se a criação de mapa visual relacionado à etapa de seleção dos estudos, pois o utilizador apenas tem acesso a essa ferramenta nos Sistemas de Codificação e Questionamento.

    3.Considerações Finais

    Neste capítulo focou-se na Revisão da Literatura feita por meio de ferramentas digitais. As competências de planeamento, de uso de metodologia científica e de literacia sobre informação são fundamentais para realizar uma revisão. Selecionar as ferramentas digitais e aprender a rentabilizar o seu uso poderá ter um impacto na qualidade do trabalho e na diminuição do tempo para apresentar resultados válidos e úteis. De notar que as limitações que por vezes se atribui ao uso de ferramentas digitais tem a sua origem no utilizador que não identifica as funcionalidades e as suas potencialidades ou tem a expectativa que a ferramenta digital escolhida irá fazer tudo automaticamente. Relembra-se que as ferramentas digitais são um meio e cabe ao utilizador saber o que pretende fazer e como fazer. Ao mesmo tempo, a melhoria das funcionalidades das ferramentas digitais depende do seu uso e da identificação por parte dos utilizadores das suas lacunas, que poderão ter uma resposta adequada por parte dos desenvolvedores dessas ferramentas. Diante disso, considera-se que a discussão sobre o uso de ferramentas digitas no desenvolvimento de revisões não esteja restrita aos utilizadores e desenvolvedores, mas que seja expandida para o espaço académico e científico, a fim de que as funcionalidades propostas sejam constantemente aprimoradas e validades em prol da geração de evidências científicas de qualidade.

    4. Referências

    Costa, A. B., Zoltowski, A. P. C., Koller, S. H., & Teixeira, M. A. P. (2015). Construction of a scale to assess the methodological quality of systematic reviews. Ciência & Saúde Coletiva, 20, 2441-2452. https://doi.org/10.1590/1413-81232015208.10762014 [ Links ]

    Costa, A. P., & Amado, J. (2018). Análise de Conteúdo Suportada por Software. Aveiro: Ludomedia. [ Links ]

    Costa, A. P., Soares, C. B., Fornari, L. & Pinho, I. (2019). Revisão da Literatura com Apoio de Software - Contribuição da Pesquisa Qualitativa. Aveiro: Ludomedia . [ Links ]

    Dijkers, M. P. J. M. (2009). The Value of “Traditional” Reviews in the Era of Systematic Reviewing. American Journal of Physical Medicine & Rehabilitation, 88(5), 423-430. DOI: 10.1097/phm.0b013e31819c59c6 [ Links ]

    Dixon-Woods, M., Bonas, S., Booth, A., Jones, D. R., Miller, T., Sutton, A. J., Shaw, R. L., Smith, J. A., & Young, B. (2006).How can systematic reviews incorporate qualitative research? A critical perspective. Qualitative Research, 6(1), 27-44. https://doi.org/10.1177/1468794106058867 [ Links ]

    Dixon-Woods, M., Fitzpatrick, R., & Roberts, K. (2001). Including qualitative research in systematic reviews: opportunities and problems. Journal of Evaluation in Clinical Practice, 7(2), 125-133. DOI: 10.1046/j.1365-2753.2001.00257.x. [ Links ]

    Fornari, L. F., & Pinho, I. (2019). Ferramentas digitais para revisão da literatura Revisão da Literatura com Apoio de Software: Contribuição da Pesquisa Qualitativa (pp. 15-20). Oliveira de Azemeis: Ludomedia. [ Links ]

    Fornari, L. F., Pinho, I., de Almeida, C. A., & Costa, A. P. (2019). Systematic Literature Review with Support of Digital Tools 9th IEEE Symposium on Computer Applications & Industrial Electronics (ISCAIE 2019) Kota Kinabalu, Malásia. [ Links ]

    Grant, M. J., & Booth, A. (2009). A typology of reviews: an analysis of 14 review types and associated methodologies. Health Information and Libraries Journal, 26(2), 91-108. DOI: 10.1111/j.1471-1842.2009.00848.x. [ Links ]

    Hart, C. (2006). Doing a literature review: Releasing the research imagination. London: SAGE. [ Links ]

    Moresi, E. A. D., & Pinho, I. (2021). Proposta de abordagem para refinamento de pesquisa bibliográfica. New Trends in Qualitative Research, 9, 11-20. https://doi.org/10.36367/ntqr.9.2021.11-20 [ Links ]

    Moresi, E. A. D., Pinho, I., Hartmann, V. C., de Oliveira Braga F., M., Pinho, C., & Costa, A. P. (2021). Learning Assessment: Mapping Research and Educational Policy Agendas (pp. 31-44). Cham: Springer International Publishing. [ Links ]

    Moresi, E. A. D., Pinho, I., Hartmann, V. C., Filho, M. d. O. B., Pinho, C., & Costa, A. P. (2020). Avaliação das Aprendizagens: um estudo bibliométrico. In: S. O. Sá, F. Freitas, P. Castro, M. G. Sanmamed & A. P. Costa (Eds.), Qualitative Research in Education: advances and challenges (Vol. 2, pp. 42-54). Aveiro: Ludomedia . [ Links ]

    Murphy, P. K., Knight, S. L., & Dowd, A. C. (2017). Familiar Paths and New Directions: Inaugural Call for Manuscripts. Review of Educational Research, 87(1), 3-6. https://doi.org/10.3102/0034654317691764 [ Links ]

    Page, M. J., McKenzie, J. E., Bossuyt, P. M., Boutron, I., Hoffmann, T. C., Mulrow, C. D., et al. (2021). The PRISMA 2020 statement: an updated guideline for reporting systematic reviews. Systematic Reviews, 10(1). https://doi.org/10.1136/bmj.n71 [ Links ]

    Palmatier, R. W., Houston, M. B., & Hulland, J. (2018). Review articles: purpose, process, and structure. Journal of the Academy of Marketing Science, 46(1), 1-5. [ Links ]

    Parums, D. V. (2021). Editorial: Review Articles, Systematic Reviews, Meta-Analysis, and the Updated Preferred Reporting Items for Systematic Reviews and Meta-Analyses (PRISMA) 2020 Guidelines. Medical science monitor: international medical journal of experimental and clinical research, 27, e934475-e934475. DOI: 10.12659/MSM.934475 [ Links ]

    Pedrosa, J., Leite, C., Rosa, M. J., & Pinho, I. (2019). Avaliação das Aprendizagens em Portugal: Um olhar transversal sobre os fundamentos teóricos, as políticas educativas e as práticas. IX Simpósio de Organização e Gestão Escolar: (Re)pensar a qualidade das organizações educativas: olhares sobre a educação básica, secundária e superior, Aveiro, Portugal, 07/11 - 08/11. [ Links ]

    Perkel, J. M. (2020). The Collaborative Reference Library. Nature, 585(7823), 149-150. [ Links ]

    Pinho, I., & Diogo, S. (2018). Enhancing the Visibility and Impact of Scholarly Research: an exploratory study on knowledge production settings. Revista Meta: Avaliação, 10(30), 502. https://dx.doi.org/10.22347/2175-2753v10i30.1606 [ Links ]

    Pinho, I., & Leite, D. (2014). Doing a literature review using content analysis - Research Networks Review. Poster CIAIQ 2014 - Congresso Ibero-Americano em Investigação Qualitativa, Badajoz, Espanha, 4 - 16 de Julho. [ Links ]

    Polanin, J. R., Maynard, B. R., & Dell, N. A. (2016). Overviews in Education Research: A Systematic Review and Analysis. Review of Educational Research, 87(1), 172-203. [ Links ]

    Siddaway, A. P., Wood, A. M., & Hedges, L. V. (2019). How to Do a Systematic Review: A Best Practice Guide for Conducting and Reporting Narrative Reviews, Meta-Analyses, and Meta-Syntheses. Annual Review of Psychology, 70(1), 747-770. DOI: 10.1146/annurev-psych-010418-102803 [ Links ]

    Snyder, H. (2019). Literature review as a research methodology: An overview and guidelines. Journal of Business Research, 104, 333-339. https://doi.org/10.1016/j.jbusres.2019.07.039 [ Links ]

    Soares, C. (2019). Revisão qualitativa da literatura com enfoque na revisão sistemática Revisão da Literatura com Apoio de Software: Contribuição da Pesquisa Qualitativa (pp. 3-15). Aveiro: Ludomedia . [ Links ]

    Soilemezi, D., & Linceviciute, S. (2018). Synthesizing Qualitative Research: Reflections and Lessons Learnt by Two New eviewers. International Journal of Qualitative Methods, 17(1). https://doi.org/10.1177/1609406918768014 [ Links ]

    Tranfield, D., Denyer, D., & Smart, P. (2003). Towards a Methodology for Developing Evidence-Informed Management Knowledge by Means of Systematic Review. British Journal of Management, 14(3), 207-222. https://doi.org/10.1111/1467-8551.00375 [ Links ]

    Woods, M., Macklin, R., & Lewis, G. K. (2016). Researcher reflexivity: exploring the impacts of CAQDAS use. International Journal of Social Research Methodology, 19(4), 385-403. https://doi.org/10.1080/13645579.2015.1023964 [ Links ]

    Zoltowski, A. P. C., Costa, A. B., Teixeira, M. A. P., & Koller, S. H. (2014). Methodological quality of systematic reviews in brazilian psychology journals quality of systematic reviews in psychology. Psicologia: Teoria e Pesquisa, 30(1), 97-104. https://doi.org/ 10.1590/S0102-37722014000100012 [ Links ]

    Recebido: 01 de Novembro de 2021; Aceito: 01 de Março de 2022

    Creative Commons License Este é um artigo publicado em acesso aberto sob uma licença Creative Commons