SciELO - Scientific Electronic Library Online

 
vol.7Desafios Colocados à Investigação ao Contexto e ao Investigador: Adaptação ao Investigador em Dificuldades e em Contexto DifícilAnálisis multimedia del impacto del confinamiento por COVID-19 en menores con autismo índice de autoresíndice de assuntosPesquisa de artigos
Home Pagelista alfabética de periódicos  

Serviços Personalizados

Journal

Artigo

Indicadores

Links relacionados

  • Não possue artigos similaresSimilares em SciELO

Compartilhar


New Trends in Qualitative Research

versão On-line ISSN 2184-7770

NTQR vol.7  Oliveira de Azeméis jun. 2021  Epub 15-Nov-2021

https://doi.org/10.36367/ntqr.7.2021.75-84 

Artigos Originais

Análise de aprendizagem: um estudo bibliométrico

Learning Analytics: a Bibliometric Study

Isabel Pinho1 
http://orcid.org/0000-0003-1714-8979

Eduardo Amadeu Dutra Moresi2 
http://orcid.org/0000-0001-6058-3883

1 Universidade de Aveiro, Portugal.

2 Programa de Educação da Universidade Católica de Brasília, Brasil.


Resumo:

Nos últimos anos a Análise da Aprendizagem tem atraído crescente atenção por investigadores, práticos e instituições. O ponto de partida deste estudo é a questão: Como realizar uma análise do estado da arte sobre análise de aprendizagem? Para responder a esta questão desenhamos um estudo exploratório de modo a obter uma visão geral do tema. Definimos a expressão de busca e as unidades de análise para recolher informação a partir da Web of Science. A análise dos dados teve o apoio VOSviewer (para gerar as redes de coocorrência de palavra-chave e de cocitações de referências citadas) e do Gephi (para o cálculo das métricas de análise, da identificação dos termos mais relevantes e das referências estruturantes do tema). Os resultados obtidos, para além de uma panorâmica geral, permitem gerar novas questões que irão estruturar a revisão da literatura baseada num modelo conceptual sólido. Este método permite evoluir da descrição dos artigos seminais e relevantes para uma análise mais estruturada e interligada.

Palavras-chave: Análise de Aprendizagem; Avaliação Educacional; Bibliometria; Análise de Redes de Documentos; Métodos mistos.

Abstract:

In recent years, Learning Analysis has attracted increasing attention by researchers, practitioners and institutions. The starting point is the question: How to conduct a state-of-the-art analysis of learning analytics? To answer this question, we designed an exploratory study to obtain an overview of the Learning Analysis theme. We define the search expression and the units of analysis to collect information from the Web of Science. The data analysis was supported by VOSviewer (to generate the networks of keyword co-occurrence and citation of cited references) and Gephi (for the calculation of analysis metrics, the identification of the most relevant terms and the structuring references of the theme). The results obtained, in addition to a general overview, allow us to generate new questions that will give the structure of the literature review, based on a solid conceptual model. This method allows evolving from the description of seminal and relevant articles to a more structured and interconnected analysis.

Keywords: Learning analytics; Educational Assessment; Bibliometrics; Document Network Analysis; Mixed methods.

1. Introdução

Diferentes definições têm sido apresentadas, mas apesar de algumas nuances a ideia comum tem a ver com a conversão de dados educacionais em ações que possam incrementar a experiência da aprendizagem (Ferguson, 2012; Sclater et al. 2016;Siemens, 2012). Houve um grande crescimento no campo da análise de aprendizagem na última década devido à nova disponibilidade de dados digitais criados a partir da interação dos estudantes com as plataformas tecnológicas de suporte aos processos de ensino e aprendizagem (Viberg et al. 2018). No entanto, devido a fatores como regulamentação governamental e falta de uniformidade nos aplicativos de recolha de dados, os sistemas de análise de aprendizagem demoraram a penetrar no cenário educacional formal (Manyika 2011).

A análise de aprendizagem insere-se em um vasto território designado por Avaliação Educacional cuja evolução tem estado alinhada com as mudanças dos objetivos da Educação, da evolução do curricula, das competências consideradas essenciais e dos diversos contextos institucionais e nacionais (James, 2010).

As primeiras abordagens de análise de aprendizagem eram limitadas à análise de dados de rastreamento ou estatísticas da web para descrever o comportamento do estudante em ambientes online de aprendizagem (Veenman, 2013). Uma ampla diversificação das abordagens iniciais de análise de aprendizagem aplicaram várias metodologias tais como análises descritivas, preditivas e prescritivas para oferecer diferentes perceções sobre ensino e aprendizagem (Berland et al. 2014). A análise descritiva usa dados obtidos de fontes como avaliações de cursos, pesquisas, sistemas de informação de estudantes e atividades registradas em sistemas de gestão de aprendizagem. A análise preditiva utiliza dados semelhantes dessas fontes e tenta medir o sucesso ou o fracasso da aprendizagem progressiva. A análise prescritiva implanta algoritmos para prever o sucesso do estudo, se os estudantes concluirão os cursos e para recomendar intervenções imediatas (Baker & Siemens 2015).

A investigação sobre a análise de aprendizagem também surgiu originalmente de colaborações entre a ciência da computação e investigadores de ciência da aprendizagem (Dawson et al. 2014). Trata-se de um campo que busca dar sentido aos dados educacionais para entender e melhorar os processos de aprendizagem (Long & Siemens, 2011) e é mais frequentemente usado em grandes conjuntos de dados (Misiejuk & Wasson, 2017).

O sucesso para melhorar a aprendizagem dos estudantes ainda necessita de ser comprovado de forma sistemática e empírica (Lodge & Corrin 2017). Tem havido uma série de esforços de investigação, alguns dos quais focados em várias ferramentas de análise de aprendizagem (Atif et al. 2013), em práticas (Sclater et al. 2016) e políticas (Tsai et al. 2018), e outros relacionados à adoção do sistema de análise de aprendizagem em diversos níveis (Buckingham Shum & McKay 2018; Ifenthaler 2017).

Assim, o aumento da importância dos dados na educação levou a um aumento nas publicações de investigação sobre o tema (Prieto et al. 2019), o que indica que a análise de dados digitais sobre ensino e aprendizagem pode trazer benefícios para os estudantes, e professores, através da melhoria dos ambientes de aprendizagem e das instituições educacionais (Gašević et al. 2015). Embora existam revisões sistemáticas iniciais sobre o tema, com recomendações de políticas para análise de aprendizagem (Ferguson et al. 2016), identificação de objetivos e desafios de pesquisa de análise de aprendizagem (Papamitsiou & Economides 2014), análise de aprendizagem no contexto da educação a distância (Kilis & Gulbahar 2016) e, mais recentemente, sobre a eficiência das intervenções de análise de aprendizagem (Sønderlund et al. 2018), ainda há espaço para estudos abrangentes com foco na análise de aprendizagem, de modo estruturado e integrativo.

2. Metodologia

Este trabalho tem como objetivo apresentar uma análise bibliométrica do tema Análise de Aprendizagem (Learning Analytics) de modo a responder à questão de pesquisa - O que é a Análise de Aprendizagem?

Para isso, foram utilizados métodos de pesquisa bibliométrica (Zupic & Cater, 2014) e de análise de redes (Newman, 2009; Van Eck & Waltman, 2014) o que permitiu a exploração da análise de redes de coocorrência de palavras-chave e de cocitações de referências citadas.

Uma rede bibliométrica consiste em grafos,constituídos por nós ou vértices (unidades de análise) e por arestas (tipos de análises). Os nós podem ser publicações, periódicos, investigadores, países, organizações ou palavras-chave. As arestas indicam relações entre pares de nós.

Os tipos de relações mais comumente estudados empregam métodos bibliométricos compreendendo as de citação, de coocorrência de palavras-chave e de coautoria. No caso das relações de citação, uma distinção adicional pode ser feita entre as de citação direta, de cocitação e de acoplamento bibliográfico (Moresi et al.2020).

Zupic e Cater (2014) propuseram diretrizes de fluxo de trabalho para a investigação de mapeamento científico utilizando os métodos bibliométricos. Eles não pretenderam apresentar um guia prescritivo sobre bibliometria, mas uma visão geral do processo com as opções disponíveis aos investigadores (métodos, bancos de dados, software, etc.) e as decisões a serem tomadas em cada etapa da investigação.

A partir desse referencial de Zupic e Cater (2014), esta pesquisa seguiu as seguintes etapas: 1) desenho da investigação, com a definição do objetivo e a expressão de busca; 2) escolha das unidades de análise - palavras-chave, documentos ou referências citadas; 3) escolha do tipo de análise - redes de coocorrência de palavras-chave e de cocitações de referências citadas; 4) seleção da base Web of Science (WoS) para a pesquisa bibliográfica e a recuperação de informações; 5) escolha do software VOSviewer (Van Eck & Waltman, 2019) para gerar as redes de coocorrência de palavra-chave e de cocitações de referências citadas; 6) elaboração do arquivo de tesauros do VOSviewer para controle do vocabulário e normalização das referências bibliográficas; 7) obtenção das redes de coocorrência de palavras-chave e de cocitações de documentos, com o controle do vocabulário e a normalização das referências bibliográficas; 8) escolha do software Gephi (Bastian, Heymann & Jacomy, 2009) para o cálculo das métricas de análise de redes - grau médio, classes de modularidade e centralidade de autovetor; 9) identificação dos termos mais relevantes e das referências com maiores centralidades de autovetor.

3. Resultados da pesquisa

A pesquisa bibliográfica foi realizada na base WoS utilizando a expressão de busca: “learning analyt*”, que retornou 3.235 documentos publicados do período de 1989 a 20211. Em seguida, foram realizados dois refinamentos da pesquisa com a seleção: categoria WoS - education educational research - para restringir os documentos relativos à área de pesquisa em educação; tipos de documentos - artigos em periódicos, em conferências e de revisão - porque os metadados são completos, incluindo as palavras-chave e as referências citadas. A nova pesquisa resultou em 1.674 documentos, publicados no período de 2009 a 2021. A Figura 1 apresenta a evolução dos documentos publicados neste período. Observa-se que o pico ocorreu em 2019 com 382 documentos.

Figura 1: Resultados da pesquisa bibliográfica na base WoS. 

3.1 Rede de coocorrência de palavras-chave

A rede de coocorrência de palavras-chave foi obtida pela extração dos termos declarados pelos autores das publicações. Em alguns casos, as palavras-chave são restritas a uma única palavra, mas em outros incluem também termos constituídos por várias palavras, de acordo com o nível de aprofundamento da investigação a realizar. O número de coocorrências de duas palavras-chave corresponde à quantidade de publicações nas quais as duas palavras-chave ocorrem juntas na lista de palavras-chave (Van Eck & Waltman, 2014).

Assim, a análise de coocorrência de palavras-chave foi gerada utilizando o software VOSviewer . Os metadados foram lidos e procedeu-se à seleção da opção de coocorrência de palavras-chave feita pelo autor de cada publicação. Sem o controle do vocabulário, com um mínimo de 5 ocorrências para cada par de palavras-chave, resultou em uma rede de coocorrência com 207 nós, 5 comunidades e 1.822 arestas. Adicionalmnete, o VOSviewer oferece uma opção de criar um arquivo texto para realizar o controle do vocabulário - o tesauro, ou seja, para a substituição e a exclusão de termos. Trata-se de uma interpretação qualitativa das palavras-chave incluídas pelos autores nos metadados de cada documento. Com essa opção do controle do vocabulário, a rede resultante incluiu 156 nós, 4 comunidades e 1.172 arestas.

A Figura 2 apresenta a visualização rede de coocorrência de palavras-chave. Observa-se que o termo learning analytics, que foi usado na expressão de busca da pesquisa bibliográfica, aparece naturalmente destacada nesta rede. Esta palavra-chave (learning analytics) possui 151 arestas, ou seja, só não coocorre com 4 nós da rede. É possível ainda identificar algumas palavras-chave que se destacam na rede: online learning, higher education massive open online courses, educational data mining, e-learning, big data, entre outras. Contudo, alguns termos que aparecem com baixa intensidade e em áreas mais periféricas desta figura e podem representar oportunidades de pesquisa: early warning systems, teaching/learning strategies, learning analytics dashboards, pedagogical innovations, learning space design, multimodal learning analytics, etc.

Figura 2: Rede de coocorrência de palavras-chave dos autores. 

Para uma análise mais precisa dos termos mais influentes, a rede foi exportada em formato GML para ser recuperada no Gephi. Em seguida, foram calculadas as métricas das redes: grau médio, modularidade de classes e centralidade de autovetor. A centralidade de autovetor atribui relevância a um nó em função de sua relação com os demais vértices da rede. Se um nó está ligado a outros que se encontram em uma posição central na rede, o mesmo terá um valor alto de centralidade de autovetor (Newman, 2009). A Tabela 1 apresenta os resultados para as 15 palavras-chave com valores mais elevados de centralidades de autovetor e de grau. A palavra-chave learning analytics é a que apresenta o maior valor de centralidade de autovetor. Como o seu grau é igual a 151 e a palavra-chave seguinte (higher education) possui 68 arestas, há um grande intervalo entre os valores da centralidade de autovetor.

Tabela 1: Palavras-chave com os valores mais elevados de centralidade de autovetor. 

Para identificar as palavras-chave posicionadas na periferia da rede, a Tabela 2 apresenta os 15 termos com os menores valores de centralidade de autovetor. Isso significa que estas palavras-chave têm baixa influência sobre o tema investigado. Contudo, não devem ser descartadas porque podem representar uma oportunidade de investigação.

Tabela 2: Palavras-chave com os valores baixos de centralidade de autovetor. 

3.2 Rede de cocitação de referências citadas

Uma rede de cocitação de referências citadas é um modelo bibliométrico que define áreas coerentes de problemas de investigação, classificando e agrupando os trabalhos científicos por meio de referências comuns que são citados num documento (Griffith et al, 1974).

Uma das unidades de análise é a referência citada, agrupando os trabalhos citados simultaneamente num documento (Franklin & Johnston, 1988). Considera-se que a literatura referenciada representa os núcleos de teorias e métodos do tema em questão, além de poder mapear e descrever as frentes de pesquisa em domínios temáticos no período em causa.

A rede de cocitação de documentos foi gerada utilizando o software VOSviewer. Os metadados foram lidos e foi selecionada a opção de cocitação de referências citadas. O VOSviewer tem a opção, para este tipo de rede, de ser usado um arquivo de tesauros para normalizar as referências bibliográficas e tornar o resultado mais preciso. Sem o uso do arquivo de tesauros de referências bibliográficas, que elimina as referências duplicadas, com um mínimo de 10 cocitações para cada documento, obteve-se uma rede de cocitação com 399 nós, 6 comunidades e 23.956 arestas. Com a inclusão do tesauros de referências citadas, a rede resultante passou a possuir 390 nós, 6 comunidades e 23.323 arestas.

O grafo foi exportado para o Gephi, onde foram calculadas as métricas de redes. A Tabela 3 apresenta os 15 documentos com as maiores centralidades de grau e de autovetor. O artigo com a maior centralidade é de Gašević, Dawson, & Siemens (2015), que apresenta o campo da análise de aprendizagem e descreve as lições aprendidas de estudos de caso conhecidos na literatura.

Tabela 3: Referências com os maiores valores de centralidade de autovetor e suas frentes de investigação. 

Ferguson (2012) publicou uma revisão sobre o tema (learning analytics) iniciando pela identificação dos fatores tecnológicos, educacionais e políticos que impulsionaram o desenvolvimento da análise em ambientes educacionais. Siemens (2013) considerou os campos de investigação que contribuíram com as tecnologias e as metodologias para o desenvolvimento de análise de aprendizagem, dos modelos de análise, bem como da importância de aumentar os recursos de análise em organizações e modelos para implantar análises em ambientes educacionais. Gašević et al (2016) examinaram até que ponto as condições de ensino influenciam a previsão de sucesso acadêmico em nove cursos de graduação oferecidos num modelo de aprendizagem combinada. Lockyer, Heathcote, & Dawson (2013) consideraram o campo em desenvolvimento da análise de aprendizagem e argumentaram que, para passar da prática em pequena escala para a aplicabilidade em larga escala, é necessário estabelecer uma estrutura contextual que ajude os professores a interpretar as informações que a análise fornece.

Greller & Drachsler (2012) exploraram as principais dimensões da análise de aprendizagem, as zonas de problemas críticos e alguns perigos potenciais para a exploração benéfica de dados educacionais. Arnold e Pistilli (2012) discutiram uma solução de intervenção precoce para professores universitários chamada Course Signals, que foi desenvolvida para permitir aos instrutores a oportunidade de empregar o poder da análise do aprendizado do estudante para fornecer feedback em tempo real. Macfadyen & Dawson (2010) confirmaram que as instituições de educação superior poderiam aproveitar o poder preditivo dos dados dos Sistemas de Gestão de Aprendizagem para desenvolver ferramentas de relatório visando identificar os alunos em risco e permitir intervenções pedagógicas mais oportunas. Siemens (2012) apresentou uma visão integrada e holística para o avanço da análise de aprendizagem como uma disciplina de investigação e um domínio de práticas. Verbert et al (2013) mostraram os painéis de análise de aprendizagem que visualizam percursos de aprendizagem para estudantes e professores. Tempelaar, Rienties, & Giesbers (2015) investigaram o poder preditivo da combinação de dados de disposição de aprendizagem, de resultados de avaliações formativas contínuas e de outros dados gerados por um LMS na modelagem do desempenho do estudante e o seu potencial para gerar feedback informativo.

Slade e Prinsloo (2013) propuseram uma perspectiva sociocrítica sobre o uso da análise de aprendizagem, destacando o papel do poder, o impacto da vigilância, a necessidade de transparência e o reconhecimento de que a identidade do estudante é uma construção transitória, temporal e ligada ao contexto. Papamitsiou & Economides (2014) forneceram uma base abrangente para a compreensão do conhecimento atual em Analítica de Aprendizagem e Mineração de Dados Educacionais e seu impacto na aprendizagem adaptativa. Wise (2014) abordou o projeto de intervenções de análise de aprendizagem, que é uma tecnologia que envolve a orquestração do processo humano de engajamento com a análise como parte da atividade de ensino e aprendizagem mais ampla. Pardo & Siemens (2014) identificam um conjunto de princípios para estreitar o escopo da discussão e apontar as abordagens pragmáticas para ajudar a projetar e pesquisar experiências de aprendizagem onde importantes questões éticas e de privacidade são consideradas.

4. Conclusões

A partir desta base de trabalho, onde identificamos artigos relevantes, surgem novas questões:

  • - Que análise de aprendizagem tem sido feita em ambientes tradicionais de ensino e nos contextos onlines?

  • - Quais os métodos utilizados pela Análise de Aprendizagem?

  • - Como se articula a análise de aprendizagem com a avaliação de aprendizagemm sumativa e formativa?

  • - Quais os principais interessados no uso da análise de aprendizagem e como desenvolver a sua literacia?

  • - Como usar a análise de aprendizagem para tomar ações com vista à melhoria da aprendizagem?

O desafio de dar respostas a estas questões abre portas para uma Revisão da Literatura integrativa onde os conceitos estruturantes devem ficar claros, a sua dinâmica interelação deve estar perceptível e as frentes de investigação emergirem como potencias recursos de mudança estruturada na evidência.Este grupo de artigos pode ser complementado por outros recolhidos na Scopus e por indicação de especialistas na área. Essa amostra final de artigos relevantes pode ser objeto de análise de conteúdo,agilizada pelo Software WebQDA, alinhada com as questões que agora emergiram (Costa & Amado, 2018).

Deste modo, apesar das inerentes limitações deste estudo exploratório, ele revela-se de grande utilidade para desenhar e realizar uma revisão da literatura, focada na análise de aprendizagem.

5. Referências

Arnold, K. E., & Pistilli, M. D. (2012) Course signals at Purdue: using learning analytics to increase student success. In: Proceedings of the 2nd International Conference on Learning Analytics and Knowledge (LAK '12), 267-270. [ Links ]

Atif, A., Richards, D., Bilgin, A., & Marrone, M. (2013). Learning analytics in higher education: A summary of tools and approaches. In H. Carter, M. Gosper, & J. Hedberg (Eds.), Electric Dreams. Proceedings of Ascilite 2013, 68-72. [ Links ]

Baker, R. S., & Siemens, G. (2015). Educational data mining and learning analytics. In R. K. Sawyer (Ed.), The Cambridge handbook of the learning sciences (2nd ed., pp. 253-272). Cambridge, UK: Cambridge University Press. [ Links ]

Bastian, M., Heymann, S., & Jacomy, M. (2009). Gephi: An Open Source Software for Exploring and Manipulating Networks. In: Proceedings of the Third International ICWSM Conference, 361-362. [ Links ]

Berland, M., Baker, R. S., & Bilkstein, P. (2014). Educational data mining and learning analytics: Appli- cations to constructionist research. Technology, Knowledge and Learning, 19(1-2), 205-220. [ Links ]

Buckingham Shum, S., & McKay, T. A. (2018). Architecting for learning analytics Innovating for sustainable impact. EDUCAUSE Review, 53(2), 25-37. [ Links ]

Costa, A. P., & Amado, J. (2018). Análise de Conteúdo Suportada por Software: Ludomedia. [ Links ]

Dawson, S., Gasevic, D., Siemens, G., & Joksimovic, S. (2014) Current state and future trends: a citation network analysis of the learning analytics field. In The sixth international conference on learning analytics & knowledge. [ Links ]

Ferguson, R. (2012). Learning analytics: drivers, developments and challenges. International Journal of Technology Enhanced Learning, 4 (5/6), 304-317. [ Links ]

Ferguson, R., Brasher, A., Clow, D., Cooper, A., Hillaire, G., Mittelmeier, J., et al. (2016). Research evi- dence on the use of learning analytics - Implications for education policy. Disponível em: https://publications.jrc.ec.europa.eu/repository/bitstream/JRC104031/lfna28294enn.pdf. Acesso em: 01Fev2021. [ Links ]

Franklin, J. J., & Johnston, R. (1988). Co-citation bibliometric modelling for S&T and R&D management. In Van Raan, A. F. J. (Ed.). Handbook of Quantitative Studies of Science and Technology. Amsterdam: North Holland. [ Links ]

Gašević, D., Dawson, S., & Siemens, G. (2015). Let’s not forget: Learning analytics are about learning.TechTrend, 59, 64-71. [ Links ]

Gašević, D., Dawson, S., Rogers, T., & Gasevic, D. (2016). Learning analytics should not promote one size fits all: The effects of instructional conditions in predicting academic success.Internet and Higher Education,28, 68-84. [ Links ]

Greller, W., & Drachsler, H. (2012). Translating Learning into Numbers: A Generic Framework for Learning Analytics. Educational Technology & Society, 15(3), 42-57. [ Links ]

Griffith, B. C., Small, H., Stonehill, J. A., Dey, S. (1974). The structure of scientific literatures II: Toward a macro- and microstructure for science. Science Studies, 4(4), 339-365. [ Links ]

Ifenthaler, D. (2017). Are higher education institutions prepared for learning analytics? TechTrends, 61(4), 366-371. [ Links ]

James, M. (2010). An Overview of Educational Assessment. In P. Peterson, E. Baker & B. McGaw (Eds.), International Encyclopedia of Education (3rd ed., Vol. 3, pp. 161-171). Oxford: Elsevier. [ Links ]

Kilis, S., & Gulbahar, Y. (2016). Learning analytics in distance education: A systematic literature review. In The 9th European Distance and E-learning Network (EDEN) Research Workshop. [ Links ]

Sønderlund, A. L., Hughes, E., & Smith, J. (2018). The efficacy of learning analytics interven- tions in higher education: A systematic review. British Journal of Educational Technology, 50(5), 2594-2618. [ Links ]

Lockyer, L., Heathcote, E., Dawson, S. (2013). Informing Pedagogical Action: Aligning Learning Analytics With Learning Design.American Behavioral Scientist, 57(10), 1439-1459. [ Links ]

Lodge, J. M., & Corrin, L. (2017). What data and analytics can and do say about effective learning. npj Science of Learning, 2(1), 5. [ Links ]

Long, P., & Siemens, G. (2011). Penetrating the fog: Analytics in learning and education. Educause Review, 46 (5) (2011), pp. 31-40. [ Links ]

Macfadyen, L. P., & Dawson, S. (2010). Mining LMS data to develop an "early warning system" for educators: A proof of concept. Computers & Education, 54 (2), 588-599. [ Links ]

Manyika, J. (2011). Big data: The next frontier for innovation, competi- tion, and productivity. Executive summary, McKinsey Global Institute. [ Links ]

Misiejuk, K., & Wasson, B. State of the Field report on Learning Analytics. SLATE Report 2017-2. Centre for the Science of Learning & Technology (SLATE), Bergen, Norway (2017) [ Links ]

Moresi, E. A. D., Pinho, I., Hartmann, V. C. , Braga Filho, M. de O. , Pinho, C. , & Costa, A. P. (2020). Avaliação das aprendizagens: um estudo bibliométrico. New Trends in Qualitative Research,v. 2, p. 42-54. [ Links ]

Newman, M. (2009). Networks: an introduction. Oxford: Oxford University Press. [ Links ]

Papamitsiou, Z., & Economides, A. A. (2014). Learning Analytics and Educational Data Mining in Practice: A Systematic Literature Review of Empirical Evidence. Educational Technology & Society, 17(4), 49-64 2014 [ Links ]

Pardo, A., & Siemens, G. (2014), Ethical and privacy principles. British Journal of Educational Technology, 45, 438-450. [ Links ]

Prieto, L. P., Rodríguez-Triana, M. J., Martínez-Maldonado, R., Dimitriadis, Y., & Gašević, D. (2019). Orchestrating learning analytics (OrLA): Supporting inter-stakeholder communication about adoption of learning analytics at the classroom level. Australasian Journal of Educational Technology, 35(4), 14-33. [ Links ]

Sclater, N., Peasgood, A., & Mullan, J. (2016). Learning analytics in higher education: A review of UK and international practice. Bristol: JISC. [ Links ]

Siemens, G. (2012). Learning analytics: envisioning a research discipline and a domain of practice. In Proceedings of the 2nd International Conference on Learning Analytics and Knowledge (LAK '12 ), 4-8. [ Links ]

Siemens G. (2013). Learning Analytics: The Emergence of a Discipline. American Behavioral Scientist. 57(10), 1380-1400. [ Links ]

Slade, S., & Prinsloo, P. (2013). Learning Analytics: Ethical Issues and Dilemmas.American Behavioral Scientist, 57(10), 1510-1529. [ Links ]

Sønderlund, A. L., Hughes, E., & Smith, J. (2018). The efficacy of learning analytics interven- tions in higher education: A systematic review. British Journal of Educational Technology, 50(5), 2594-2618. [ Links ]

Tempelaar, D. T., Rienties, B., & Giesbers, B. (2015). In search for the most informative data for feedback generation. Computers in Human Behavior, 47(C), 157-167. [ Links ]

Tsai, Y.-S., Moreno-Marcos, P. M., Jivet, I., Scheffel, M., Tammets, K., Kollom, K., et al. (2018). The SHEILA framework: Informing institutional strategies and policy processes of learning analytics. Journal of Learning Analytics, 5(3), 5-20. https://doi.org/10.18608/jla.2018.53.2. [ Links ]

Verbert, K., Duval, E., Klerkx, J., Govaerts, S., & Santos, J. L. (2013). Learning Analytics Dashboard Applications. American Behavioral Scientist, 57(10), 1500-1509. [ Links ]

Van Eck, N. J., & Waltman, L. (2014). Visualizing bibliometric networks. In: Ding, Y., Rousseau, R., & Wolfram, D. (Eds.). Measuring scholarly impact: methods and practice. New York: Springer. [ Links ]

Van Eck, N. J., & Waltman, L. (2019). VOSviewer manual. Leiden: Universiteit Leiden. [ Links ]

Veenman, M. V. J. (2013). Assessing metacognitive skills in computerized learning environments. In R. Azevedo & V. Aleven (Eds.), Onternational handbook of metacognition and learning technologies (pp. 157-168). New York: Springer. [ Links ]

Viberg, O., Hatakka, M., Balter, O., & Mavroudi, A. (2018). The current landscape of learning analytics in higher education. Computers in Human Behavior, 89, 98-110. [ Links ]

Wise, A. F. (2014). Designing pedagogical interventions to support student use of learning analytics. In Proceedings of the Fourth International Conference on Learning Analytics And Knowledge (LAK '14), 203-211. [ Links ]

Zupic, I., & Cater, T. (2014). Bibliometric methods in management organization. Organizational Research Methods, 18 (3), 429-472. [ Links ]

1A pesquisa bibliográfica foi realizada em 28/02/2021.

Recebido: 18 de Março de 2021; Aceito: 28 de Abril de 2021

Creative Commons License Este é um artigo publicado em acesso aberto sob uma licença Creative Commons