Português (pdf)
Artigo em XML
Referências do artigo
Tradução automática
Enviar este artigo por email
Citado por SciELO 
Similares em
SciELO 
Permalink
1. Introdução
Diferentes definições têm sido apresentadas, mas apesar de algumas nuances a ideia comum tem a ver com a conversão de dados educacionais em ações que possam incrementar a experiência da aprendizagem (Ferguson, 2012; Sclater et al. 2016;Siemens, 2012). Houve um grande crescimento no campo da análise de aprendizagem na última década devido à nova disponibilidade de dados digitais criados a partir da interação dos estudantes com as plataformas tecnológicas de suporte aos processos de ensino e aprendizagem (Viberg et al. 2018). No entanto, devido a fatores como regulamentação governamental e falta de uniformidade nos aplicativos de recolha de dados, os sistemas de análise de aprendizagem demoraram a penetrar no cenário educacional formal (Manyika 2011).
A análise de aprendizagem insere-se em um vasto território designado por Avaliação Educacional cuja evolução tem estado alinhada com as mudanças dos objetivos da Educação, da evolução do curricula, das competências consideradas essenciais e dos diversos contextos institucionais e nacionais (James, 2010).
As primeiras abordagens de análise de aprendizagem eram limitadas à análise de dados de rastreamento ou estatísticas da web para descrever o comportamento do estudante em ambientes online de aprendizagem (Veenman, 2013). Uma ampla diversificação das abordagens iniciais de análise de aprendizagem aplicaram várias metodologias tais como análises descritivas, preditivas e prescritivas para oferecer diferentes perceções sobre ensino e aprendizagem (Berland et al. 2014). A análise descritiva usa dados obtidos de fontes como avaliações de cursos, pesquisas, sistemas de informação de estudantes e atividades registradas em sistemas de gestão de aprendizagem. A análise preditiva utiliza dados semelhantes dessas fontes e tenta medir o sucesso ou o fracasso da aprendizagem progressiva. A análise prescritiva implanta algoritmos para prever o sucesso do estudo, se os estudantes concluirão os cursos e para recomendar intervenções imediatas (Baker & Siemens 2015).
A investigação sobre a análise de aprendizagem também surgiu originalmente de colaborações entre a ciência da computação e investigadores de ciência da aprendizagem (Dawson et al. 2014). Trata-se de um campo que busca dar sentido aos dados educacionais para entender e melhorar os processos de aprendizagem (Long & Siemens, 2011) e é mais frequentemente usado em grandes conjuntos de dados (Misiejuk & Wasson, 2017).
O sucesso para melhorar a aprendizagem dos estudantes ainda necessita de ser comprovado de forma sistemática e empírica (Lodge & Corrin 2017). Tem havido uma série de esforços de investigação, alguns dos quais focados em várias ferramentas de análise de aprendizagem (Atif et al. 2013), em práticas (Sclater et al. 2016) e políticas (Tsai et al. 2018), e outros relacionados à adoção do sistema de análise de aprendizagem em diversos níveis (Buckingham Shum & McKay 2018; Ifenthaler 2017).
Assim, o aumento da importância dos dados na educação levou a um aumento nas publicações de investigação sobre o tema (Prieto et al. 2019), o que indica que a análise de dados digitais sobre ensino e aprendizagem pode trazer benefícios para os estudantes, e professores, através da melhoria dos ambientes de aprendizagem e das instituições educacionais (Gašević et al. 2015). Embora existam revisões sistemáticas iniciais sobre o tema, com recomendações de políticas para análise de aprendizagem (Ferguson et al. 2016), identificação de objetivos e desafios de pesquisa de análise de aprendizagem (Papamitsiou & Economides 2014), análise de aprendizagem no contexto da educação a distância (Kilis & Gulbahar 2016) e, mais recentemente, sobre a eficiência das intervenções de análise de aprendizagem (Sønderlund et al. 2018), ainda há espaço para estudos abrangentes com foco na análise de aprendizagem, de modo estruturado e integrativo.
2. Metodologia
Este trabalho tem como objetivo apresentar uma análise bibliométrica do tema Análise de Aprendizagem (Learning Analytics) de modo a responder à questão de pesquisa - O que é a Análise de Aprendizagem?
Para isso, foram utilizados métodos de pesquisa bibliométrica (Zupic & Cater, 2014) e de análise de redes (Newman, 2009; Van Eck & Waltman, 2014) o que permitiu a exploração da análise de redes de coocorrência de palavras-chave e de cocitações de referências citadas.
Uma rede bibliométrica consiste em grafos,constituídos por nós ou vértices (unidades de análise) e por arestas (tipos de análises). Os nós podem ser publicações, periódicos, investigadores, países, organizações ou palavras-chave. As arestas indicam relações entre pares de nós.
Os tipos de relações mais comumente estudados empregam métodos bibliométricos compreendendo as de citação, de coocorrência de palavras-chave e de coautoria. No caso das relações de citação, uma distinção adicional pode ser feita entre as de citação direta, de cocitação e de acoplamento bibliográfico (Moresi et al.2020).
Zupic e Cater (2014) propuseram diretrizes de fluxo de trabalho para a investigação de mapeamento científico utilizando os métodos bibliométricos. Eles não pretenderam apresentar um guia prescritivo sobre bibliometria, mas uma visão geral do processo com as opções disponíveis aos investigadores (métodos, bancos de dados, software, etc.) e as decisões a serem tomadas em cada etapa da investigação.
A partir desse referencial de Zupic e Cater (2014), esta pesquisa seguiu as seguintes etapas: 1) desenho da investigação, com a definição do objetivo e a expressão de busca; 2) escolha das unidades de análise - palavras-chave, documentos ou referências citadas; 3) escolha do tipo de análise - redes de coocorrência de palavras-chave e de cocitações de referências citadas; 4) seleção da base Web of Science (WoS) para a pesquisa bibliográfica e a recuperação de informações; 5) escolha do software VOSviewer (Van Eck & Waltman, 2019) para gerar as redes de coocorrência de palavra-chave e de cocitações de referências citadas; 6) elaboração do arquivo de tesauros do VOSviewer para controle do vocabulário e normalização das referências bibliográficas; 7) obtenção das redes de coocorrência de palavras-chave e de cocitações de documentos, com o controle do vocabulário e a normalização das referências bibliográficas; 8) escolha do software Gephi (Bastian, Heymann & Jacomy, 2009) para o cálculo das métricas de análise de redes - grau médio, classes de modularidade e centralidade de autovetor; 9) identificação dos termos mais relevantes e das referências com maiores centralidades de autovetor.
3. Resultados da pesquisa
A pesquisa bibliográfica foi realizada na base WoS utilizando a expressão de busca: “learning analyt*”, que retornou 3.235 documentos publicados do período de 1989 a 20211. Em seguida, foram realizados dois refinamentos da pesquisa com a seleção: categoria WoS - education educational research - para restringir os documentos relativos à área de pesquisa em educação; tipos de documentos - artigos em periódicos, em conferências e de revisão - porque os metadados são completos, incluindo as palavras-chave e as referências citadas. A nova pesquisa resultou em 1.674 documentos, publicados no período de 2009 a 2021. A Figura 1 apresenta a evolução dos documentos publicados neste período. Observa-se que o pico ocorreu em 2019 com 382 documentos.
3.1 Rede de coocorrência de palavras-chave
A rede de coocorrência de palavras-chave foi obtida pela extração dos termos declarados pelos autores das publicações. Em alguns casos, as palavras-chave são restritas a uma única palavra, mas em outros incluem também termos constituídos por várias palavras, de acordo com o nível de aprofundamento da investigação a realizar. O número de coocorrências de duas palavras-chave corresponde à quantidade de publicações nas quais as duas palavras-chave ocorrem juntas na lista de palavras-chave (Van Eck & Waltman, 2014).
Assim, a análise de coocorrência de palavras-chave foi gerada utilizando o software VOSviewer . Os metadados foram lidos e procedeu-se à seleção da opção de coocorrência de palavras-chave feita pelo autor de cada publicação. Sem o controle do vocabulário, com um mínimo de 5 ocorrências para cada par de palavras-chave, resultou em uma rede de coocorrência com 207 nós, 5 comunidades e 1.822 arestas. Adicionalmnete, o VOSviewer oferece uma opção de criar um arquivo texto para realizar o controle do vocabulário - o tesauro, ou seja, para a substituição e a exclusão de termos. Trata-se de uma interpretação qualitativa das palavras-chave incluídas pelos autores nos metadados de cada documento. Com essa opção do controle do vocabulário, a rede resultante incluiu 156 nós, 4 comunidades e 1.172 arestas.
A Figura 2 apresenta a visualização rede de coocorrência de palavras-chave. Observa-se que o termo learning analytics, que foi usado na expressão de busca da pesquisa bibliográfica, aparece naturalmente destacada nesta rede. Esta palavra-chave (learning analytics) possui 151 arestas, ou seja, só não coocorre com 4 nós da rede. É possível ainda identificar algumas palavras-chave que se destacam na rede: online learning, higher education massive open online courses, educational data mining, e-learning, big data, entre outras. Contudo, alguns termos que aparecem com baixa intensidade e em áreas mais periféricas desta figura e podem representar oportunidades de pesquisa: early warning systems, teaching/learning strategies, learning analytics dashboards, pedagogical innovations, learning space design, multimodal learning analytics, etc.
Para uma análise mais precisa dos termos mais influentes, a rede foi exportada em formato GML para ser recuperada no Gephi. Em seguida, foram calculadas as métricas das redes: grau médio, modularidade de classes e centralidade de autovetor. A centralidade de autovetor atribui relevância a um nó em função de sua relação com os demais vértices da rede. Se um nó está ligado a outros que se encontram em uma posição central na rede, o mesmo terá um valor alto de centralidade de autovetor (Newman, 2009). A Tabela 1 apresenta os resultados para as 15 palavras-chave com valores mais elevados de centralidades de autovetor e de grau. A palavra-chave learning analytics é a que apresenta o maior valor de centralidade de autovetor. Como o seu grau é igual a 151 e a palavra-chave seguinte (higher education) possui 68 arestas, há um grande intervalo entre os valores da centralidade de autovetor.
Para identificar as palavras-chave posicionadas na periferia da rede, a Tabela 2 apresenta os 15 termos com os menores valores de centralidade de autovetor. Isso significa que estas palavras-chave têm baixa influência sobre o tema investigado. Contudo, não devem ser descartadas porque podem representar uma oportunidade de investigação.
3.2 Rede de cocitação de referências citadas
Uma rede de cocitação de referências citadas é um modelo bibliométrico que define áreas coerentes de problemas de investigação, classificando e agrupando os trabalhos científicos por meio de referências comuns que são citados num documento (Griffith et al, 1974).
Uma das unidades de análise é a referência citada, agrupando os trabalhos citados simultaneamente num documento (Franklin & Johnston, 1988). Considera-se que a literatura referenciada representa os núcleos de teorias e métodos do tema em questão, além de poder mapear e descrever as frentes de pesquisa em domínios temáticos no período em causa.
A rede de cocitação de documentos foi gerada utilizando o software VOSviewer. Os metadados foram lidos e foi selecionada a opção de cocitação de referências citadas. O VOSviewer tem a opção, para este tipo de rede, de ser usado um arquivo de tesauros para normalizar as referências bibliográficas e tornar o resultado mais preciso. Sem o uso do arquivo de tesauros de referências bibliográficas, que elimina as referências duplicadas, com um mínimo de 10 cocitações para cada documento, obteve-se uma rede de cocitação com 399 nós, 6 comunidades e 23.956 arestas. Com a inclusão do tesauros de referências citadas, a rede resultante passou a possuir 390 nós, 6 comunidades e 23.323 arestas.
O grafo foi exportado para o Gephi, onde foram calculadas as métricas de redes. A Tabela 3 apresenta os 15 documentos com as maiores centralidades de grau e de autovetor. O artigo com a maior centralidade é de Gašević, Dawson, & Siemens (2015), que apresenta o campo da análise de aprendizagem e descreve as lições aprendidas de estudos de caso conhecidos na literatura.
Tabela 3: Referências com os maiores valores de centralidade de autovetor e suas frentes de investigação.
Ferguson (2012) publicou uma revisão sobre o tema (learning analytics) iniciando pela identificação dos fatores tecnológicos, educacionais e políticos que impulsionaram o desenvolvimento da análise em ambientes educacionais. Siemens (2013) considerou os campos de investigação que contribuíram com as tecnologias e as metodologias para o desenvolvimento de análise de aprendizagem, dos modelos de análise, bem como da importância de aumentar os recursos de análise em organizações e modelos para implantar análises em ambientes educacionais. Gašević et al (2016) examinaram até que ponto as condições de ensino influenciam a previsão de sucesso acadêmico em nove cursos de graduação oferecidos num modelo de aprendizagem combinada. Lockyer, Heathcote, & Dawson (2013) consideraram o campo em desenvolvimento da análise de aprendizagem e argumentaram que, para passar da prática em pequena escala para a aplicabilidade em larga escala, é necessário estabelecer uma estrutura contextual que ajude os professores a interpretar as informações que a análise fornece.
Greller & Drachsler (2012) exploraram as principais dimensões da análise de aprendizagem, as zonas de problemas críticos e alguns perigos potenciais para a exploração benéfica de dados educacionais. Arnold e Pistilli (2012) discutiram uma solução de intervenção precoce para professores universitários chamada Course Signals, que foi desenvolvida para permitir aos instrutores a oportunidade de empregar o poder da análise do aprendizado do estudante para fornecer feedback em tempo real. Macfadyen & Dawson (2010) confirmaram que as instituições de educação superior poderiam aproveitar o poder preditivo dos dados dos Sistemas de Gestão de Aprendizagem para desenvolver ferramentas de relatório visando identificar os alunos em risco e permitir intervenções pedagógicas mais oportunas. Siemens (2012) apresentou uma visão integrada e holística para o avanço da análise de aprendizagem como uma disciplina de investigação e um domínio de práticas. Verbert et al (2013) mostraram os painéis de análise de aprendizagem que visualizam percursos de aprendizagem para estudantes e professores. Tempelaar, Rienties, & Giesbers (2015) investigaram o poder preditivo da combinação de dados de disposição de aprendizagem, de resultados de avaliações formativas contínuas e de outros dados gerados por um LMS na modelagem do desempenho do estudante e o seu potencial para gerar feedback informativo.
Slade e Prinsloo (2013) propuseram uma perspectiva sociocrítica sobre o uso da análise de aprendizagem, destacando o papel do poder, o impacto da vigilância, a necessidade de transparência e o reconhecimento de que a identidade do estudante é uma construção transitória, temporal e ligada ao contexto. Papamitsiou & Economides (2014) forneceram uma base abrangente para a compreensão do conhecimento atual em Analítica de Aprendizagem e Mineração de Dados Educacionais e seu impacto na aprendizagem adaptativa. Wise (2014) abordou o projeto de intervenções de análise de aprendizagem, que é uma tecnologia que envolve a orquestração do processo humano de engajamento com a análise como parte da atividade de ensino e aprendizagem mais ampla. Pardo & Siemens (2014) identificam um conjunto de princípios para estreitar o escopo da discussão e apontar as abordagens pragmáticas para ajudar a projetar e pesquisar experiências de aprendizagem onde importantes questões éticas e de privacidade são consideradas.
4. Conclusões
A partir desta base de trabalho, onde identificamos artigos relevantes, surgem novas questões:
- Que análise de aprendizagem tem sido feita em ambientes tradicionais de ensino e nos contextos onlines?
- Quais os métodos utilizados pela Análise de Aprendizagem?
- Como se articula a análise de aprendizagem com a avaliação de aprendizagemm sumativa e formativa?
- Quais os principais interessados no uso da análise de aprendizagem e como desenvolver a sua literacia?
- Como usar a análise de aprendizagem para tomar ações com vista à melhoria da aprendizagem?
O desafio de dar respostas a estas questões abre portas para uma Revisão da Literatura integrativa onde os conceitos estruturantes devem ficar claros, a sua dinâmica interelação deve estar perceptível e as frentes de investigação emergirem como potencias recursos de mudança estruturada na evidência.Este grupo de artigos pode ser complementado por outros recolhidos na Scopus e por indicação de especialistas na área. Essa amostra final de artigos relevantes pode ser objeto de análise de conteúdo,agilizada pelo Software WebQDA, alinhada com as questões que agora emergiram (Costa & Amado, 2018).
Deste modo, apesar das inerentes limitações deste estudo exploratório, ele revela-se de grande utilidade para desenhar e realizar uma revisão da literatura, focada na análise de aprendizagem.
