1. INTRODUÇÃO

O contexto educacional foi e está sendo afetado pela era digital (^{Gómez, 2015}). Os novos recursos, entre os quais softwares, aplicativos e jogos, como meios de intervenção, e a gamificação do ensino como estratégia educacional são considerados eficazes para melhorar o desempenho dos estudantes em diferentes faixas etárias (^{Studart, 2022}; ^{Tsutsumi et al., 2020}). Sobre os recursos digitais, ^{Martins e Pereira (2020)} analisaram contextos de aulas remotas e concluíram que, se combinados com um projeto de ensino bem elaborado e planejado, esses recursos influenciam diretamente o engajamento, a participação, o desenvolvimento das atividades propostas e o aprendizado do conteúdo trabalhado. Assim, considerando que a gamificação do ensino e os jogos digitais podem ser utilizados estrategicamente para promover a aprendizagem, é relevante avaliar o efeito produzido sobre o desempenho dos estudantes.

Dentre os recursos digitais disponibilizados aos professores com características de jogo está o Kahoot! (a exclamação faz parte do nome), uma plataforma on-line que permite criar e compartilhar atividades em contexto de jogo no domínio do ensino dos mais diversos conteúdos acadêmicos (cf. ^{Guardia et al., 2019}). Trata-se de um recurso tecnológico interativo que se apropria de elementos dos jogos em práticas pedagógicas. Segundo informações do site oficial do Kahoot!, é utilizado por 7 milhões de professores em todo o mundo (uma parte de seus recursos é gratuita). As propostas gamificadas elaboradas na plataforma podem ser executadas presencialmente ou em qualquer lugar que tenha conexão com a internet. Diante de situações pré-programadas, quem estiver jogando recebe feedback imediato de acerto ou de erro (as palavras “correto” ou “incorreto” são apresentadas na tela e é mostrada uma alteração no ranking geral, representado por um podium). Esse aspecto, de acordo com ^{Fardo (2013}), é um dos benefícios da gamificação na Educação, pois proporciona um sistema no qual os estudantes conseguem visualizar os resultados de suas ações.

2. ENQUADRAMENTO TEÓRICO

Conforme especificado anteriormente, a plataforma Kahoot! apresenta os elementos básicos de jogos como, a liberação de pontos, uma tabela de classificação e o feedback imediato. Dadas essas características, considera-se como sendo um recurso de gamificação (^{Zarzycka-Piskorz, 2016}), porque envolve elementos de design de jogos em contextos não relacionados com os mesmos, segundo a caracterização de ^{Studart (2022}). O formato dos feedbacks no Kahoot! para respostas certas e erradas é pré-determinado, sendo liberados pontos após cada resposta dada pelo jogador - a pontuação é baseada na velocidade da resposta. Segundo ^{Torres e Gusso (2018}), o tipo de feedback que libera pontos é considerado “ideal para promover melhores desempenhos” (p. 65) e a informação sobre acerto ou erro permite que o participante avalie seu desempenho, estimulando a avaliação de seus erros e a atenção à atividade. Assim, as características do Kahoot! permitem sugerir que a aprendizagem é viabilizada pela seleção crescente das respostas corretas, por meio de contingências de reforço.

Na conclusão de cada atividade no Kahoot!, há um ranking apresentado com o nome dos participantes que apresentaram melhor desempenho. O ranking cria, segundo ^{Zarzycka-Piskorz (2016}), um contexto de diversão e competitividade. Assim, propõe-se que o Kahoot! é uma tecnologia educacional que permite o arranjo de contingências de ensino, podendo promover a aprendizagem dos conteúdos programados, conforme demonstraram estudos de revisão desenvolvidos por ^{Côrtes et al. (2022}), ^{Donkin e Rasmussen (2021}), ^{Putra e Afrilia (2020}), e ^{Zhang e Yu (2021}).

No estudo desenvolvido por ^{Donkin e Rasmussen (2021}), foram revisados artigos publicados entre 2013 e 2021, com o objetivo de descrever a utilização Kahoot! no ensino de histologia, anatomia e educação médica. Os resultados referentes às percepções dos estudantes sobre o Kahoot! foram positivos. Além disso, verificou-se que a maioria dos artigos revisados indicou “melhoria da aprendizagem colaborativa, melhor conhecimento do conteúdo, frequência e participação” (^{Donkin & Rasmussen, 2021}, p. 572). Os autores destacaram que nenhum dos estudos da revisão incluiu um grupo controle. Resultados semelhantes foram encontrados por ^{Côrtes et al. (2022}) num estudo que também revisou artigos da área de ciências morfofuncionais.

Outra revisão da literatura que focalizou estudos referentes à utilização do Kahoot! - mas sem restringir a área de conhecimentos ou as disciplinas da busca - foi realizada por ^{Zhang e Yu (2021}). Foram analisados os resultados de aprendizagem e a colaboração - a interação curricular entre estudantes e professores e a extracurricular entre estudantes - promovida pelo uso da plataforma. Os autores verificaram que as interações propiciadas pelo Kahoot! têm os elementos necessários para afetar positivamente a aprendizagem dos estudantes e concluíram que as “tarefas interativas podem consolidar o conhecimento, desenvolver bons hábitos de aprendizagem para os alunos e melhorar o gerenciamento das aulas pelos professores” (^{Zhang & Yu, 2021}, p. 24). Zhang e Yu (2021) apontaram que sistemas como os da plataforma Kahoot! são úteis para revisões, avaliações, prática de habilidades, aumento da motivação e manutenção de conteúdo.

3. CONTEXTUALIZAÇÃO DO ESTUDO

Revisões da literatura - como as supracitadas - permitem o acesso a dados advindos de pesquisas que investigaram o método e procedimento com recurso tecnológico, disponibilizando indicadores sobre o que funciona. Considerando a vantagem desse tipo de indicador, foi realizada a presente revisão sistemática da literatura com inclusão de estudos não-experimentais e qualitativos. A inclusão de estudos qualitativos em revisões sistemáticas de literatura, segundo ^{Dixon-Woods et al. (2006}), caracterizam um movimento que enfrenta desafios metodológicos e epistemológicos. Eles argumentaram que “tal momento poderá mostrar como a síntese da investigação qualitativa ‘acrescenta valor’, talvez fornecendo formas mais perspicazes e esclarecedoras de compreender os fenômenos e as formas pelas quais eles podem ser melhor geridos” (^{Dixon-Woods et al., 2006}, p. 40). Assim, destaca-se a relevância da identificação dos procedimentos/configurações de apresentação do conteúdo a ser abordado pela tecnologia educacional e do efeito do seu uso no desempenho dos estudantes. Diante disso, formulam-se as seguintes perguntas de pesquisa: Quais são os procedimentos de intervenção executados em estudos empíricos com o Kahoot! no domínio do ensino ou na avaliação de repertórios acadêmicos e quais são os resultados dessas intervenções? Portanto, o objetivo deste estudo consistiu em fazer uma revisão sistemática da literatura de estudos empíricos em que a plataforma Kahoot! foi utilizada para avaliação da aprendizagem e a revisão de conteúdos acadêmicos sobre o desempenho dos estudantes em diferentes disciplinas acadêmicas.

4. MÉTODO

O estudo foi realizado tendo como fundamentação as propostas de ^{Jahan et al. (2016}) e ^{Moher et al. (2015}), no que diz respeito à formulação do problema de pesquisa, da especificação dos critérios de inclusão e exclusão de estudos e do fluxograma da pesquisa. O método é composto por duas etapas: (a) especificação da fonte de informação e dos critérios de elegibilidade; (b) descrição do procedimento composto por três fases, sendo elas: a busca dos estudos relevantes, a extração de dados e a tabulação e análise dos dados. As seções a seguir descrevem cada etapa.

4.2. PROCEDIMENTO

Na Etapa 1, no campo de pesquisa rápida “busca por assunto” do Portal de Periódicos CAPES/MEC, foi inserido o termo “Kahoot!”. Dentre as opções de refinamento de busca, foram marcados ou desmarcados os seguintes filtros: (a) tipo de recurso - foram marcados artigos; (b) data de publicação - foi marcado o período de 2017 até 2021; (c) tópicos - foram desmarcados teacher attitudes e student attitudes; (d) idiomas - foram desmarcados turco, norueguês, japonês, ucraniano, tcheco, romeno, árabe, alemão e indonésio; (e) coleção - foram desmarcados Engineering Research Database, Computer and Information Systems Abstracts, Technology Research Database, Materials Science & Engineering Database e Advanced Technologies & Aerospace Database. Essas coleções foram desmarcadas por incluírem, principalmente, publicações sobre engenharia, ciências físicas, matemática, ciência da computação, aeronáutica, astronáutica, informática e tecnologia da informação, eletrônica, ciências espaciais e telecomunicações. A busca produziu 738 registros.

O fluxograma da Figura 1 especifica as Etapas 2 e 3 do procedimento, o qual foi montado a partir do modelo PRISMA (^{Moher et al., 2015}). Utilizou-se software Mendeley para o armazenamento dos 738 registros obtidos na Etapa 1. Esse software foi utilizado também para a contagem e para a exclusão de arquivos duplicados (n = 9), bem como para a seleção dos artigos a partir dos títulos, com base no critério de inclusão (artigos de estudos empíricos que relataram ter utilizado a plataforma Kahoot! no domínio do ensino de repertórios acadêmicos) e dos critérios de exclusão CE1 e CE2 (estudos teóricos e revisões da literatura; estudos que descrevem a tecnologia e avaliam a usabilidade do sistema). Do total de 738 registros, 437 foram excluídos. Em seguida, fez-se o download dos artigos completos também armazenados no Mendeley, sendo que nove não foram localizados. Montou-se, então, uma planilha com identificação dos 301 artigos e com campos separados para a avaliação das duas pesquisadoras. A partir da leitura dos resumos dos artigos, avaliou-se de forma independente se eles se adequavam aos critérios de inclusão e de exclusão estabelecidos. O grau de concordância (Coeficiente de Concordância de Kappa) quanto à inclusão de registros foi de 98%. As pesquisadoras discutiram as discordâncias e decidiram sobre a permanência ou não do registro na lista dos selecionados, que totalizou 59 registros.

Na Etapa 3, os 59 artigos foram lidos na íntegra. Nessa leitura, foram considerados, mais uma vez, os critérios de exclusão, tendo sido excluídos 37 artigos, dentre os quais, cinco deles por não descreverem os resultados dos estudos, e os demais por se terem limitado a: descrever a tecnologia e avaliar a usabilidade do sistema ou o que foi identificado na literatura como “atitudes” em relação ao recurso. As informações referentes aos tópicos foram registradas em duas planilhas. Numa delas, foram organizados os dados de tal forma que respondessem às seguintes questões: (1) Quais as idades e escolarização dos participantes? (2) Qual(is) o(s) objetivo(s) do estudo? (3) Qual(is) a(s) disciplina(s) ou conteúdo(s) abordados? (4) O estudo foi de caso único ou com grupos? (5) Qual(is) o(s) tipo(s) de instrumentos utilizados para a avaliação da aprendizagem? Uma segunda planilha foi organizada e conferida pela segunda autora de forma a identificar os dados bibliográficos, os objetivos, o delineamento dos estudos, as estratégias/procedimentos utilizados nas intervenções, a periodicidade e o total de sessões de intervenção e os resultados com relação ao desempenho dos participantes nas avalições aplicadas.

Figura 1: Fluxograma da pesquisa e número de registros localizados, excluídos e recuperados 

5. RESULTADOS

Na Tabela 1, encontram-se os dados tabulados, sendo eles: autor(es), ano da publicação, país da instituição do primeiro autor, língua da publicação e periódico. Verifica-se, nessa tabela, que as publicações são majoritariamente em língua inglesa (20). Quanto aos países da instituição do primeiro autor, há uma grande variabilidade, sendo os mais frequentes os Estados Unidos da América (três) e a Turquia (três). Não foi identificado um periódico com predomínio de publicações.

A Tabela 2 apresenta a identificação dos estudos selecionados, a periodicidade das intervenções com Kahoot!, o total de sessões e a configuração quanto à apresentação do conteúdo na plataforma. Para a análise da configuração de apresentação, foi considerado se o procedimento era de revisão, ou seja, a retomada de conteúdos apresentados em aulas prévias [por exemplo, ^{Castro et al. (2019}) utilizaram o Kahoot! para aprimorar conteúdos ministrados nas aulas teóricas da disciplina de Gestão e Administração de Enfermagem] ou se era de avaliação de conteúdo [por exemplo, no estudo de ^{Guaqueta e Castro-Garces (2018}), na semana seguinte ao estudo de conteúdos referentes à língua inglesa com o Duolingo, os estudantes eram submetidos a uma avaliação da aprendizagem por meio do Kahoot!]. Na Tabela 2, observa-se que 16 estudos utilizaram o Kahoot! para a revisão de conteúdos, três para a avaliação de conteúdo e, nos restantes, não foi possível identificar esse aspecto devido à falta de descrição detalhada do procedimento. Observou-se, ainda, que a plataforma foi utilizada com periodicidade variada: diária, semanal ou quinzenalmente, bem como ao longo de um semestre ou de um ano.

Conforme pode ser observado na Tabela 3, dos 22 estudos, em 21, foram especificadas a faixa etária, o ano escolar ou escolaridade e a forma de avaliação da aprendizagem; em 20, consta o número de participantes. Em todos, foi possível identificar se o procedimento foi realizado em grupo ou se foi estudo de caso. Observou-se que nos 21 estudos com identificação da faixa etária, os participantes tinham 10 anos ou mais, sendo adultos na maioria dos estudos (17). Os estudos foram realizados majoritariamente no nível da educação superior (14). Quanto aos seus objetivos, no que diz respeito aos domínios do ensino, verifica-se que o Kahoot! foi utilizado na maioria para a revisão de conteúdo (16) e, com uma frequência menor, para a avaliação da aprendizagem (três).

Ver a tabela completa aqui.

Verifica-se, ainda, na Tabela 3, que, na maioria, os delineamentos foram de grupo, exceto dois estudos de caso (^{Castro et al., 2019}; ^{Gazotti-Vallim et al., 2017}; ) e um delineamento intra-sujeitos. Como exemplo de estudo com grupos pode ser citado o de ^{Iwamoto et al. (2017}), no qual distribuíram os participantes em grupo controle e experimental compostos por estudantes de Psicologia. Nos 10 minutos finais da aula, o grupo experimental respondia a sete quizzes de múltipla escolha por capítulo, utilizando o Kahoot!, e o grupo controle permanecia na sala continuando a discussão iniciada durante a lição. O grupo experimental apresentou um desempenho superior estatisticamente significativo em comparação ao grupo controle. Não foram apresentadas informações específicas sobre a elaboração e a apresentação dos quizzes, o que permitiria identificar as variáveis específicas que afetaram o desempenho do grupo experimental. No estudo desenvolvido por ^{Dell e Chudow (2019}), um delineamento intra-sujeitos foi usado, correlacionando o desempenho dos participantes no Kahoot! com as notas ao longo do curso de Farmacoterapêutica. O estudo avaliou se a participação na atividade refletia o desempenho dos estudantes em todo o curso. Os autores constataram que o desempenho nas atividades de revisão esteve positivamente correlacionado com as médias obtidas no curso pelos estudantes.

Os conteúdos envolvidos nos procedimentos de ensino dos 22 estudos apresentaram variabilidade quanto aos campos de conhecimento aos quais estavam relacionados, tendo-se verificado que foram ensinadas disciplinas como: Fisiologia da Pecuária, Psicologia Introdutória, Ciências da Informação, Engenharia, Matemática, Metodologia de Pesquisa Científica, Diagnóstico Radiográfico, Farmacocinética Clínica, Vestuário, Introdução à Criação Animal e Inglês. Inglês foi a disciplina mais abordada (sete estudos). As formas das avaliações de desempenho/aprendizagem também apresentaram considerável diversidade nos estudos revisados. Em quatro estudos (^{Cameron & Bizo, 2019}; ^{Dell & Chudow, 2019}; ^{Esteves et al., 2018}; ^{Harrelson, 2017}), as pontuações no Kahoot! foram comparadas com as notas do bimestre/semestre ou com a notas do final do curso - não foram especificadas como essas notas eram compostas. Em oito estudos (^{Castro et al., 2019}; ^{Chen & Yeh, 2019}; ^{Dell & Chudow, 2019}; ^{Fuster-Guilló et al., 2019}; ^{Gazotti-Vallim et al., 2017}; ^{Guaqueta & Castro-Garces, 2018}, ^{Oliveira et al., 2019}; e ^{Valles-Pereira & Mota-Villegas, 2020}), o Kahoot! foi usado para a revisão de conteúdo ou como meio para apresentar a avaliação do desempenho dos participantes, após a exposição do conteúdo em aulas precedentes. Questionários ou testes específicos de conhecimento foram usados nos demais estudos.

Com relação à periodicidade, todos os estudos realizaram mais de uma sessão com a plataforma, com intervenções variando de três semanas a um ano. Dois dos 22 estudos estão especificados a seguir como exemplos, apontando melhora no desempenho a partir de análises estatísticas.

^{Ting et al. (2019}) desenvolveram um estudo com 900 participantes, que é o número mais expressivo de participantes dentre os estudos selecionados para a presente revisão sistemática da literatura. Foram comparados dois grupos experimentais (que usaram o método de aprendizagem via Kahoot!) a quatro grupos controle expostos ao método tradicional de ensino (baseado em palestras ministradas por um instrutor/professor). A compreensão conceitual dos estudantes foi medida por meio de notas de exames em sala de aula e pelo Inventário de Conceito de Cálculo (CCI), que avalia a compreensão conceitual dos princípios básicos do cálculo diferencial. Os resultados permitiram verificar que houve um aumento estatisticamente significante desse aspecto dos participantes dos grupos experimentais, que foram submetidos a seis sessões no Kahoot!. No estudo de ^{Asmali (2018}), que envolveu pré-teste e pós-teste com dois grupos (controle e experimental), foi avaliado o efeito dos clickers (nome dado a um controle remoto portátil para a entrada da resposta no sistema) sobre a aprendizagem. As mesmas questões foram apresentadas via Kahoot! para o grupo experimental e via oral ou registro escrito para o grupo controle, semanalmente, no total de dez sessões. Ao contrário do grupo controle, o grupo experimental apresentou diferença estatisticamente significante quando comparadas as pontuações do pré e do pós-teste.

Na Tabela 4, estão os dados referentes às estratégias/procedimentos e à avaliação do desempenho dos participantes nas intervenções dos estudos analisados na presente revisão. Dos 22 estudos selecionados, em dois (^{Guardia et al., 2019}; ^{Korkealehto & Siklander, 2018}), foram utilizadas avaliações qualitativas baseadas em observação, sendo a conclusão inferida a partir de exercícios interpretativos. Em um dos estudos (^{Göksün & Gürsoy, 2019}), foram realizadas avaliações qualitativas e quantitativas, tendo sido comparados: o desempenho acadêmico, o engajamento do aluno e um modelo tradicional de ensino. Ainda, entre 22 estudos, 21 relataram a eficácia do uso do Kahoot! para a aprendizagem dos estudantes. A exceção foi o estudo de ^{Cameron e Bizo (2019}), os quais não encontraram evidências que relacionassem o uso da plataforma Kahoot! com o aumento de notas. A estratégia adotada foi correlacionar as pontuações atribuídas ao engajamento com as notas obtidas pelos estudantes nas avaliações formais. As pontuações de engajamento foram fruto de um questionário com 20 questões respondidas pelos participantes, no qual os tópicos foram: o desafio, o controle, a imersão, o interesse e o propósito. As respostas foram obtidas a partir de uma escala Likert de sete pontos, tendo-se verificado que houve manutenção dos resultados ou redução de notas. No entanto, os estudantes consideraram que o uso da plataforma durante as aulas forneceu diversão, competitividade e envolvimento com a aula. Os autores apontaram a necessidade de condições mais controladas para estudos futuros, nos quais os desempenhos de grupos de estudantes com e sem o uso da plataforma sejam comparados com relação ao mesmo conteúdo do curso.

Ver a tabela completa aqui.

Como exemplos de estudos que relataram eficácia do uso do Kahoot! para a aprendizagem dos estudantes, serão descritos três: um que apresentou o Kahoot! em 15 aulas, outro que apresentou questões na plataforma por um semestre, e um em que a plataforma foi usada durante um ano. Do estudo de ^{Fuster-Guilló et al. (2019}) participaram estudantes dos cursos de Engenharia da Computação, tendo sido realizada uma comparação entre o desempenho do grupo experimental (turma atual) e o grupo controle (turma anterior). Os quizzes via Kahoot! foram apresentados nos últimos 15 minutos de cada aula teórica (15 sessões), verificando-se que, no pós-teste, o grupo experimental apresentou pontuações mais altas do que o grupo controle. No segundo estudo selecionado como exemplo (^{Suja’I et al., 2019}), a plataforma foi utilizada durante um semestre. O estudo foi baseado no Método 4D (quatro etapas: definir, projetar, desenvolver e disseminar), que foi avaliado a partir da comparação entre pré-teste e pós-teste. Verificou-se que houve um aumento nas pontuações após o uso do Kahoot!. O terceiro estudo, que foi desenvolvido por ^{Castro et al. (2019}), usou um delineamento quase experimental com uma amostra de 116 alunos. O uso da plataforma aconteceu durante um ano. Os autores relatam que os participantes apresentaram um alto desempenho no teste final, mas destacaram que esse resultado não pode ser atribuído exclusivamente ao uso do Kahoot!, uma vez que variáveis importantes não foram controladas, entre as quais, o conhecimento prévio dos estudantes.

6. DISCUSSÃO

O objetivo do presente estudo consistiu em fazer uma revisão sistemática da literatura de estudos empíricos em que a plataforma Kahoot! foi utilizada para a avaliação da aprendizagem e para a revisão de conteúdos acadêmicos sobre o desempenho dos estudantes em diferentes disciplinas acadêmicas. Os dados obtidos permitem observar a variabilidade quanto à idade escolar e à escolaridade dos escolares que fizeram uso do Kahoot!. A faixa etária variou da infância até a fase adulta. Quanto ao nível escolar, predominou o ensino superior (14 estudos), indo ao encontro da afirmação de que “os métodos de ensino baseados em jogos educativos não são atrativos apenas para os escolares, mas também para os estudantes universitários (^{Wang et al., 2007}). A revisão da literatura mostrou que o Kahoot! foi utilizado na maioria dos estudos (17) com participantes adultos. Uma facilidade para participantes adultos é que eles podem utilizar seus smartphones pessoais para participar das atividades. Um dos estudos da revisão (^{Vazirabad & Farrokhi, 2020}) apontou dificuldades técnicas relacionadas ao login durante os primeiros acessos no Kahoot!. Independentemente da faixa etária, para que se alcancem os benefícios proporcionados pelo uso dos recursos tecnológicos em sala de aula, é necessário lidar com os desafios que essas práticas podem trazer.

Quanto ao procedimento, foi possível identificar nos 22 estudos três aspectos referentes à organização das propostas de utilização da plataforma: (a) apresentação periódica/sistemática como recurso educacional, (b) objetivo de avaliação ou de revisão do conteúdo acadêmico, (c) quem elaborou as questões (estudantes ou professor/pesquisador). Com relação à periodicidade de uso da plataforma, os estudos realizaram intervenções de curto, médio e longo prazo (três semanas a um ano). Os dados dos procedimentos dos estudos indicam uma abrangente aplicabilidade e adaptabilidade da plataforma Kahoot!. Por exemplo, em ^{Gazotti-Vallim et al. (2017}), o conteúdo ensinado foi inglês com participantes de dez a 15 anos de idade; ^{Dell e Chudow (2019}) ensinaram conteúdo de Farmacoterapêutica com estudantes com 25 anos em média.

A diversidade relativa aos conteúdos/disciplinas corrobora resultados apresentados por ^{Guardia et al. (2019}). A análise dos estudos levantados identificou a configuração na qual o uso do Kahoot! se enquadrou: revisão (16 estudos) ou avaliação de conteúdos (três estudos). Identificou-se, ainda, que as atividades com os quizzes eram geralmente apresentadas ao final das aulas ou dos módulos, realizadas após a exposição dos conteúdos. Esses dados permitem observar a possibilidade de propostas para diferentes faixas etárias e áreas do conhecimento.

Na presente revisão, verificou-se que, primeiro, era realizado o ensino, geralmente de forma expositiva, e depois a avaliação (momento em que o Kahoot! foi usado). Os estudos de ^{Chen e Yeh (2019}), ^{Guaqueta e Castro-Garces (2018}), e ^{Guardia et al. (2019}) estão entre os 22 que realizaram as atividades no Kahoot! como forma de revisão de conteúdo. Porém, ^{Chen e Yeh (2019}) e ^{Guardia et al. (2019)} foram os únicos que trataram um aspecto que pode ser relevante enquanto estratégia de ensino: a elaboração das questões por parte dos estudantes. No primeiro, os participantes foram distribuídos em grupos, sendo que cada um elaborou questões sobre o conteúdo já aprendido para serem respondidas pelo outro. O segundo comparou o desempenho de dois grupos que utilizaram o Kahoot! (controle e experimental). A variável independente foi a elaboração das questões por parte dos estudantes. Os dois grupos apresentaram um aumento no índice de acertos em exercícios do conteúdo (inglês). No entanto, foi mais significativo em relação ao grupo em que os estudantes elaboraram as questões, indicando ser a situação mais motivadora e gerando, por isso, um maior envolvimento dos participantes.

O estabelecimento de contexto motivador pelas atividades na plataforma pode ser descrito como resultado do arranjo de contingências viabilizado pelo Kahoot!. Em estratégias de ensino, aspectos da estrutura da gamificação é um recurso que pode criar condições para que comportamentos sejam reforçados e pode funcionar como operação motivacional, aumentando o valor reforçador da resposta de acertar o que é solicitado. Dentre o que ^{Skinner (1968}) apontou, em seu livro Tecnologias do Ensino, como princípios de ensino, estão o responder ativamente em pequenos passos, o feedback imediato do desempenho e a probabilidade de erros minimizada pela organização do material/estratégia de ensino em que são reforçadas as respostas corretas dos estudantes. Tais princípios podem ser observados no Kahoot! quando as atividades são elaboradas estrategicamente de forma a apresentar o conteúdo escolar progressivamente. Assim, é possível arranjar um contexto para que as respostas esperadas sejam reforçadas, verificando o conhecimento em tempo real e de forma ativa.

Dada a configuração oferecida pela plataforma, todos os estudos da revisão utilizaram consequências imediatas em forma de feedback. Esse aspecto está de acordo com os princípios básicos da análise do comportamento, segundo os quais é importante que respostas sejam reforçadas imediatamente (cf. ^{Skinner, 1968}). Em 21 dos 22 estudos revisados, foi relatada a eficácia do uso da plataforma para o ensino, o que provavelmente está relacionado com as contingências estabelecidas, contribuindo para que as respostas seguidas por consequências positivas se repitam. O ranking ao final do jogo, no qual o participante pode identificar seu desempenho comparado com os demais, estabelece o contexto de jogo, caracterizando a gamificação da atividade (^{Studart, 2022}; ^{Zarzycka-Piskorz, 2016}), e torna a atividade divertida conforme demonstraram ^{Cameron e Bizo (2019}). Esses aspectos são relevantes por atribuírem valor pedagógico à plataforma, visto que, durante as aulas, dificilmente os professores conseguem apresentar feedbacks a cada resposta dos estudantes e estabelecer operações motivacionais relevantes para as contingências de ensino em contextos educacionais. O arranjo de contingências é um desafio constante na educação e são estudos como os que foram analisados na presente revisão que podem trazer indicadores de práticas eficazes.

7. CONSIDERAÇÕES FINAIS

A partir dos critérios de seleção de artigos para atingir o objetivo do presente estudo, foram incluídos na revisão 22 artigos, sendo que a maioria (20) empregou métodos quantitativos para avaliar o desempenho dos estudantes. Isso permitiu verificar que o uso do Kahoot! melhora o desempenho dos participantes e que essa plataforma pode ser considerada como um recurso de gamificação, com destaque para o aspecto de fornecer feedback imediato para as respostas dos estudantes.

A revisão sistemática da literatura realizada permitiu constatar, ainda, que os participantes dos estudos eram, em sua maioria, adultos, possivelmente pela facilidade de os participantes dessa faixa etária poderem utilizar os smartphones pessoais nas atividades. Um aspecto que chamou a atenção na análise dos resultados da revisão foi a periodicidade de uso da plataforma, que variou de três semanas a um ano, bem como a diversidade de disciplinas/conteúdos abordados, sendo a mais frequente o idioma inglês. Além disso, os dados dos procedimentos dos estudos confirmam a proposta educativa do Kahoot!, uma vez que as intervenções foram direcionadas para avaliar ou revisar conteúdos previamente ensinados. Concluímos que os estudos revisados demonstraram que a plataforma Kahoot! pode ser indicada como estratégia pedagógica, sendo adequada para a avaliação da aprendizagem e para a revisão de uma diversidade de conteúdos acadêmicos.

O presente estudo apresenta algumas limitações, sendo uma delas a questão relacionada com a extensão da literatura revisada. Apesar de ter sido utilizado o Portal de Periódicos da CAPES, a string de busca foi simples, e uma pesquisa em bases de dados específicas como Web of Science, Scopus e Redalyc poderia localizar outros artigos a serem incluídos na revisão. Outra limitação é o fato de as autoras não terem avaliado a qualidade metodológica dos estudos incluídos na revisão. Essa avaliação permitiria analisar critérios relevantes como a seleção dos participantes dos estudos, a comparabilidade de grupos, ou a identificação de falhas no procedimento dos estudos ou na interpretação dos resultados. No entanto, o método do presente estudo caracteriza-se como o de revisão sistemática da literatura, permitindo reprodutibilidade a outros pesquisadores. Para isso, os critérios de inclusão e de exclusão dos estudos foram definidos a priori, as estratégias de busca empregadas foram descritas e o procedimento de seleção dos registros e a estratégia de extração dos dados foram executados de forma padronizada.