SciELO - Scientific Electronic Library Online

 
vol.12¿Quién es un docente motivador? Significados para estudiantes de MedicinaSupervisão e Monitorização das Estruturas de Coordenação Educativa e Supervisão Pedagógica: As dimensões em Coaching Educacional e Inteligência enEmocional índice de autoresíndice de assuntosPesquisa de artigos
Home Pagelista alfabética de periódicos  

Serviços Personalizados

Journal

Artigo

Indicadores

Links relacionados

  • Não possue artigos similaresSimilares em SciELO

Compartilhar


New Trends in Qualitative Research

versão On-line ISSN 2184-7770

NTQR vol.12  Oliveira de Azeméis ago. 2022  Epub 25-Ago-2022

https://doi.org/10.36367/ntqr.12.2022.e608 

Artigo Original

Avaliação das Competências Digitais de alunos do 1.º Ciclo do Ensino Básico: Uma proposta metodológica

Evaluation of 1st cycle students’ Digital Competencies: a methodological proposal

1Instituto de Educação, Universidade de Lisboa, Portugal


Resumo:

Este artigo apresenta o desenho conceptual-metodológico destinado à construção de um dispositivo de avaliação de Competências Digitais de Alunos em contexto escolar, desenvolvido no âmbito de uma investigação de mestrado, na área da Inovação em Educação na Universidade de Lisboa. Esta investigação adota uma abordagem metodológica inovadora que envolve os próprios professores na construção do referido dispositivo. Pretende-se apresentar a proposta metodológica desenhada, em alinhamento com os princípios da Design-Based Research (DBR) e atendendo aos objetivos de uma investigação de carácter qualitativo realizada em contexto educacional. A proposta metodológica valoriza as especificidades do terreno e a interação com professores do 1.º Ciclo do Ensino Básico da rede de escolas do Município da Amadora (Portugal), em particular no refinamento do dispositivo de avaliação em construção. Para este artigo, debruçar-nos-emos sobre o processo de definição metodológica, descrevendo minuciosamente as diferentes etapas de construção do dispositivo de avaliação e apresentando os fundamentos de base científica que suportam as opções tomadas. Estas se constituirão de métodos distintos de recolha e tratamento de dados, adequados às diferentes naturezas dos dados recolhidos, sendo maioritariamente de natureza qualitativa. Além de permitir apreciar criticamente quais as potencialidades e obstáculos em relação aos procedimentos adotados, foi possível corroborar resultados de estudos anteriores sobre as potencialidades da DBR na criação de artefactos pedagógicos e sua utilidade para investigações cujos objetivos estejam voltados para a inovação educacional dado o seu carácter pragmático. Em síntese, cremos que se trata de uma proposta metodológica que poderá servir de base para investigações cujo objetivo seja o de desenvolver ferramentas similares de aferição de competências de alunos em contexto escolar.

Palavras-chave: Pragmatismo; Design-Based Research; Avaliação; Competências Digitais; 1.ºCEB.

Abstract:

This article presents the conceptual and methodological design geared towards the construction of a student’s digital competences educational device in the school context, developed as part of a master’s investigation, in the educational innovation field at University of Lisbon. The present investigation adopts an innovative methodological approach that involves the teachers in the construction of said device. We pretend to introduce the designed methodological proposal, in accordance with the principles of the Design-Based Research (DBR) and the objectives of a qualitative educational investigation. The methodological proposal values the terrain specificities and the interaction with basic education 1st cycle teachers at the Amadora municipality (Portugal), particularly in the refinement of the evaluation device. For the purposes of this paper, we focus on the methodological definition process, describing thoroughly the different stages of the construction of our device and presenting the scientific basis that justify the chosen options. The different stages are composed of distinct data collection methods and data analysis techniques, in adequacy with the different natures of our data inputs. It was possible to confirm previous studies results regarding the potentialities of DBR in the creation of pedagogical artifacts and to critically assess what are the main potentialities and obstacles according to the adopted procedures. In summary, we believe that this methodological proposal could serve as a basis for investigations that aim to develop similar student’s competence assessment tools in educational context.

Keywords: Pragmatism; Design-Based Research; Evaluation; Digital Competencies; 1st cycle.

1.Introdução

Ainda que os aspetos relativos ao desenvolvimento das Competências Digitais (CD) tenham ganho mais espaço nas discussões ao longo dos últimos anos, boa parte dos sistemas educativos europeus ainda não equacionou métodos para avaliar, de forma sistemática, a aprendizagem dessas competências por parte dos seus alunos (Comissão Europeia/EACEA/Eurydice, 2019). Entretanto, além de ser uma ferramenta para melhorar os processos de ensino e de aprendizagem, a avaliação possui um efeito condicionador das práticas pedagógicas muito relevante, determinando, como notam Brečko et al. (2014), o que se prioriza ensinar aos alunos. Paralelamente, estudos recentes salientam a necessidade de se desenvolverem novos instrumentos de avaliação para aferição das competências digitais, sugerindo formatos menos tradicionais (Redecker, 2013), mais práticos, por meio de atividades que deem sentido e funcionalidade aos conteúdos (Zabala & Arnau, 2010; Cabezas-González et al., 2021; García-Valcárcel Muñoz-Repiso et al., 2020; Iglesias- Rodríguez et al., 2021). Além disso, reforça-se o valor de instrumentos avaliativos adaptados às exigências mais específicas e complexas das instituições educacionais em contexto local (Martínez Abad et al., 2017; Bielba Calvo et al., 2016). Estas são, em termos muito gerais, as preocupações que constituem o cerne de uma investigação em curso no âmbito do Programa de Mestrado em Inovação em Educação da Universidade de Lisboa, com o objetivo geral de desenhar um dispositivo de avaliação das competências digitais dos alunos do 1.º ciclo do ensino básico (1.º CEB). Além do contributo esperado para o desenvolvimento conceptual e teórico do tema em estudo, delimitado ao desenvolvimento e avaliação de CD de alunos, também se espera apoiar a concretização do eixo da “Certificação Digital”, do Projeto Escol@s Digitais, que tem como um dos objetivos o de aferir e certificar as CD dos alunos do 1º ciclo que frequentam as escolas públicas do concelho da Amadora (Portugal), em alinhamento com as Orientações Curriculares para as TIC no 1.º CEB (Direção-Geral da Educação, 2018) e o Perfil dos Alunos à Saída da Escolaridade Obrigatória (Martins et al., 2017). No âmbito deste artigo, debruçamo-nos especialmente sobre a descrição da componente metodológica da investigação em curso, estruturada a partir do paradigma pragmático (Frey, 2018) e assente nos princípios do Design-Based Research (DBR), priorizando uma estreita relação entre o terreno e o que vem a ser desenvolvido pela investigação, tendo em vista a produção de novas teorias, novos artefactos e práticas pedagógicas com potencial de impactar a aprendizagem (Barab & Squire, 2004). Os métodos de recolha e tratamento de dados, maioritariamente qualitativos, foram selecionados em conformidade com a natureza dos dados recolhidos e com os propósitos de cada etapa da proposta metodológica. Incluiremos ainda uma reflexão sobre as potencialidades e limitações dos procedimentos adotados no desenvolvimento da presente investigação. Esperamos que a descrição detalhada do processo subjacente à definição da metodologia utilizada, especificamente a abordagem selecionada e os métodos de recolha e tratamento de dados, possa ser útil para inspirar investigações educacionais com objetivos semelhantes. Para além desta introdução, este texto apresenta o contexto do estudo para o qual se estruturou essa proposta metodológica, incluindo suas questões e objetivos de investigação. Em seguida, explicitamos e justificamos as opções metodológicas consideradas no seu desenho e que guiam toda a seleção de métodos de recolha de dados e o seu respetivo tratamento, o que será descrito de forma pormenorizada em 5 subsecções correspondentes às cinco etapas da proposta metodológica apresentada. Por fim, as considerações finais sistematizam as potencialidades já percebidas e os obstáculos em relação aos procedimentos constituintes do desenho metodológico desenvolvido.

2.Contextualização do estudo

A proposta metodológica apresentada neste artigo visa o desenvolvimento um dispositivo de avaliação das CD dos alunos do 1.º CEB e insere-se em uma investigação em curso nas escolas públicas do 1.º CEB da rede pública municipal da Amadora (Portugal). Faz parte integrante do Projeto Escol@s Digitais, uma iniciativa da Câmara Municipal da Amadora, em parceria com o Instituto de Educação da Universidade de Lisboa, a fim de apoiar a transformação digital nas escolas para potenciar a qualidade dos processos, desempenhos e resultados de aprendizagem. De entre as diversas ações que compõem o projeto, uma assenta no desenvolvimento de um sistema de certificação das CD dos alunos do 1.º CEB implicando a construção de um instrumento que permita aferir as competências digitais adquiridas pelos alunos em contexto escolar. Considerando essa necessidade expressa no âmbito deste projeto e reconhecendo que as práticas de avaliação de competências na área do digital em contexto educativo, apesar da evolução que se regista em diversas dimensões - nomeadamente no que respeita a instrumentos de avaliação -, ainda se encontra numa fase muito incipiente, sobretudo nos primeiros níveis de escolaridade, o problema que está na base do nosso estudo pode traduzir-se da seguinte forma: Como aferir as competências digitais adquiridas pelos alunos, em contexto escolar, no final do 1º ciclo de escolaridade? Para facilitar a operacionalização da investigação, desdobrámos o problema de investigação em questões mais específicas a partir das quais se definiram os objetivos a alcançar, como se pode perceber no quadro 1 abaixo:

Quadro 1 Desdobramento das questões de investigação e respetivos objetivos 

Tendo em conta o contexto e os objetivos subjacentes a este estudo, apresentamos nas secções subsequentes as opções e os procedimentos metodológicos adotados.

3.Opções metodológicas

Tendo em conta a natureza do problema que motiva este estudo, assim como os propósitos almejados, optou-se por desenvolver um percurso metodológico em consonância com as assunções fundamentais do paradigma pragmático. A origem etimológica do termo pragmatismo, que vem do grego prâgma (que significa prática, ação), já nos serve de pista para a forte orientação interventiva dessa abordagem, cujas raízes remetem à filosofia de William James e John Dewey (Creswell, 2014). No campo da investigação, o paradigma pragmático convida o investigador a comprometer-se profundamente com a prática, visto que só se pode chegar à verdade através de uma ação contextualmente situada (Kalolo, 2015; Pereira & Oliveira, 2021). Considerando que um paradigma reflete a visão do investigador sobre o mundo (Pereira & Oliveira, 2021), a escolha pela abordagem pragmática pareceu-nos adequada para ancorar a nossa investigação em curso. Isso porque esta perspetiva, pautada na possibilidade de utilização de uma pluralidade de métodos (Pereira & Oliveira, 2021) em prol do desenvolvimento de soluções concretas para necessidades da realidade (Kalolo, 2015), era o que precisamente nos interessava, tendo em vista o objetivo de construir um dispositivo para a aferição das CD de alunos de forma contextualizada. Kalolo (2015) defende os benefícios do pragmatismo para a investigação no campo educacional, nomeadamente a ênfase dada à utilidade e validade do conhecimento produzido mediante a sua contribuição para as necessidades de um contexto específico. Nesse sentido, esse mesmo autor aponta que os pragmáticos afirmam que o conhecimento científico, para ser útil na resolução de problemas educacionais, precisa ser resultado de uma estreita relação entre a teoria e a prática, ou seja, “para resolver problemas, a interação é uma componente necessária” (Dewey, 1994, como citado em Kalolo, 2015). Esses valores corroboram o nosso interesse por construir um desenho metodológico que priorize a interação com os participantes em contexto real a fim de desenvolver de forma articulada a nossa proposta de dispositivo para a aferição das CD dos alunos. Em alinhamento à abordagem pragmática e aos objetivos da nossa investigação, fez-nos muito sentido seguir os princípios da Design-Based Research (DBR), que, nos últimos 30 anos, tem crescido enquanto metodologia de investigação, nomeadamente em contexto educativo e quando o intuito é desenvolver algo em concreto. Interessava-nos, portanto, uma metodologia de investigação que nos permitisse ir além de propor um método já pré-concebido como fazem muitas investigações no campo das tecnologias educativas (Reeves, 2006, como citado em Plomp, 2013), mas sim desenvolver soluções otimizadas para problemas educacionais contextualizados (Ponte et al., 2016), neste caso em específico, a questão da aferição das CD de alunos. Uma mais-valia desta metodologia é o fato de se interessar pela integração contextualizada dessas novas ferramentas educativas nos espaços escolares (Mazzardo et al, 2016). De facto, a DBR defende a proximidade entre o terreno em que se desenvolve a ação educativa e o que vem a ser desenvolvido pela investigação, de modo que o desenho final seja produto de diversos aprimoramentos e revisões (ciclos iterativos). Um desenho que, após ser validado por especialistas e também pelos próprios professores interessados pode vir a dar contributos práticos e científicos de importância reconhecida, ou seja, a constituir-se como “conhecimento utilizável” (McKenney & Reeves, 2012).

4.Desenvolvimento do estudo

Por se tratar de uma investigação associada ao desenho de uma solução prática e inovadora, valorizando a interação com os professores no terreno e o constante refinamento dos diferentes produtos para melhor atender aos objetivos propostos, em termos práticos, o percurso metodológico desenvolvido compreende cinco etapas, como se ilustra a seguir (figura 1):

Figura 1 Visão global das etapas do percurso metodológico 

Depois de selecionada a abordagem metodológica e tendo como base esta delimitação estratégica ilustrada no esquema acima, nas seguintes subsecções explicitaremos, de forma pormenorizada, em que consiste cada etapa e os respetivos métodos de recolha e análise de dados selecionados, considerados adequados às diferentes naturezas dos dados a serem recolhidos e às intenções de cada uma das etapas.

4.1 Etapa I: Mapeamento Inicial

Como ponto de partida para a concretização do dispositivo de avaliação de CD visado nesta investigação, pareceu-nos importante proceder primeiramente a um mapeamento das contribuições teóricas e das abordagens práticas mais substantivas para impulsionar o desenvolvimento e avaliação de competências digitais em contexto escolar. A forma que encontrámos de incorporar a fase de “Pesquisa Preliminar” (Plomp, 2013), essencial em investigações baseadas em design (DBR), foi a partir de duas linhas principais: (i) Revisão Sistemática da Literatura (RSL); (ii) Levantamento de orientações curriculares de referência no âmbito da avaliação de competências digitais. Com a RSL pretende-se sintetizar os conhecimentos, o “estado da arte” sobre o tema, neste caso, com incidência na avaliação de competências digitais adquiridas por alunos em contexto escolar. Essa escolha justifica-se pelo diferencial da RSL em relação a outros métodos de pesquisa bibliográfica, uma vez que essa metodologia preza pela clareza das etapas e a presença de métodos verificáveis de análise e sistematização do corpus (Gough et al., 2012). Para facilitar a caracterização e análise dos artigos criteriosamente selecionados, 4 questões nos servirão de base: Q1. Qual o foco dado às competências digitais nos estudos identificados?; Q2. Em que referenciais teóricos, curriculares ou outros se baseiam os estudos realizados?; Q3. Em que nível de ensino estão situados os estudos identificados?; Q4. Que áreas de competência e competências digitais específicas são abrangidas nos estudos identificados? No que respeita ao levantamento de orientações curriculares de referência no âmbito da avaliação de competências digitais, dar-se-á primazia a técnicas e procedimentos próprios da análise documental. Para Frey (2018), a análise documental consiste em um processo sistemático de análise de documentos que permite a construção de uma base de conhecimento acerca do que está a ser estudado, uma vez que requer não apenas a revisão e a examinação dos dados, mas também uma interpretação acerca do seu conteúdo. Como critério de seleção dos documentos que integrarão o nosso levantamento, utilizaremos o Relatório Eurydice - “A Educação Digital nas Escolas da Europa” (Comissão Europeia/EACEA/Eurydice, 2019), em particular os países que, segundo o relatório, têm documentos que explicitam não só os resultados de aprendizagem, mas também critérios e/ou normas para avaliação de competências digitais no ensino primário (o que, em Portugal, equivale ao 1º e 2º ciclos). Esse processo nos permitirá sistematizar referenciais e modelos de avaliação de competências digitais de alunos em diversos países a fim de observarmos como problemas semelhantes foram solucionados em outros contextos.

4.2 Etapa II: Revisão do Referencial de Competência Digitais (RCD)

A Etapa II consiste no refinamento do referencial-base em que assentará o dispositivo de avaliação de CD de alunos. Em concreto, tomar-se-á como base de trabalho o Referencial de Competências Digitais para Alunos do 1.º CEB (RCD) entretanto construído no âmbito do projeto Escol@s Digitais (Cruz et al., 2021), com os professores do 1.º CEB. Esse RCD sistematiza as competências digitais a serem desenvolvidas com os alunos dos quatro anos do 1.º CEB em 4 domínios (I. Segurança, Responsabilidade e Respeito; II. Investigar e Pesquisar; III. Comunicar e Colaborar e IV. Criar e Inovar) que, assim como preconizado nas orientações curriculares, concorrem para o desenvolvimento das competências previstas no Perfil dos Alunos à Saída da Escolaridade Obrigatória (Martins et al., 2017). A partir do referencial supramencionado (RCD), desenvolver-se-á a uma nova versão, contemplando diferentes níveis de desempenho/proficiência e descritores exemplificativos para cada nível, numa lógica ascendente. Tomaremos como base currículos desenvolvidos à luz dos princípios contemporâneos para o desenho de referenciais curriculares, indo ao encontro de um dos aspetos mais relevantes das várias metodologias de desenvolvimento, em que se insere a DBR, a “integração de todo o tipo de conhecimento teórico (comprovados e hipotéticos) (…) no sentido de se encontrarem soluções viáveis para a complexidade dos problemas em análise” (Brown, 1992, como citado em Coutinho et al., 2001, p. 901). Nesse sentido, proceder-se-á a uma reescrita, quando aplicável, das competências já definidas visando a explicitação das competências a partir de descritores exemplificativos e, além disso, uma sistematização considerando a necessidade de explicitarmos quais as competências digitais que devem ser desenvolvidas e avaliadas em cada ano do 1.º CEB.

4.3 Etapa III: Validação externa

Na Etapa III, submeteremos o RCD “versão 2” à avaliação crítica por parte de especialistas com experiência prévia na produção de referenciais e documentos curriculares, preferencialmente na área das tecnologias, para que, após possíveis sugestões e ajustamentos, possa ser estabilizado e servir de referência para a construção do instrumento de avaliação de CD. Primeiramente, os juízes-especialistas serão esclarecidos relativamente ao propósito da investigação, especificamente do RCD “versão 2” e o racional subjacente ao seu desenvolvimento, para que, após terem tomado ciência do panorama filosófico e teórico em que se circunscreve o referencial a ser avaliado, possam analisá-lo de forma mais informada e crítica (Davis, 1992). Uma vez esclarecidos quanto ao contexto teórico e pragmático de construção do referencial, os inquiridos deverão se posicionar em relação a cada descritor do referencial a partir de uma grelha de avaliação em que poderão expressar quantitativamente o seu nível de concordância acerca da validade/relevância de cada um dos descritores. Cada item extraído do referencial-base para avaliação será acompanhado de uma escala de tipo Likert de 5 pontos, de acordo com o modelo proposto por Davis (1992) em que “1” indicaria não relevante e “5” indicaria muito relevante. Segundo Davis, as “Escalas de aferição de relevância garantem que os revisores avaliem cada item separadamente e quantifiquem essa avaliação” (1992, p. 196). Após a valoração de cada um dos descritores pelos especialistas, dar-se-á início à construção de um banco de dados através do Google Sheets, para nos possibilitar não só a organização de todas as respostas, como também permitir calcular o Índice de Validade de Conteúdo (IVC) dos itens e, em seguida, do RCD no seu conjunto. Segundo alguns autores, como Alexandre & Coluci (2011) e Davis (1992), os itens cujas pontuações sejam “1” ou “2” devem ser revisados e/ou eliminados, para que, em seguida, seja calculado o IVC “pela divisão do total de itens valorados com “3” ou “4” por todos os especialistas pelo número total de itens avaliados” (Davis, 1992, p. 197). Para a autora, novos instrumentos devem buscar, no mínimo, um ICV de aproximadamente 80% ou mais de concordância entre os juízes-especialistas. À luz dos princípios da DBR, que pressupõe o refinamento cíclico de instrumentos (Coutinho et al., 2001), essa interação com especialistas poderá também acontecer por meio de entrevistas, quer para que os participantes possam se pronunciar de forma mais detalhada sobre determinados aspetos, quer para podermos esclarecer possíveis dúvidas e melhor contextualizar o trabalho em desenvolvimento. No que respeita ao produto final desta validação, este será fruto da análise e da interpretação tanto dos dados quantitativos, quanto dos qualitativos recolhidos por meio dos diversos instrumentos dirigidos aos especialistas participantes desta etapa.

4.4 Etapa IV: Produção de Atividades

Na Etapa IV, procederemos ao desenho de atividades que possam ser adequadas à finalidade de aferir as CD de alunos. As atividades deverão servir como forma de avaliar os conhecimentos, as habilidades e as atitudes dos alunos do 1.º CEB na área do digital, como definido na Etapa II. O desenho das atividades tomará como referência os modelos alternativos de avaliação, especificamente numa perspetiva de avaliação autêntica (Mateo & Martinez, 2008), e os princípios do Design Instrucional (Gagné et al., 1992). Para Mateo e Martinez, “Temos de nos aproximar do binómio conhecimento-ação (…) A atividade é um espaço de fusão do conhecimento e da ação” (Mateo & Martinez, 2008, p. 20), logo, nesse sentido, para que nossas atividades consigam equacionar estes dois pilares, elas terão como objetivo permitir ao aluno o confronto com situações-problemas semelhantes à sua realidade. Afinal, muitas vezes, a dificuldade de um aluno não é em relação à competência em si, mas sim em relação à interpretação das situações que se colocam no quotidiano. A fase inicial da construção das atividades passará por definir os indicadores que se pretendem aferir com as mesmas e, em seguida, a definição de etapas de execução que poderão servir como indicadores observáveis e mensuráveis das competências digitais mobilizadas pelos alunos. Em conformidade com o que afirmam Gagné et al. (1992), a atividade criada deve ter em conta a realidade dos aprendentes e colocá-los em posição de demonstrar o que são capazes de fazer diante de uma situação-problema. Essas atividades poderão vir a ser muito pertinentes em particular para a aferição de indicadores relativos às capacidades e atitudes. No que respeita à aferição dos conhecimentos (componente declarativa do saber na área do digital), e considerando os estudos mais recentes sobre essa temática (Iglesias-Rodríguez et al., 2021), optar-se-á por questões fechadas (em que o aluno poderá escolher a opção que lhe parecer mais adequada). As capacidades e as atitudes, como também apontam outros estudos (Reichert et al., 2020), serão avaliadas a partir de questões que solicitem uma intervenção mais prática do aluno na resolução de um problema.

4.5 Etapa V: Validação Interna

Por fim, na Etapa V, o dispositivo de avaliação desenvolvido será validado por um grupo de professores das escolas do 1.º CEB pertencentes aos 12 agrupamentos de escolas da rede municipal da Amadora. Os potenciais participantes serão convidados para integrar esta ação específica via correio eletrónico, no qual explicitaremos os objetivos da presente investigação e a forma de participação na validação do RCD “versão 2” e das atividades que irão compor o dispositivo de Avaliação das Competências Digitais de Alunos. As atividades elaboradas na Etapa IV, previamente agrupadas por Domínio do RCD “versão 2”, serão distribuídas aleatoriamente pelos participantes e contarão, cada uma, com um mínimo de duas apreciações. Para recolher as apreciações desses participantes, utilizaremos uma grelha de avaliação, na qual se poderão pronunciar quantitativamente (utilizando uma escala do tipo Likert de 5 pontos) e qualitativamente (em um espaço para sugestões em formato de respostas abertas) em relação à importância, clareza e exequibilidade das competências definidas RCD “versão 2” e das atividades construídas para avaliar as respetivas competências. Esta fase respeitará os princípios da DBR, uma vez que para a conceção do dispositivo de avaliação de CD de alunos, auscultaremos os profissionais do terreno não só para uma validação final, mas também para o processo de aprimoramento e refinamento do construto antes mesmo de estar acabado (Coutinho, 2001). Afinal, nossa intenção é, realmente, pensar em um percurso investigativo de cariz intervencionista não-linear e voltado, sobretudo, ao desenvolvimento de um referencial para aferição de CD de alunos que responda às necessidades reais dos professores. Como estratégia complementar neste processo de validação interna, poderão ser realizadas entrevistas com os docentes a fim de obtermos maiores esclarecimentos sobre os feedbacks fornecidos. Considerando a natureza das informações recolhidas, será dada primazia à análise de conteúdo para a análise qualitativa dos dados e, com essa base, procedermos a uma apreciação crítica acerca da viabilidade e pertinência do instrumento de avaliação proposto neste estudo.

5.Considerações finais

5.1 Potencialidades

Embora a proposta metodológica apresentada neste artigo ainda esteja em fase de aprimoramento e implementação, esta já tem revelado potencialidades para a investigação em curso. Aqui, gostaríamos de elencar três aspetos gerais que, no âmbito da nossa proposta metodológica, apresentaram-se como mais- valias. O primeiro deles é o fato de o protótipo desenvolvido a partir desta proposta metodológica, ancorada no paradigma pragmático e nos princípios da DBR, ter o potencial de gerar mudanças significativas e que aportam valor ao contexto a que se dirige, ou seja, apresenta o que alguns pesquisadores definem como uma “validade consequencial” (Barab & Squire, 2004; Pereira & Oliveira, 2021). Isso porque o estreitamento com o terreno dá aos investigadores um conhecimento privilegiado sobre o contexto real de intervenção. Diferentemente de uma lógica de apropriação de uma medida criada externamente ao contexto, o desenho da solução dá-se justamente em colaboração entre os investigadores e os participantes, os quais fazem parte do contexto de intervenção, tendo como consequência uma solução feita “sob medida” para a necessidade em questão. Ainda, um outro aspeto é que, ao fomentarmos, em diferentes etapas da nossa proposta, a construção de um ambiente de colaboração entre investigadores e participantes, reduzem-se as distâncias entre o conhecimento produzido a partir da investigação académica e aqueles que estão no terreno, especificamente os professores. Sobre isso, Reeves et. al (2011) problematizam a escassa conexão existente entre a investigação produzida na área da educação e uma significativa melhoria na qualidade dos processos e desempenhos em contexto de ensino e aprendizagem. Por essa razão, a nossa proposta metodológica valoriza o refinamento da “solução protótipo” a partir da auscultação dos professores do 1.º CEB e da incorporação das suas sugestões ao longo do desenvolvimento do estudo. Nesse sentido, alguns autores defendem que investigações baseadas no design podem representar uma mais-valia para a educação, uma vez que “engages practitioners and researchers in the creative activity of developing prototype solutions” (Revees et al, 2011, p. 11). Por fim, mas não menos relevante, o desenvolvimento deste percurso metodológico integrando maioritariamente métodos e instrumentos qualitativos, mas também quantitativos, poderá potenciar a recolha e a análise de dados com maior qualidade e utilidade para a investigação. A partir das técnicas qualitativas, é-nos possível aceder às perceções mais detalhadas dos participantes, que integram o contexto de intervenção, acerca das potencialidades e fragilidades do nosso referencial, as quais nos levarão a um refinamento mais preciso e adequado às exigências específicas do terreno. Entretanto, a perspetiva qualitativa adotada, complementa-se pela apreciação quantitativa que será solicitada aos participantes quanto ao referencial-base (Etapa II) e às atividades elaboradas (Etapa V) aporta-nos de forma mais objetiva e precisa dados relativos à validade desses “produtos” por parte dos inquiridos.

5.2 Limitações

Relativamente às limitações da proposta metodológica apresentada ressaltamos a inerente complexidade de se trabalhar em estreitamento com o terreno, uma vez que o contexto real é prenhe de imprevisibilidades, com as quais o investigador vai precisar lidar no desenvolvimento do seu estudo. Um exemplo tem sido a questão pandémica, a qual tornou a colaboração em terreno com os professores um pouco mais complexa, uma vez que os mesmos estão, ainda, extremamente sobrecarregados para dar conta das novas formas de “fazer aprender” e contornar essa situação de crise maior. Portanto, para alguns, apesar de haver o interesse, a presença em uma investigação poderá aparentar um trabalho acrescido a que não conseguem se dedicar neste momento. Além disso, uma outra limitação é o tempo necessário para a gestão dos vários procedimentos de recolha e análise dos dados. Os ciclos iterativos de refinamento dos produtos constituintes dessa investigação, por acontecerem a partir das sugestões fornecidas pelos juízes-especialistas e pelos professores, demandam um volume alto de dados a serem sistematizados, comparados e interpretados por parte do investigador. Além de que, tendo em vista o que será solicitado aos participantes, nem sempre se consegue uma resposta rápida, o que pode tornar o processo de ajustamento do referencial e das atividades um pouco mais demorado, por depender também de outros para além do investigador. Ainda, como limitação do percurso metodológico apresentado, tem-se a dificuldade de generalização. Investigadores como Pereira & Oliveira (2021) e Berardo (2021) já salientam que por se tratar de uma metodologia destinada ao desenvolvimento uma “solução protótipo” construída em terreno, o produzido a partir da DBR não pode ser generalizado de forma indiscriminada para outros contextos sem adaptação. Para McKenney & Reeves (2012), pode-se transferir os princípios do design do produto desenvolvido no contexto da investigação, por meio de um raciocínio de analogia, mas futuras investigações precisam considerar as idiossincrasias de suas realidades. Apesar de tudo, importa reconhecer que a proposta metodológica aqui apresentada, além de constituir uma abordagem promissora para tornar a teoria educacional mais “acessível às pessoas que irão usar os produtos e processos desenvolvidos pelo design” (Ponte et al., 2016, p.82), também poderá inspirar outros investigadores que se interessem pelo avançar do conhecimento científico em educação mediante a valorização da sabedoria profissional.

6.Agradecimentos

Este trabalho é financiado por fundos nacionais através da FCT - Fundação para a Ciência e a Tecnologia, I.P/MCTES, no âmbito da UIDEF - Unidade de Investigação e Desenvolvimento em Educação e Formação, Instituto de Educação, Universidade de Lisboa, com a referência UIDB/04107/2020. O artigo foi desenvolvido no contexto do Projeto Escol@s Digitais financiado pela Câmara Municipal da Amadora.

7.Referências

Alexandre, N. M. C. & Coluci, M. Z. O. (2011). Validade de conteúdo nos processos de construção e adaptação de instrumentos de medidas. Ciência & Saúde Coletiva, 16(7), 3061-3068. https://doi.org/10.1590/S1413-81232011000800006 [ Links ]

Barab, S., & Squire, B. (2004). Design‐based research: Putting a stake in the ground. Journal of the Learning Sciences, 13(1), 1-14. http://www.didaktik.itn.liu.se/Texter/Barab_Squire_2004.pdfLinks ]

Berardo, I. (2021). Education Design Research. In Moreira, A., Sá, P., & Costa, A. P. (Orgs.) Reflexões em torno de Metodologias de Investigação: métodos. (pp. 65-79). UA Editora. https://dx.doi.org/10.34624/hmtj-qg49 [ Links ]

Bielba Calvo, M., Martínez Abad, F., & Rodríguez Conde, M. J. (2016). Validación Psicométrica de un Instrumento de Evaluación de Competencias Informacionales en la Educación Secundaria. Revista de Pedagogía, 68(2). https://doi.org/10.13042/Bordon.2016.48593 [ Links ]

Brečko, B. N., Kampylis, P. & Punie, Y. (2014). Mainstreaming ICT-enabled Innovation in Education and Training in Europe: Policy actions for sustainability, scalability and impact at system level. European Luxemburgo: Serviço das Publicações da União Europeia. [ Links ]

Cabezas-González, M., Casillas-Martín, S., García-Valcárcel-Muñoz-Repiso, A., & Basilotta-Gómez-Pablos, V. (2021). Validación de prueba para evaluar la competencia digital en el área de resolución de problemas en estudiantes de educación obligatoria. Revista Electrónica Educare, 25(3), 1-21. https://doi.org/10.15359/ree.25-3.2 [ Links ]

Comissão Europeia/EACEA/Eurydice. (2019). A Educação Digital nas Escolas da Europa. Relatório Eurydice. Luxemburgo: Serviço das Publicações da União Europeia. [ Links ]

Coutinho, C. & Chaves, J. (2001). Desafios à investigação em TIC na educação: As metodologias de desenvolvimento. In: Desafios 2001: Atas da Conferência Internacional de Tecnologias da Informação e Comunicação na Educação (pp. 895-903). Centro de Competência Nónio Século XXI da Universidade do Minho https://repositorium.sdum.uminho.pt/bitstream/1822/4277/3/Clara%20Coutinho.pdfLinks ]

Creswell, J. W. (2014). Research design: Qualitative, quantitative, and mixed methods approaches (4th ed.). SAGE Publications. [ Links ]

Cruz, E., Costa, F., Grilo, A., Cardoso, A., Bento, A., Duarte, C., Rodrigues, C., Marcelino, E., Sousa, E., Soares, I., Pires, M., Ferreira, M., Abreu, M.L., Gonçalves, M., Pereira, N., Balula, R., Gomes, S., Lisboa, S., & Peres, V. (2022). Referencial de Competências Digitais para Alunos do 1.º CEB. Projeto Escol@s Digitais (v1.1). Instituto de Educação da Universidade de Lisboa. https//escolasdigitais.ie.ulisboa.pt/produtos/referencial-1-ociclo/Links ]

Davis, L. L. (1992). Instrument review: Getting the most from a panel of experts. Applied Nursing Research, 5(4), 194-197. https://doi.org/10.1016/S0897-1897(05)80008-4 [ Links ]

Direção-Geral da Educação (2018). Orientações Curriculares para as Tecnologias da Informação e Comunicação - 1º Ciclo do Ensino Básico. https://www.dge.mec.pt/sites/default/files/ERTE/oc_1_tic_1.pdfLinks ]

Frey, B. B. (2018). The SAGE Encyclopedia of Educational Research, Measurement, and Evaluation. SAGE Publications, Inc. https://doi.org/10.4135/9781506326139 [ Links ]

Gagné, R., Briggs, L., Wager, W. (1992). Principles of Instructional Design (4th ed.). HBJ College Publishers. [ Links ]

García-Valcárcel Muñoz-Repiso, A., Casillas Martín, S., & Basilotta Gómez-Pablos, V. M. (2020). Validation of an Indicator Model (INCODIES) for Assessing Student Digital Competence in Basic Education. Journal of New Approaches in Educational Research, 9(1), 110-125. https://doi.org/10.7821/naer.2020.1.459 [ Links ]

Gough, D., Thomas, J., & Oliver, S. (2012). Clarifying differences between review designs and methods. Systematic Reviews, 1(1), 28. https://doi.org/10.1186/2046-4053-1-28 [ Links ]

Iglesias-Rodríguez, A., Hernández-Martín, A., Martín-González, Y., & Herráez-Corredera, P. (2021). Design, Validation and Implementation of a Questionnaire to Assess Teenagers’ Digital Competence in the Area of Communication in Digital Environments. Sustainability, 13(12), 6733. https://doi.org/10.3390/su13126733 [ Links ]

Kalolo, J. F. (2015). The Drive towards Application of Pragmatic Perspective in Educational Research: Opportunities and Challenges. Journal of Studies in Education, 5(1), 150. https://doi.org/10.5296/jse.v5i1.7145 [ Links ]

Martínez Abad, F., Bielba Calvo, M., & Herrera García, M. E. (2017). Evaluación, formación e innovación en competencias informacionales para profesores y estudiantes de Educación Secundaria. Revista de Educación, 376. https://doi.org/10.4438/1988-592X-RE-2017-376-346 [ Links ]

Martins, G., Gomes, C., Brocardo, J., Pedroso, J., Carrillo, J., Silva, L., Encarnação, M.M., Horta, M. J., Calçada, M.T. Nery, R., & Rodrigues, S. (2017). Perfil dos Alunos à Saída da Escolaridade Obrigatória. Ministério da Educação, Direção-Geral da Educação (DGE). [ Links ]

Mateo, J. & Martínez, F. (2008). La Evaluación Alternativa de los Aprendizajes. ICE& Octaedro. https://www3.uji.es/~betoret/Formacion/Evaluacion/Documentacion/Cuaderno%20Octoedro%203% 20ICE-UB%20La%20evaluacion%20alternativa%20de%20los%20aprendizajes.pdfLinks ]

Mazzardo, M., Nobre, A., Mallmann, E. & Fernandes-Martins, I. (2016). Design-based research: desafios nos contextos escolares. In: Atas do 5º Congresso Iberoamericano em Investigação Qualitativa - Investigação Qualitativa na Educação. Ludomedia. https://proceedings.ciaiq.org/index.php/ciaiq2016/article/view/691Links ]

McKenney, S., & Reeves, T. C. (2012). Conducting educational design research. Routledge. [ Links ]

Pereira, A., & Oliveira, I. (2021). Pragmatismo, design-based research e investigação-ação. Revista Pesquisa Qualitativa, 9(21), 445-467. https://doi.org/10.33361/RPQ.2021.v.9.n.21.453 [ Links ]

Plomp, T. (2013). Educational Design Research: An Introduction. In T. Plomp & N. Nieveen (Eds.), Educational Design Research Part A: An Introduction (pp. 10-51). Enschede, The Netherlands: SLO. [ Links ]

Ponte, J.P., Carvalho, R., Mata-Pereira, J., & Quaresma, M. (2016). Investigação baseada em design para compreender e melhorar as práticas educativas. Quadrante, 25(2), 77-98. https://hdl.handle.net/10451/28786Links ]

Reichert, F., Zhang, D., Law, N. W. Y., Wong, G. K. W., & de la Torre, J. (2020). Exploring the structure of digital literacy competence assessed using authentic software applications. Educational Technology Research and Development, 68(6), 2991-3013. https://doi.org/10.1007/s11423-020-09825-x [ Links ]

Redecker, C. (2013). The Use of ICT for the Assessment of Key Competences. European Luxemburgo: Serviço das Publicações da União Europeia. [ Links ]

Reeves, T. C., McKenney, S., & Herrington, J. (2011). Publishing and perishing: The critical importance of educational design research. Australasian Journal of Educational Technology, 27(1). https://doi.org/10.14742/ajet.982 [ Links ]

Zabala, A. & Arnau, L. (2010). Como aprender e ensinar competências. Artmed [ Links ]

Recebido: 01 de Fevereiro de 2022; Aceito: 01 de Abril de 2022

Creative Commons License Este é um artigo publicado em acesso aberto sob uma licença Creative Commons