Português (pdf)
Artigo em XML
Referências do artigo
Tradução automática
Enviar este artigo por email
Citado por SciELO 
Similares em
SciELO 
Permalink
1. Introdução
A avaliação digital e o feedback têm vindo a ser áreas de crescente interesse no setor do ensino superior (ES), em particular num contexto temporal em que existe uma pressão contínua sobre o ensino e aprendizagem digitais motivada pela COVID-19 e pela globalização e massificação do acesso ao ES. O ensino emergencial veio colocar em evidência a necessidade de se repensar a avaliação digital de forma estrutural e sustentável (Moreira et al., 2020). Neste artigo, procurar-se-á aprofundar o tema do papel do estudante no contexto da avaliação digital e a função das plataformas de avaliação digitais (PAD) na promoção deste papel. As PAD têm vindo a ser utilizadas no sentido de melhorar a eficiência e o acesso ao processo de avaliação e feedback, não só como veículo na promoção de redução do erro durante a transição das notas entre diversas plataformas, pois esse processo torna-se mais automatizado, mas também como mecanismo de facilitação do acesso do estudante às notas e ao feedback recebido de forma mais atempada (Bausili, 2018).
A utilização das PAD está, de forma gradual, a ter um impacto significativo no processo de avaliação e, embora este crescimento tenha vindo a ser mais evidente no contexto anglo-saxónico (Bausili, 2018; ElShaer et al., 2020), também em Portugal ele tem vindo a tornar-se mais saliente (Amante & Oliveira, 2019), em particular após o confinamento provocado pela COVID-19. Com as PAD, temos, em teoria, ao nosso dispor a capacidade de desenvolver práticas mais transparentes, acessíveis e eficazes na avaliação e no feedback (Santos, 2018); no entanto, aquilo que se verifica é que as PAD são desenvolvidas para suportar processos mais eficazes e transparentes, não respondendo às necessidades pedagógicas de tornar os elementos de avaliação conducentes à aprendizagem. Como referem Amante e Oliveira (2019): “a simples utilização das tecnologias digitais no processo de avaliação não evidencia necessariamente perspetivas de ensino transformadoras” (p. 3). A consequência natural é que os docentes, quando utilizam as PAD, favorecem metodologias de avaliação suportadas no feedback unidirecional, sem o envolvimento ativo do estudante neste processo (Boud & Falchikov, 2006; Nieminen & Tuohilampi, 2020), ou, simplesmente, sem feedback. Esta lógica unidirecional do processo de avaliação está enraizada num modelo de avaliação em que o feedback existe, não como catalisador da aprendizagem do estudante, mas como plataforma de justificação de uma nota (Amante & Oliveira, 2019). Há, no entanto, um conjunto de novas evidências que suportam a importância do processo de feedback na aprendizagem do estudante; que o feedback dado ao estudante durante o processo de avaliação é um dos mais influentes e eficazes paradigmas de aprendizagem, e, consequentemente, que representações socioconstrutivistas do processo de feedback são as mais apropriadas para uma aprendizagem eficaz. Representações de feedback que envolvam o estudante na autoavaliação e na discussão sobre a avaliação com os seus pares e com os docentes (Fernandes, 2006; Hattie & Timperley, 2007), em contraponto a modelos de feedback suportados no cognitivismo e transmissão de informação. Existe, igualmente, um número cada vez mais significativo de autores que suportam a ideia de que quanto maior for o envolvimento ativo do estudante com a avaliação, maior impacto esta terá ao longo do seu processo de aprendizagem (Boud & Falchikov, 2006; Carless & Boud, 2018; Winstone, 2019). Realça-se, aqui, o trabalho relevante nesta área proposto por Amante e Oliveira (2019) com o seu conceito de “cultura da avaliação” em contraste com a “cultura do teste”.
Um conjunto de autores tem-se debruçado, recentemente, sobre esta relação entre o feedback na avaliação e o papel do estudante sob a lente da agência do estudante no processo de ensino e aprendizagem (Nieminen & Tuohilampi, 2020; Pacheco et al., 2020; Winstone et al., 2017). Este artigo procura compreender a perceção dos docentes sobre o conceito de agência do estudante no processo de avaliação e, refletindo sobre esta temática, de que forma os docentes encontram nas PAD um caminho para implementar melhores práticas de avaliação que estejam ancoradas num papel mais ativo do estudante. Procura-se responder à questão: de que forma podem os docentes melhorar as suas estratégias de avaliação para promover maior agência do estudante nos processos de avaliação e feedback digitais?
O conceito de agência leva a discussões sobre o balanço do poder no ensino e aprendizagem, sobretudo numa área que tem vindo a ser dominada pelo docente – a da avaliação (Nieminen & Hilppö, 2020). Será de todo impossível alcançar uma situação em que o estudante exerce agência na sua avaliação se o docente não ceder algum do controlo que mantém no processo de avaliação. Daí que se tenha procurado compreender se, em contexto educativo, o docente se sentiria capaz de ceder algum do controlo do processo de avaliação e, fazendo-o, de que forma consideraria possível essa cedência ser implementada numa PAD.
O artigo inicia com uma revisão do conceito de agência do estudante em contexto de ensino e aprendizagem. Considerou-se que esta definição do conceito de agência é fundamental, pois permite enquadrar metodologicamente os dados empíricos analisados, bem como situar conceptualmente o leitor no quadro teórico relativamente inovador em que assenta esta investigação. Seguidamente, apresentamos os métodos de investigação utilizados e os resultados. O artigo conclui com recomendações dirigidas a docentes e a instituições de ensino sobre a forma como a agência do estudante pode ser exercida em práticas de avaliação e feedback.
2. Enquadramento Teórico
Não existe uma definição consensual sobre o conceito de agência do estudante na educação, embora a maioria dos autores concordem com a definição de que o estudante desenvolve controlo ou uma sensação de controlo sobre o seu processo de aprendizagem e, consequentemente, a capacidade de ter uma voz ativa neste processo (Casanova et al., 2021; Charteris & Smardon, 2018; Matusov et al., 2016). Este conceito de agência não é um novo conceito. Foi inicialmente introduzido no âmbito de perceções liberais e neoliberais da sociedade nas quais é dada a possibilidade ao indivíduo de poder tomar decisões livremente sobre a sua vida em sociedade (Matusov et al., 2016); este conceito tem sido associado, ao longo dos anos, a teorias e abordagens educacionais como a autodeterminação (Ryan & Deci, 2000), o desenvolvimento do indivíduo (Dweck, 2008) e a autorregulação da aprendizagem (Bandura, 2001). Movimentos humanistas enquadram o conceito de poder como produto de ter agência, estando os indivíduos naturalmente capacitados para o exercer. No entanto, este poder pode, em tese, ser cedido ao indivíduo ou ser-lhe retirado (Charteris & Smardon, 2018).
No caso desta investigação, utiliza-se a definição de agência como ´new material agency´ (Charteris & Smardon, 2018) – um processo dinâmico que é gerado através de um conjunto de elementos existentes no ambiente educacional. A agência é exercida pelo indivíduo quando este se relaciona com objetos e com outros indivíduos, ao contrário da ideia de que o indivíduo possui, por inerência, uma capacidade ontológica de exercer agência de forma intrínseca (Charteris & Smardon, 2018). Ao reforçar a inclusão explícita destes elementos, Charteris e Smardon (2018) sugerem que estamos a fortalecer o posicionamento do estudante em relação ao seu papel na aprendizagem. Por outras palavras, estamos a sinalizar junto do estudante de que forma ele pode exercer agência na sua aprendizagem.
Matusov et al. (2016) sugerem uma abordagem semelhante na qual deve ser introduzido um processo que traga algo de novo, inovador e disruptivo ao processo de aprendizagem; esta abordagem trará ao estudante novas formas de pensar e, em consequência destas novas formas de pensar, o estudante desenvolverá novas competências de aprendizagem. Assim, ao tornar explícito onde o estudante pode exercer a sua agência, estaremos a fortalecer o posicionamento do estudante em relação à sua responsabilidade no processo de aprendizagem (Charteris & Smardon, 2018). Em termos práticos, esta sinalização no processo de aprendizagem resulta de um redesenho do contexto educativo – por exemplo, quando se desenham salas de aula que suscitem o trabalho ativo ou colaborativo (Casanova et al., 2020; Pedro, 2017), ou quando se implementam decisões pedagógicas que incutam no estudante um papel atuante, como a avaliação por pares ou a autoavaliação (Amante & Oliveira, 2019).
Embora possa não ser a visão mais pura e humanista do conceito de agência, ao disponibilizarmos uma variedade de sinais no ambiente de aprendizagem estamos a disponibilizar ao estudante um conjunto de possibilidades para que ele possa demonstrar uma aprendizagem com maior agência. Esta visão vem em contraciclo com o desenho dos espaços de aprendizagem ou com a própria visão ultramodernista e massificada do ensino superior (Casanova, 2021). Na avaliação, esta é uma alteração significativa, em particular porque o setor da educação tem, historicamente, favorecido um modelo de avaliação e de feedback sustentado na transmissão unidirecional da informação que enquadra o estudante como recetor de informação e não como parte ativa no diálogo sobre a informação (Boud & Falchikov, 2006; Nieminen & Tuohilampi, 2020). O papel do docente é dominante, liderando o processo desde o início, quando desenha os elementos de avaliação e identifica os critérios de avaliação, até ao final, ou quando avalia, dando uma nota e feedback. Esta investigação sustenta-se nesta noção de balanço de poder entre docente e estudante.
3. Métodos
O conceito de agência no fenómeno da avaliação das aprendizagens tem sido pouco conceptualizado e investigado (Nieminen & Hilppö, 2020). Esta foi uma das razões pela qual se sentiu a necessidade de se criar um quadro conceptual que abordasse estas questões relativamente à avaliação digital e que permitisse aos participantes refletirem com base no mesmo ponto de partida. Tendo em conta que os participantes neste estudo eram originários de diversas áreas disciplinares, procurou-se desenvolver um cenário que fosse comum. Fomos informados por técnicas de desenho participado (Casanova et al., 2020; Penuel et al., 2007), nomeadamente na utilização de uma experiência de redesenho de um protótipo de uma PAD com o objetivo de promover a discussão de ideias e a reflexão sobre o cenário. Este tipo de abordagem foge ao tradicional processo de recolha de dados, pois injeta nos participantes um entusiasmo e um sentimento de colaboração com um objetivo final (Casanova et al., 2018). Através deste tipo de abordagem, os investigadores conseguem recolher um conhecimento profundo sobre a relação simbiótica entre os utilizadores e um produto ou um processo, algo difícil de atingir num formato tradicional de entrevista ou de focus-group (Frohlich et al., 2014).
3.1. Contexto Do Estudo
Esta investigação decorreu em duas universidades inglesas que têm estado envolvidas, há mais de uma década, em processos de avaliação digital. Em ambas as instituições foram sendo desenvolvidos regulamentos e práticas para dar apoio ao processo, tendo os docentes tido formação e apoio institucional para criarem os seus processos de avaliação digital. Há a expetativa, em ambas as instituições, de que pelo menos uma componte do regime de avaliação de cada unidade curricular seja feita de forma digital, algo que faz parte da prática no setor do ensino superior no Reino Unido (Bausili, 2018). A avaliação digital pode ser realizada em vários formatos. No âmbito deste projeto, e porque se procurava discutir a agência do estudante, procurou-se, através do cenário proposto, retratar todos os elementos de avaliação que estejam sustentados em submissão de documentos escritos, como ensaios, relatórios, reflexões ou dissertações. Esta é, também, a área da avaliação digital mais utilizada em Portugal (Amante et al., 2019). Por forma a não limitar o ciclo de estudos ou as disciplinas, no âmbito do cenário proposto, não foram feitas mais referências ao elemento de avaliação para além de uma referência à submissão de documentos escritos. A descrição do elemento de avaliação poderia excluir a discussão de práticas em algumas disciplinas. Em cada uma das instituições, há a expetativa de que, no âmbito da submissão de um elemento de avaliação, exista uma nota, que, geralmente, é suportada por feedback, dado para justificar a nota ou para recomendar melhorias ao estudante. A recomendação, em ambas as instituições, é de que a gestão deste processo seja feita online, através de uma PAD.
3.2. Recolha De Dados
Os dados foram recolhidos através da realização de focus-group criativos, também referidos, por Frohlich et al. (2014), como ‘sandpits’ ou ‘caixas de areia’, influenciados por abordagens criativas e de desenho. Este tipo de abordagem incluiu técnicas de storytelling que ajudaram a contextualizar o cenário da utilização do protótipo da PAD. Cada focus-group estava organizado em três fases:
-
Enquadramento – O cenário era apresentado aos participantes através da leitura de um guião, desenvolvido para o efeito, que caracterizava o papel do docente e do estudante numa PAD proposta a partir de um protótipo;
Crítica – Foi solicitado aos participantes que sinalizassem, utilizando notas em post-its de cor, aquilo que pretendiam: (i) manter no cenário (verde); (ii) manter no cenário com alterações (amarelo); e (iii) retirar (vermelho). Esta metodologia permitia aos participantes posicionarem-se e discutir, quer o conteúdo do guião sobre a avaliação digital, quer as próprias funcionalidades da PAD;
Consolidação – Era dada aos participantes a oportunidade de consolidar a discussão através da sugestão de alterações no processo ou na PAD.
Cada focus-group teve a duração de uma hora. Foram realizados 10 focus-group envolvendo 58 docentes provenientes de duas instituições de ensino superior (Tabela 1).
Procurou-se selecionar docentes de diferentes áreas científicas e com experiências distintas, pois tentou-se capturar perspetivas diversas sobre a avaliação e promover a discussão acerca das facetas multidisciplinares do feedback e da avaliação (Twining et al., 2017). Embora investigação recente tenha sugerido que as especificidades das disciplinas influenciam as práticas de avaliação e feedback (ElShaer et al., 2020), sustentou-se que a triangulação de experiências de docentes de várias áreas científicas propiciaria uma discussão mais rica e mais diversa.
Os investigadores participaram ativamente durante o focus-group, pois foram eles os responsáveis por ler a narrativa de enquadramento, apresentar o cenário e moderar e estabelecer ligações entre o protótipo e as práticas pedagógicas e digitais dos participantes. Este duplo papel de facilitador e investigador foi explicado aos participantes no início de cada focus-group de forma a clarificar possíveis conflitos éticos (Kemmis et al., 2014).
As discussões e interações durante os focus-group foram gravadas e transcritas. As fotografias dos post-its foram utilizadas como dados secundários que poderiam ser usados para ilustrar ou ajudar a contextualizar as discussões de cada grupo (Figura 1).
3.3. O PROTÓTIPO DA PAD
O protótipo da PAD foi ilustrado utilizando a plataforma Balsamic Mockups 3. Este tipo de abordagem permitiu replicar uma sessão de desenho participado, que é utilizado frequentemente no desenho de software, pois permite combinar a experiência dos utilizadores na utilização da plataforma com a sua criatividade, procurando encontrar novas soluções de desenho e novas funcionalidades. O protótipo da PAD foi desenhado com o objetivo de replicar o típico processo de avaliação e feedback em contexto de submissão de trabalho escrito. Foram, no entanto, introduzidas novas funcionalidades, focando, em particular, soluções para encorajar maior agência do estudante neste processo. Esta foi a solução encontrada pelos autores para desenvolver novas possibilidades de discussão entre os participantes, pois verificou-se que a maioria das PAD analisadas não apresentavam oportunidades ao estudante para exercer agência no seu processo de avaliação (Casanova et al., 2021).
O tópico da narrativa assentava na submissão de um documento escrito, na plataforma digital, como elemento de avaliação. Utilizou-se o conceito de personas ou personagens (Earnshaw et al., 2017) como método de caracterização do docente e do estudante. Esta abordagem permitiu oferecer ao participante uma descrição ficcional sobre o papel do docente (com o nome de Ayesha) e do estudante (com o nome de John Chu) no processo de avaliação digital.
Figura 2: Representação da Fase em que John Chu faz a Primeira Tentativa de Submissão do seu Trabalho
Figura 3: Representação da Fase em que John Chu Ressubmete o seu Trabalho com Base na Avaliação do Feedback Recebido do Docente.
Nas Figuras 2 e 3, é possível visionar algumas das funcionalidades exploradas no protótipo do PAD: na Figura 2 está representada uma área em que o estudante pode fazer perguntas sobre a avaliação ao docente, antes de submeter o trabalho, enquanto na Figura 3 está ilustrada uma funcionalidade que permite ao estudante rever o feedback recebido e ressubmeter o seu trabalho melhorado. Procurámos utilizar o método de ‘storytelling’ para descrever este processo, pois, para além de permitir caracterizar cada uma das funcionalidades, permitiu também ajudar à reflexão sobre o processo de avaliação e feedback apresentado para discussão. Tendo em conta a diversidade dos participantes, a metodologia de ‘storytelling’ foi importante para que iniciassem o processo de crítica com o mesmo quadro concetual e com uma perspetiva mais assertiva sobre o exercício em discussão.
3.4. Análise De Dados
Fomos informados pelo trabalho de Braun e Clarke (2021) e as suas perspetivas sobre a análise temática reflexiva (AT) para a investigação qualitativa. Concordamos acerca da relevância da subjetividade do investigador como recurso na análise dos dados, como parte das suas próprias conceções das teorias e de como essas teorias informam a interpretação dos dados (Braun & Clarke, 2021). A AT reflexiva incentiva os investigadores a não se envolverem no processo analítico como um processo exclusivamente indutivo ou dedutivo, mas a reconhecerem que ambos podem trabalhar em conjunto no “contínuo”, e não numa “dicotomia” (Clarke & Braun, 2013).
Os dados foram recolhidos e analisados respeitando todos os requisitos éticos, incluindo o anonimato e a confidencialidade dos dados e dos participantes. Os dados foram transcritos para o software NVivo12. Os investigadores geraram os códigos iniciais baseados na indução e na sua própria reflexão acerca dos dados recolhidos para cada instância individual. Aqui os códigos foram considerados como entidades que captam, pelo menos, uma observação dos dados (Charmaz, 2006).
O processo de análise de dados seguiu a abordagem sugerida por Braun e Clarke (2021): iniciou-se com a familiarização dos dados, fazendo uma codificação sistemática dos mesmos; em segundo lugar, geraram-se os temas iniciais a partir de dados codificados e coligidos (abordagem indutiva) e passou-se ao desenvolvimento e revisão do conjunto principal de temas com base numa abordagem dedutiva suportada pela literatura relacionada com o conceito de agência. O processo terminou com a afinação, definição e nomeação desses temas: (i) preparação para a avaliação; (ii) avaliação formativa; e (iii) feedback pós-submissão.
4. Resultados E Discussões
Um dos resultados mais relevantes para esta investigação foi a confirmação de que todos os grupos concordaram com a necessidade de um papel do estudante mais ativo no processo de avaliação.
There is a balance of power. The assessment process seems to be loaded quite often on the part of the lecturer… we should be looking at a scenario where you give me some feedback and I challenge you and you challenge me back. (Participante no Grupo 6)
Sem o docente manifestar disponibilidade para ceder algum do seu papel dominante no processo de avaliação, pouco sentido faria discutirem-se estratégias para promover oportunidades para o estudante exercer agência neste processo (Nieminen & Hilppö, 2020).
Enquanto explorava o protótipo apresentado, a maioria dos docentes participantes revelou concordância sobre o valor da tecnologia no suporte à promoção de maior agência do estudante. A exceção foi partilhada por um docente da área da saúde, que referiu preferir a avaliação em contexto presencial afirmando que reuniões presenciais demorariam menos tempo a ser realizadas quando comparado com o do feedback escrito. Estes resultados podem ter emergido como consequência dos processos existentes nas duas universidades dos docentes participantes no estudo, nas quais a avaliação digital é já uma prática consagrada e suportada pelas instituições. Esta perceção pode ter influenciado os participantes a darem a resposta ‘certa’ ou ‘esperada’. Pode-se questionar se o resultado seria diferente se outro método de recolha de dados fosse utilizado, por exemplo se fossem realizadas entrevistas individuais.
Conforme referido anteriormente, os dados foram estruturados em três temas, que são apresentados e discutidos na secção seguinte.
4.1. Preparação para A Avaliação
O protótipo apresentado sugeria alguns elementos que procuravam instigar a reflexão sobre o papel do estudante na avaliação e no enunciado do elemento de avaliação (Figura 1). Por exemplo, a utilização de uma rubrica de avaliação para permitir refletir sobre os critérios de avaliação, ou uma caixa de mensagens para ajudar os estudantes a dirigir questões ao docente ou a entrar em diálogo com os seus colegas acerca da avaliação. O envolvimento do estudante antes do processo de submissão dos trabalhos foi considerado, durante as discussões, um aspeto fundamental no processo de avaliação. Os docentes relataram que os erros tipicamente cometidos pelos estudantes nos elementos de avaliação eram consequência do mau entendimento sobre os objetivos do elemento da avaliação ou sobre os critérios de avaliação.
What might be nice is to… include a checklist that could be personalised by the lecturer... So, for example, you know… make sure you make all your references in this format, make sure that you have included the ethics form, whatever might be additionally needed… just to provide a little bit of scaffolding. (Participante no Grupo 7)
A utilização de uma ‘checklist’ com questões específicas para orientar os estudantes em relação à formatação das referências bibliográficas, extensão do documento, critérios de avaliação, correção ortográfica ou reflexões sobre feedback anteriormente referido foi recomendada para ser incluída neste sistema.
Outras sugestões apresentadas durante os focus group, em relação à preparação do estudante, não referidas no protótipo foram: (i) a utilização de exemplos no sentido de ajudar o estudante a compreender o que se pretende com o elemento de avaliação; (ii) a autoavaliação utilizando os critérios de avaliação; e (iii) a utilização de tarefas de avaliação por pares. Estas atividades foram consideradas importantes para desenvolver a literacia da avaliação:
what I have done in class with my learners is: I've taken a sample paper from a previous group and then anonymised it, and then having them mark it, using the rubric and the assessment brief. Some of them did it okay. Others struggled. But it was starting to make more sense when they could actually have a go at doing it themselves. (Participante no Grupo 2)
A utilização de exemplos no sentido de promover melhor compreensão sobre o que se pretende na avaliação e de ajudar o estudante a avaliar usando os critérios de avaliação, é uma estratégia muito discutida na literatura (Carless & Chan, 2017; Dixon et al., 2020).
A aplicação de rubricas de avaliação para apoiar estas estratégias de autoavaliação e de avaliação por pares, foi apoiada em cinco focus-group. Investigação recente aponta para a importância de serem utilizadas estratégias de autoavaliação do estudante, sobretudo em contextos de avaliação sumativa, visto que apenas nestes momentos o estudante sente motivação para se envolver de forma mais ativa nas atividades de autoavaliação (Nieminen & Tuohilampi, 2020). Neste âmbito, sugere-se que a avaliação digital fomente oportunidades ao estudante para se autoavaliar utilizando os critérios de avaliação. Para se concretize esta recomendação, é necessário que os docentes comuniquem os critérios de avaliação atempadamente e que promovam a discussão sobre os mesmos. As PAD podem auxiliar no sentido em que podem ser desenvolvidas para incluir uma checklist antes da submissão que faça com que o estudante se prepare para a avaliação através de questões orientadoras.
4.2. Avaliação Formativa
Uma área bastante discutida na literatura tem a ver com a oportunidade de o feedback promover o diálogo entre o estudante e o docente. Este diálogo é fundamental para promover a aquisição, por parte do estudante, de literacia da avaliação: “learners’ ability to understand, utilise and benefit from feedback processes” (Molloy et al., 2020, p. 2). Alguns autores referem a necessidade de se utilizarem quadros conceptuais para a literacia da avaliação com os quais o estudante possa desenvolver gradualmente esta competência no seu processo de aprendizagem enquanto recebe feedback do docente e desenvolve as suas próprias estratégias para melhor a qualidade dos seus trabalhos (Carless & Boud, 2018; Molloy et al., 2020; Winstone et al., 2017). É de notar que, para ter efeito, o feedback disponibilizado pelo docente não pode ser entregue ao estudante na sequência final da aprendizagem, sem dar a possibilidade ao estudante de melhorar o seu desempenho numa avaliação futura (Gomes, 2009; Molloy et al., 2020). Quando se desenvolveu o protótipo procurou-se incluir um conjunto de funcionalidades que permitissem a promoção do diálogo entre o docente e o estudante. Deu-se, por exemplo, a possibilidade ao estudante de comentar cada iteração de feedback e colocar questões. Foram também incluídas, no guião, referências à possibilidade de múltiplas submissões do trabalho para permitir a melhoria da qualidade do mesmo.
As funcionalidades de diálogo foram identificadas como estratégias pedagógicas relevantes pelos diversos grupos. No entanto, a disposição destas funcionalidades na plataforma foi muito discutida, pois foi identificado um conjunto de problemas na abordagem sugerida de existirem diversas iterações entre docente e estudante relativamente ao trabalho submetido. Alguns grupos, por exemplo, sugeriram a submissão de uma versão mais curta, em formato draft, na qual o feedback pudesse refletir os critérios de avaliação e que evitasse a submissão de uma versão extensa do trabalho. Disponibilizar o feedback a uma versão completa do trabalho foi identificado como uma estratégia incorreta pela maioria dos participantes, pois poderia levar a uma abordagem inconsistente entre o feedback da versão preliminar e a avaliação final, o que poderia conduzir a reclamações dos estudantes.
When they show us a draft, again, the university current guidelines are that you just see, like a plan and maybe a sample with a couple of paragraphs; you're not supposed to see the whole assignment, because that's seen as giving them unfair advantage, because you are, in effect, marking it but not marking it. And then, if they have problems, then it comes back to bite you because they say: “but you looked at it, and you didn't flag anything up”. (Participante no Grupo 2)
Para além disso, foi também levantado um conjunto de preocupações sobre o número de iterações do processo, uma vez que o docente poderia ajudar significativamente na qualidade da avaliação, mesmo que não fosse a sua intenção, tornando-se, ele próprio, coautor do documento.
When you say that this could be running four or five times? I guess there is a question about at the end of the day: how much of that work is the learner’s work? And how much of it is my work? You know… Yes, if you’re doing it as part of the formative process, you are writing it for them. (Participante no Grupo 2)
É interessante refletir, neste contexto, a aparente insegurança dos participantes no processo de avaliação e feedback, pois demonstraram receio na inconsistência da sua prática de avaliação. Esta conclusão pode ser discutida numa dimensão da falta de literacia de feedback existente também da parte dos docentes. De forma a evitar esta situação, foi sugerida, por um grupo de docentes, a possibilidade de o feedback formativo ser disponibilizado como parte integrante ao nível do curso, ou seja, procurando fazer ligações com elementos de avaliação de outras unidades curriculares. Esta é uma sugestão interessante, pois não é, de momento, explorada nas PAD mais utilizadas, que tendem a ser desenhadas a nível de módulo ou unidade curricular e não ao nível do curso.
Esta inovação teria, no entanto, de ser desenvolvida para além da própria plataforma, pois exigiria uma abordagem ao feedback abrangente na qual a equipa docente tivesse uma noção sobre os elementos de avaliação do curso e sobre os critérios da avaliação. Winstone et al. (2016) referem que a modularização das PAD leva a uma fragmentação da experiência de aprendizagem, tornando as unidades curriculares e os elementos de avaliação ilhas isoladas, sem interligações entre si, e, consequentemente, com pouco impacto no processo de aprendizagem do estudante e no desenvolvimento de competências transversais. Do ponto de vista da melhoria futura das PAD, a inovação pode passar pelo desenvolvimento de um arquivo de feedback recebido pelo estudante que possa ser reutilizado sempre que ele estiver a preparar-se para a submissão de um elemento de avaliação. Durante os focus-group, os grupos refletiram sobre o valor real do feedback disponibilizado, pois esse raramente era lido pelo estudante. A sugestão proposta passava por etiquetar o feedback escrito pelo docente, que seria depois arquivado numa pasta na PAD. Este processo de arquivo permitiria ao estudante pesquisar e navegar pelo feedback recebido antes de submeter os trabalhos de avaliação para confirmar aspetos que pudessem ser melhorados que já tivessem sido explorados noutros trabalhos. Exemplos de etiquetas podiam ser, por exemplo, “referências bibliográficas”, “problemas gramaticais” ou “estrutura frásica”.
Regarding the possibility of learners being able to extract the feedback received for future assignments, or potentially feedback appears on the checklist before learners submit (almost like a nudge). (Participante no Grupo 7)
No grupo 7 foi dada a sugestão de que o docente da unidade curricular tivesse acesso ao arquivo de feedback do estudante em trabalhos anteriores para que este pudesse informar o processo de avaliação. Outro aspeto sugerido para melhoria do protótipo era a possibilidade de o arquivo de feedback estar disponível ao docente durante o processo de avaliação para que ele pudesse reutilizar alguns dos comentários produzidos em trabalhos anteriores do estudante, com as opções de feedback existentes a aparecerem ao mesmo tempo que o docente escrevia na PAD. Esta funcionalidade permitiria maior consistência na avaliação e maior compreensão do estudante sobre o que era escrito no feedback.
No âmbito deste tema, recomenda-se aos avaliadores uma visão holística do processo de avaliação que partilhe bancos/arquivos de feedback que possam ser reutilizados pelos docentes que avaliam ou mesmo pelos estudantes. Recomenda-se, também, que as PAD sejam mais utilizadas a nível de curso, em particular quando se enquadra a avaliação e a possibilidade de o estudante refletir acerca do feedback recebido como parte integrante de toda a sua experiência de aprendizagem.
4.3. Feedback após A Submissão
Um dos aspetos mais discutidos na investigação sobre feedback na literatura é o papel passivo do estudante quando recebe este feedback e, mais recentemente, a constatação de que muitos estudantes não leem o feedback que recebem nas PAD, concentrando-se unicamente na nota (Winstone et al., 2021). Este aspeto foi discutido em todos os grupos, pois, embora existisse a perceção de que os docentes eram pressionados a escrever bom feedback, os estudantes nem sempre refletiam ou promoviam uma ação de melhoria após a receção desse feedback. No protótipo explorado, foi incluída uma funcionalidade que permitia ao estudante “concordar com o feedback” de forma a confirmar a nota. Esta funcionalidade foi particularmente discutida, pois os docentes sentiram que a plataforma estava a dar demasiado poder ao estudante.
And also, we felt, where it says ‘agree with feedback’, that was a bit controversial… So, could it have something that would require somebody to accept the feedback after they've read it, because this indicates, when you go in straight away, the learner gets their mark, that, as we know, learners aren't reading feedback. So, to encourage that, could we have something where they have to see their feedback first, go through it, tick a box to say they've actually read it, and then they get access to their mark following that? (Participante no Grupo 3)
So, coming back to the mark agreed or not agreed, if the mark wasn't valid until the learners have read the feedback, that would be a very powerful way to ensure that learners do read the feedback. (Participante no Grupo 4)
Os docentes concordaram com a necessidade de promover maior envolvimento do estudante com o processo de feedback, mas não concordaram com a funcionalidade de aceitar o feedback, pois esta criaria tensões entre o estudante e o docente. Segundo alguns docentes, os estudantes confundiam frequentemente o feedback recebido com a nota e, consequentemente, enquanto refletiam sobre o feedback recebido, estavam, de facto, a refletir sobre a justiça da nota recebida e não sobre o valor do feedback. Este argumento está fortemente enraizado num conceito de marketização do ensino superior no Reino Unido, no qual o estudante, por pagar propinas, sente que tem o poder de consumidor de um serviço (Woodall et al., 2014). Contudo, os docentes foram unânimes em considerar o valor pedagógico de encorajar os estudantes a envolver-se com o feedback, sobretudo quando têm de desenvolver uma ação em resposta ao feedback recebido antes de a nota ser disponibilizada – por exemplo, refletindo sobre mudanças que farão em futuros trabalhos ou apresentando os motivos para não concordarem com o feedback recebido.
Embora esta seja uma prática apreciada pelos docentes, ela não é fácil de replicar nas PAD. As PAD têm sido desenvolvidas num modelo em que a nota e o feedback são cupulados e disponibilizados no mesmo momento. A consequência imediata é que o estudante procure a nota, muitas das vezes ignorando o feedback que recebe. Aqui, a tecnologia influencia o comportamento do estudante pela negativa.
Assim sendo, uma recomendação que se faz é a de avaliar em dois ciclos. Primeiro avalia-se o trabalho, dando feedback ao estudante e guardando a nota num ficheiro externo. Solicita-se ao estudante que, como parte da avaliação, tenha de submeter uma reflexão sobre o feedback recebido. Num segundo momento, e após confirmar que essa reflexão foi submetida, o docente disponibiliza/importa a nota. Assim, forçará uma ação ativa do estudante em relação ao feedback. Tendo em conta o aumento potencial de carga de trabalho do docente neste processo, sugere-se que estas atividades sejam consideradas como dois elementos de avaliação e parte integrante da aprendizagem do estudante na unidade curricular. Em alternativa, esta estratégia poderia ser automatizada através da própria funcionalidade da PAD, o que levaria a que o processo fosse separado e desenvolvido através de etapas.
5. Conclusões
Neste estudo procurou-se responder à questão: de que forma podem os docentes melhorar as suas estratégias de avaliação para promover maior agência do estudante nos processos de avaliação e feedback? Procurou-se introduzir um protótipo de uma PAD para ajudar a reflexão sobre as práticas pedagógicas e de avaliação dos docentes envolvidos. Aumentar a agência do estudante nos processos de avaliação é de importância fundamental no sentido de garantir uma avaliação mais sustentável e o aumento de literacia da avaliação do estudante. Conforme foi verificado nos grupos de docentes participantes, existe disponibilidade para utilizar as PAD para promover alterações pedagógicas e oportunidades para maior agência do estudante no processo de avaliação. Tal como foi discutido, enquadrou-se esta investigação no entendimento de que, para se manifestar agência no ensino superior, esta pode ser incitada através da inclusão de funcionalidades e ações explícitas. Esta investigação foi informada pelo trabalho de Charteris e Smardon (2018) e pelo conceito, proposto pelos autores, de ‘new material agency’, no qual uma mudança disruptiva na prática pode colocar um conjunto de novos desafios ao estudante, que, consequentemente, poderão levar à aquisição de novas competências. Apresentou-se um conjunto de alterações nas PAD e/ou nas estratégias pedagógicas que podem favorecer a disrupção na prática do processo de avaliação e promover a agência do estudante. Estas alterações foram propostas tematicamente, de acordo com as fases do processo de avaliação. Propoêm-se estas recomendações numa dimensão pedagógica; no entanto, discute-se a possibilidade de algumas alterações serem desenvolvidas ao nível das PAD. É sabido o papel que as plataformas digitais têm no constrangimento ou na promoção de práticas pedagógicas dos docentes e dos estudantes (Henderson et al., 2017). Assim, sugere-se que esta discussão seja feita a nível pedagógico, institucional e no âmbito das interações com as PAD, no sentido de melhorar as ferramentas existentes.
Os dados desta investigação foram recolhidos no Reino Unido. Uma limitação deste estudo é a possibilidade de generalização dos dados, quando estes estão sustentados num contexto de ensino superior muito específico no qual a avaliação digital é considerada um aspeto indissociável das práticas de ensino e aprendizagem. Aqui, compara-se esta adoção da avaliação digital com o setor de ensino superior português, no qual existe, ainda, uma desconfiança sobre a fiabilidade, robustez e transparência da avaliação digital. Salienta-se a falta de envolvimento do estudante nos processos de avaliação e de feedback no contexto português, conforme é evidenciado por Amante et al. (2019).
Por outro lado, o entendimento da avaliação como processo formativo e alinhado com a aprendizagem está fortemente associado à ideia de que avaliamos competências e não apenas conhecimentos. No Reino Unido, é comum existirem unidades curriculares que não são avaliadas através de exames, mas através de trabalhos de grupo, projetos, ensaios ou relatórios. Desta forma, a dependência e utilização das PAD, no Reino Unido, é significativamente superior à da realidade do contexto português, com a exceção da Universidade Aberta, que assenta a sua avaliação em plataformas digitais (Amante & Oliveira, 2019). Concordamos com Twining et al. (2017) quando referem que a representação dos dados, mesmo em estudos qualitativos, deve capturar as diversas facetas do fenómeno em investigação. Consequentemente, temos no futuro o objetivo de recolher dados de estudantes e docentes de outros países e culturas académicas confrontando-os com o mesmo protótipo e metodologia de recolha de dados. Estamos, também, particularmente interessados em avaliar se os estudantes se sentem motivados a ter um comportamento mais ativo no processo de avaliação quando lhes são dadas essas possibilidades, e em contrastar com as limitações e constrangimentos sentidos pelos docentes no âmbito deste processo.
