3.1. Primeira Ronda

A primeira ronda de avaliação teve início em fevereiro de 2023, quando a plataforma atingiu um nível de desenvolvimento e estabilidade que permitiu uma análise mais detalhada das principais funcionalidades, como a escrita, revisão de notícias e gestão da homepage. A escolha desse momento possibilitou a realização de mudanças relevantes na plataforma, com base nas opiniões recebidas.

Neste primeiro conjunto de testes de avaliação da experiência do utilizador, os principais objetivos foram verificar se, numa primeira utilização, existia facilidade no uso da plataforma e identificar os problemas específicos com a interface.

Na primeira ronda de testes que teve início em 6 de fevereiro de 2023, 55 participantes colaboraram voluntariamente (53 do perfil de autor, sendo estes alunos, e dois do perfil de editor, sendo estes professores).

Avaliação UX Momentânea

Na tipologia de avaliação momentânea, fizeram parte 44 participantes, dois deles editores e os restantes autores, de três escolas do distrito de Aveiro em visita à Universidade de Aveiro. Esta avaliação foi dividida em quatro momentos, explicados a seguir.

No primeiro momento - contextualização do projeto, os participantes de cada turno assistiram em conjunto a um vídeo curto de contextualização sobre os objetivos do projeto e algumas funcionalidades nele presentes. Esta abordagem foi escolhida pela consistência, a fim de não influenciar a avaliação subsequente dos participantes.

No segundo momento - questionário de caracterização, foi pedido aos participantes que preenchessem individualmente um questionário de caracterização. O principal objetivo foi conhecer aspetos pertinentes sobre os participantes que pudessem ser relevantes para o projeto, como a sua experiência prévia na elaboração de jornais escolares e contacto e partilha de notícias falsas, antes de iniciarem a sua experiência de utilização da plataforma. A ambos os perfis foi apresentado, no início do questionário, um consentimento informado para assegurar que a participação é voluntária, bem como a gravação de ecrã e captação de áudio apenas com o propósito de facilitar a posterior análise de dados e resultados.

Este instrumento de avaliação engloba duas tipologias de resposta: aberta e fechada (escolha múltipla, dicotómica e Likert de cinco pontos), para obter opiniões aprofundadas para análise.

No perfil de autor, o questionário é composto por três secções principais: (i) hábitos de escrita e de leitura; (ii) participação e experiência em jornais escolares, para compreender se existe contacto prévio com os mesmos; e (iii) contacto com notícias, para se perceber a familiaridade com o conceito de notícias falsas e a sua disseminação. Nos testes realizados aos editores, foram só consideradas as secções (ii) e (iii).

No terceiro momento - cenário de utilização, foi pedida e incentivada a utilização do protocolo think aloud (^{Byrd et al., 2023}), em que o participante é convidado a falar em voz alta sobre o que está a pensar durante a utilização da plataforma. A seguir, foi realizada uma exploração livre da plataforma por dois minutos, para facilitar a compreensão inicial da plataforma sem a preocupação de executar um conjunto de tarefas específicas. O objetivo era que o participante se sentisse confortável para a realização de cenários de utilização. No caso do autor, foi solicitado que criasse uma notícia sobre um tema à sua escolha. Já no perfil de editor, pediu-se a revisão de uma notícia com alguns erros, a publicação da mesma e a inclusão da notícia revista como manchete do jornal.

No quarto momento - questionário final, as principais secções são relativas à avaliação da usabilidade da plataforma através da utilização da escala SUS. Esta escala é composta por um conjunto de dez questões destinadas a avaliar a experiência do utilizador, em termos de facilidade de utilização e satisfação com a uso da plataforma (^{Martins et al., 2015}). Também foi utilizada a escala SAM para medir a motivação, satisfação e controlo do utilizador durante o contacto com a plataforma (^{Bradley & Lang, 1994}).

Por fim, foi apresentado um conjunto de quatro perguntas abertas, das quais três eram de resposta obrigatória, com o objetivo de compreender quais os aspetos que são considerados fundamentais ou não pelo utilizador desta plataforma para o desenvolvimento de jornais escolares online.

Avaliação UX Continuada

No caso da tipologia de avaliação da experiência de utilização continuada, esta foi dividida em quatro fases: (i) avaliação inicial, (ii) feedback entre avaliações, (iii) avaliação final e (iv) feedback pós-avaliações. Esta divisão permitiu: numa primeira fase, recolher primeiras impressões da utilização da plataforma; na segunda fase, manter o contacto semanal com as escolas, de forma a compreender como estava a ser a utilização da mesma e possibilitar o reporte de problemas na plataforma; na terceira fase de avaliação final, perceber se a plataforma ia de encontro às necessidades dos participantes e se é adequada à utilização de cada um; por fim, na quarta e última fase, permitir que os utilizadores pudessem continuar a receber apoio face algum problema, mesmo que seja natural que os contactos se tenham tornado menos frequentes.

A participação da escola secundária Henriques Nogueira, Torres Vedras, foi fundamental para a avaliação. No dia 6 de fevereiro a equipa de projeto visitou a escola, tendo sido possível a realização de testes com 11 participantes do perfil de autor, com uma duração média de 50 minutos. A fase de avaliação final, foi online no dia 8 de março de 2023.

Nesta primeira fase - avaliação inicial, os três primeiros momentos foram idênticos aos da avaliação momentânea. Por este motivo são mencionadas apenas as diferenças referentes ao quarto momento.

No quarto momento foi incluída uma nova secção no questionário final com duas perguntas sobre a diminuição de tempo de gestão do jornal e simplicidade da escrita de notícias através da solução apresentada, através de uma escala de Likert. O objetivo principal desta secção é servir como ponto de partida para a comparação com a fase de avaliação final, após quatro semanas.

Por fim, foi feito um conjunto de perguntas abertas em que foram adicionadas duas perguntas obrigatórias, que visavam permitir ao participante elaborar sobre a simplicidade da solução e as dificuldades na sua utilização.

Na segunda fase - feedback entre avaliações, após a visita à escola secundária Henriques Nogueira, foi realizado um acompanhamento semanal, utilizando as ferramentas disponibilizadas para relatar problemas e/ou sugestões na plataforma, em que todos os utilizadores, independentemente do perfil, puderam contribuir de forma autónoma. Outros meios de contacto, como email e/ou telefone, foram fornecidos aos responsáveis do jornal. O objetivo principal foi identificar e acompanhar problemas e sugestões por um período prolongado, contando também com a maior familiaridade com a plataforma por parte dos participantes.

Na terceira fase - avaliação final, realizou-se após quatro semanas, e foi composta por um momento - questionário final, onde se concretizaram sessões individuais de 15 minutos, com os mesmos participantes, via Zoom. Ao questionário final apresentado na primeira fase, foram adicionadas duas questões sobre a frequência e número de notícias escritas, a fim de obter uma contextualização sobre o contacto com a plataforma desde a primeira visita à escola. Esta abordagem permitiu manter a consistência dos resultados obtidos inicialmente e possibilitou uma comparação posterior dos resultados das avaliações SUS e SAM.

Por fim, na quarta fase - feedback pós-avaliações, manteve-se contacto com os responsáveis do jornal escolar, mesmo que menos frequente, para esclarecer possíveis dúvidas e resolver problemas.

3.2. Segunda Ronda

No dia 18 de abril de 2023, deu-se início a uma segunda ronda de testes para avaliar a experiência do utilizador. Nesta, com base nos comentários recebidos durante a primeira ronda de testes, a plataforma TRUE já se encontrava num ponto de desenvolvimento mais avançado e estável. As principais alterações na plataforma passaram pela: (i) inclusão de ajuda contextual e um tutorial de utilização; (ii) implementação de janelas de confirmação para melhorar a informação dada ao utilizador; (iii) personalização da paleta cromática e cabeçalho do jornal; (iv) possibilidade de pré-visualizar a notícia a partir da listagem das mesmas; (v) flexibilidade para editar e ordenar secções presentes no jornal; (vi) correção de erros e otimização geral da plataforma.

Resultante de toda a evolução, houve a necessidade de testar e validar estas alterações com utilizadores em ambiente real de utilização. Para além disso, considerou-se pertinente, nesta fase de desenvolvimento, escolher utilizadores sem experiência com o projeto, possibilitando novos pontos de vista. Mais do que realizar uma maior quantidade de testes, optou-se por incluir um maior número de utilizadores com o perfil de editor nesta ronda.

Assim, na segunda ronda, contou-se com a participação de 12 participantes (nove autores e quatro editores). Na tipologia de avaliação momentânea, fizeram parte três participantes, sendo dois autores e um editor, da escola secundária Infanta Dona Maria, Coimbra. Na tipologia de avaliação continuada realizaram-se dez testes na primeira fase, com sete autores e três editores, da escola secundária Henrique Medina. Na terceira fase foram realizados oito testes a utilizadores da plataforma, cinco autores e três editores.

Esta estrutura foi idêntica à utilizada na primeira ronda de avaliação. No entanto, existem alguns aspetos que diferem nos elementos presentes nos vários momentos de utilização, e esses serão os mencionados nesta secção.

Avaliação UX Momentânea

Para esta avaliação, visitou-se no dia 18 de abril de 2023, a escola secundária Infanta Dona Maria, onde foi dado a conhecer o projeto TRUE e ainda se realizaram três testes (dois autores e um editor do jornal), com uma duração média de 50 minutos. De forma semelhante à ronda anterior, esta avaliação consistiu em quatro momentos, sendo de seguida apenas explicados os momentos que foram diferentes.

No segundo momento da avaliação foi solicitado aos participantes, que preenchessem, individualmente, um questionário de caracterização. Relativamente aos autores, na primeira secção, com base na idade e experiência dos participantes retirou-se a pergunta sobre a frequência de leitura de artigos científicos. Além disso, adicionaram-se mais opções de resposta para as perguntas sobre os hábitos de leitura e escrita. Já na questão “Conheces o conceito de notícias falsas?” uma das opções de resposta foi modificada, de “Talvez” para “Já ouvi falar, mas não tenho a certeza”. No caso dos editores, o questionário permaneceu inalterado em relação à primeira ronda.

Relativamente ao quarto momento da avaliação e com base na experiência anterior, para ambos perfis, acrescentou-se uma questão sobre as dificuldades sentidas durante a utilização da plataforma. Além disso, alterou-se uma pergunta que anteriormente causava alguma confusão nos participantes “Se pudesses manter algo na plataforma, o que seria?” para “Qual a parte que achas essencial na plataforma, ou seja, que sem ela não faria sentido a plataforma existir e porquê?”.

Avaliação UX Continuada

Na tipologia de avaliação continuada realizaram-se dez testes na primeira fase, com sete autores e três editores, da escola secundária Henrique Medina. Na terceira fase foram realizados oito testes a utilizadores da plataforma, em que cinco eram autores e três editores. Nesta secção, só será indicado o que mudou desde a ronda anterior.

Assim, no que diz respeito à primeira fase - avaliação inicial, apenas o quarto momento - questionário final sofreu alterações. Para os dois perfis, na secção sobre o uso da plataforma foram excluídas duas afirmações sobre a diminuição do tempo de gestão do jornal e sobre a simplificação do processo de escrita de notícias com o apoio da solução apresentada, já que a maioria dos alunos não tinham participado num jornal escolar e este era o seu primeiro contacto com um clube de jornalismo.

4.1. Resultados das Rondas de Avaliação UX Momentânea

Na primeira ronda da tipologia de avaliação momentânea, participaram 44 utilizadores (42 autores e dois editores). Os participantes do perfil de autor pertenciam a uma amostra relativamente diversificada, sendo que 33 alunos frequentavam o 12º ano de escolaridade, os restantes o 6º e 5º ano. Desta amostra, 74% nunca tinha participado na criação de um jornal escolar, pelo que a sua experiência foi completamente nova.

Durante a segunda ronda, participaram três estudantes (dois autores e um editor). Os alunos com o perfil de autor frequentavam o 11º ano de escolaridade e partilhavam o gosto por jornais e criação de notícias, tendo anteriormente participado num jornal escolar.

Relativamente à avaliação SUS, no caso dos autores, esta permaneceu nas duas rondas com a classificação de “Melhor Imaginável” (^{Brooke, 2013}), apesar do decréscimo de 1.4 pontos da primeira para a segunda ronda (Figura 3). A maior discrepância nos resultados SUS entre rondas ocorreu no perfil de editor. A avaliação passou de “Melhor Imaginável” para “Boa” (Brooke, 2013) com uma diferença de 19.5 pontos na avaliação SUS (Figura 3). Considerando que a amostra, especialmente neste perfil é reduzida, deve-se encarar estes resultados com precaução, já que podem não ser completamente representativos.

Figura 3 Resultados SUS da avaliação momentânea 

No perfil de autor ao comparar os resultados da ferramenta SAM, foi possível compreender que as dimensões de motivação e controlo permaneceram praticamente iguais. A maior diferença ocorreu na componente de satisfação com uma descida de 0.6 (Figura 4A). No caso do perfil de editor, a satisfação também foi a dimensão que teve uma redução mais notória na avaliação (-1 valor), sendo que nas restantes componentes de motivação e controlo a diminuição foi de apenas 0.5 valores (Figura 4B).

Em ambos os perfis, existiu alguma dificuldade em recrutar participantes para a última ronda, não tendo havido muita predisposição para os participantes fazerem parte dos testes. Para além disso, no dia da avaliação surgiram alguns problemas relacionados com a ligação à internet. No caso do editor, durante a avaliação da segunda ronda, houve uma preferência por uma solução de escrita de jornais tradicional e sem utilização de ferramentas online. Todos estes fatores podem ter contribuído para uma diminuição dos resultados das escalas SUS e SAM.

Figura 4 Resultados SAM da avaliação momentânea por perfil: (A) autor e (B) editor. 

4.2. Resultados das Rondas de Avaliação UX Continuada

Nesta secção são analisados os resultados das duas rondas de avaliação de UX continuada realizadas em escolas distintas.

Na primeira ronda, 11 utilizadores só com o perfil de autor participaram. A maioria dos alunos frequentava o 7º e 8º ano, apesar de dois dos alunos estarem no 12º ano de escolaridade. Destes participantes, apenas 36% tinham experiência prévia na elaboração de jornais escolares.

Na segunda ronda, participaram dez utilizadores (sete do perfil de autor e três do perfil de editor). A maioria dos alunos frequentava o 12º ano, e apenas um frequentava o 11º ano de escolaridade. Desta amostra 86% dos participantes indicaram ter experiência prévia no auxílio à elaboração de jornais escolares.

No caso dos autores, ao comparar a primeira fase de cada ronda, fatores como um número menor de participantes e maior consolidação da plataforma podem ter contribuído para um aumento de 4.5 nos resultados da escala SUS (Figura 5), mantendo uma classificação geral de “Melhor Imaginável” (^{Brooke, 2013}). Na segunda ronda, o perfil de editor classificou a experiência de utilização como “Melhor Imaginável” (Brooke, 2013). Estes resultados indicam impactos positivos associados aos esforços realizados para melhorar a plataforma.

Na terceira fase, o autor registou uma melhoria de 8 pontos nos resultados (Figura 5), que passou de um nível “Excelente” para “Melhor Imaginável” (^{Brooke, 2013}). O facto de ter existido um maior espaço temporal na segunda ronda para recolha de opiniões entre avaliações pode ter potenciado este resultado, para além da plataforma estar mais estável, depois de incorporadas as opiniões resultantes da primeira ronda. No caso dos editores, que apenas participaram na segunda ronda, estes classificaram a plataforma com a melhor denominação possível na escala de SUS, “Melhor Imaginável” (Brooke, 2013).

Na primeira e terceira fases, a média de avaliação UX para o perfil de autor permaneceu num nível de excelência com a pontuação de 84. Na segunda ronda, a média foi de 90.25. Este resultado foi consistente com a opinião da primeira ronda, que enriqueceu o processo de desenvolvimento iterativo. Neste contexto e no caso do editor, foi observada uma melhoria de 3.3 pontos (Figura 5). Essa melhoria pode ser o reflexo de uma maior facilidade de utilização e satisfação por parte dos docentes que têm o papel de editores no jornal.

Figura 5 Resultados SUS da avaliação de UX continuada 

Relativamente ao questionário SAM da avaliação continuada, em ambas as rondas, os resultados encontram-se apresentados na Figura 6 seguida feita uma análise dos mesmos.

Assim, na dimensão de satisfação manteve-se nos 4.6 nas duas rondas de avaliação, em ambas as escolas que testaram a plataforma TRUE. Os resultados na dimensão de motivação e controlo são ligeiramente melhores na segunda ronda de avaliações. No caso dos editores, durante a primeira fase a dimensão de controlo foi a que teve um resultado menor (4.3 valores). Isto pode ser reflexo de ser necessária alguma aprendizagem para que os utilizadores possam dominar a plataforma.

No que toca à terceira fase de avaliação, em que existiu uma reavaliação da plataforma em cada escola, é importante salientar a diferença existente na variável de motivação. Na primeira escola, o resultado foi de 3.8 (baixando 0.4 valores quando comparado com a primeira fase). Neste caso, pode ter existido algum desgaste associado às sucessivas avaliações. No entanto, essa mesma dimensão na segunda escola aumentou ligeiramente quando comparada com a primeira fase. No caso do editor, na segunda ronda, a dimensão de controlo continua a ser a mais baixa, mas próxima da classificação máxima.

Entre rondas existe uma diferença de resultados mais significativa na componente da motivação, de 0.5 valores. Em relação à satisfação, os autores da escola secundária Henriques Medina atribuíram uma pontuação mais elevada quando comparada com a pontuação da primeira escola para esta dimensão. O controlo sentido pelo utilizador durante a utilização da plataforma foi sensivelmente o mesmo nas duas rondas. Relativamente ao perfil de editor, considerando apenas a segunda ronda, os utilizadores tiveram uma maior sensação de controlo sobre a plataforma, o que revela que com a utilização há uma perceção acrescida de domínio da mesma.

Figura 6 Resultados SAM da avaliação continuada em ambas as rondas