ARTÍCULOS

Qualidade dos sítios Web da Administração Pública Portuguesa

Quality of the Portuguese Public Administration websites

Ricardo Moreira de Carvalho ¹, Pedro Faria Lopes ^1,2, Isabel Alexandre ^{1 3} , Bráulio Alturas ^1,2

 

¹ ISCTE - Instituto Universitário de Lisboa, Lisboa, Portugal. E-mail: a24668@iscte.pt, braulio.alturas@iscte.pt

² ISTAR-IUL, Lisboa, Portugal. E-mail: pedro.lopes@iscte.pt

³ Instituto de Telecomunicações, Lisboa, Portugal . E-mail: isabel.alexandre@iscte.pt

 

RESUMO

O impacto da falta de qualidade dos sítios Web de organismos públicos pode ser oneroso. Num mercado onde não há concorrência e que muitas vezes obriga os cidadãos a usar este canal para interagir com serviços públicos, cabe ao Estado assegurar que os seus sítios Web têm qualidade e são acessíveis. Este artigo evidencia as principais conclusões de um estudo de qualidade realizado a 130 sítios Web de organismos da Administração Pública Portuguesa. Para este efeito, foi usado um novo modelo de avaliação desenvolvido com base na literatura de referência e na legislação em vigor. Foram analisados 33 indicadores, distribuídos por quatro critérios: conteúdos, acessibilidade, usabilidade e eficiência. Os critérios de usabilidade e eficiência foram usados pela primeira vez num estudo deste género. Face à análise feita, foram detetadas lacunas, erros críticos e faltas de conformidade, pelo que são apresentadas sugestões de melhoria e mecanismos para assegurar o cumprimento dos requisitos de qualidade.

Palavras-chave: Qualidade; Usabilidade; Acessibilidade; Administração Pública Eletrónica; Auditoria

 

ABSTRACT

The impact of the lack of quality of websites from government agencies may be huge. In a market without competition and where citizens are often required to use Web channel to interact with public services, the government must ensure the quality and accessibility of its sites. This article highlights the key findings of a quality study of 130 websites of Portuguese government agencies. For this purpose, a new evaluation model was used, which was developed based on the literature and law. We’ve evaluated 33 indicators, distributed by four criteria: content, accessibility, usability and efficiency. This is the first study of its kind using usability and efficiency as criteria of quality. We found many gaps, critical errors and non compliances. Proposals are made to implement improvements and mechanisms to ensure compliance with these quality requirements.

Keywords: Quality, Usability, Accessibility, Electronic Public Administration, Audit

 

1. Introdução

Hoje em dia a maioria da informação é disponibilizada através da Web e assiste-se a uma convergência para este meio. Por isso, as exigências dos utilizadores em relação aos sítios Web são cada vez maiores (Sá et al., 2016). Por uma questão económica ou puramente social, todas as pessoas devem ter oportunidades iguais de acesso à Web. Uma Web acessível pode ajudar os cidadãos com necessidades especiais a participar na sociedade de uma forma mais ativa do que nunca, da mesma forma que poderá beneficiar cidadãos com idade mais avançada, baixa literacia e que usam tecnologias antigas ou dispositivos móveis (W3C, 2012).

Os sítios Web comerciais têm na concorrência uma força motriz que os incentiva a melhorar continuamente. Se um sítio de uma entidade concorrente oferecer uma experiência de utilização superior, as pessoas optam por usá-lo. Tal não se verifica nos sítios dos organismos da Administração Pública (AP) devido ao seu carácter exclusivo.

Neste sentido, foi realizado um estudo que teve como objetivo aferir a qualidade dos sítios da AP e apresentar recomendações que possam levar ao aperfeiçoamento da qualidade geral das páginas. Este artigo resulta desse trabalho de investigação que pode ser consultado na íntegra em “Usabilidade, Acessibilidade e Qualidade da Web da Administração Pública portuguesa” (Carvalho, 2015) e que teve a sua génese no ano de 2010, momento das primeiras recolhas de informação.

Este artigo está estruturado em 5 secções. Esta primeira secção salienta as motivações, objetivos e contextualização do estudo. Na secção 2 é descrita a metodologia adotada e na secção 3 realiza-se a análise dos principais resultados. Seguidamente apresentam-se recomendações, tendo por base os resultados obtidos. Finalmente, a secção 5 é dedicada às conclusões do estudo e ao levantamento de sugestões para trabalhos futuros.

1.1 Conceito de Qualidade

O conceito de qualidade é algo de inerente ao ser humano (António & Teixeira, 2007) e tem evoluído ao longo dos tempos, acompanhando o desenvolvimento de várias civilizações (Juran, 1995). É um conceito complexo e multifacetado que pode ser encarado sob diversas perspetivas. Existe uma grande diversidade de definições, pese embora as variações entre elas não sejam muito amplas. No contexto dos sítios Web, destacamos a norma ISO/IEC25010 que define as características necessárias para que um produto de software tenha qualidade. Estas características incluem usabilidade, fiabilidade, efetividade, entre outras. Para além destas características de qualidade “intrínseca”, a ISO/IEC25010 define ainda características de interação concreta dos utilizadores com o produto, onde se inclui eficiência, análise de contexto, satisfação, entre outras (ISO/IEC, 2011).

1.2 Legislação

Em 1999, Portugal foi o quarto país do mundo (logo após o Canadá, os EUA e a Austrália) a adotar regras de Acessibilidade da informação disponibilizada na Internet pela AP no sentido de “assegurar que a informação disponibilizada na Internet seja suscetível de ser compreendida e pesquisável pelos cidadãos com necessidades especiais” (Resolução do conselho ministros n.º 97/1999).

Em 2001, o governo decretou a obrigatoriedade de avaliação periódica da qualidade dos sítios Web dos organismos da administração direta e indireta do Estado como forma de “instituir mecanismos que (…) afiram da sua compatibilidade com critérios básicos de qualidade” (Resolução do conselho de ministros n.º 22/2001). O modelo de avaliação foi encomendado à Universidade do Minho que produziu o documento “Método de Avaliação dos Web Sites dos Organismos da Administração Direta e Indireta do Estado” (Amaral et al., 2001). Este método assentava em duas dimensões: qualidade e maturidade. No que diz respeito à qualidade, consideram-se cinco critérios: conteúdos, atualização dos conteúdos, acessibilidade, navegabilidade e facilidades para cidadãos com necessidades especiais. A maturidade avaliava o estado de desenvolvimento do sítio Web, tendo por base critérios como a informação, a interação, interação bidirecional e transação.

Em 2007, uma nova legislação exigia que os sítios Web puramente informativos deviam ser estruturados de acordo com o nível ‘A’ das Diretrizes de Acessibilidade para Conteúdo Web (WCAG) propostas pelo World Wide Web Consortium (W3C). Da mesma forma, os sítios Web que prestassem serviços de transação de informação precisavam estar de acordo com o nível ‘AA’ das WCAG 1.0 (Resolução do conselho de ministros n.º 155/2007).

Em 2011, entrou em vigor legislação que obrigava à adoção de normas abertas nos sistemas informáticos do Estado (Lei n.º36/2011) e que previa a criação do Regulamento Nacional de Interoperabilidade Digital (RNID), aprovado no ano seguinte (Resolução do conselho de ministros n.º91/2012). Assim, desde 8 de fevereiro de 2013, todos os sítios Web do Estado estão obrigados a cumprir pelo menos o nível ‘A’ das WCAG 2.0 e todos os sítios que disponibilizam serviços online estão obrigados a cumprir o nível ‘AA’ das WCAG 2.0.

1.3 Estudos realizados em Portugal

Com base no método de avaliação de qualidade proposto em 2001, foram realizadas duas avaliações externas (2002 e 2003) aos sítios das entidades da AP (Accenture, 2003).

Desde então não são conhecidos estudos que tenham analisado a qualidade dos sítios Web da AP de uma forma global.

Contudo foram realizados estudos de aferição de acessibilidade, como por exemplo, a “Conformidade dos sítios da AP na internet com o nível “a” das wcag 1.0 do W3C” (UMIC, 2008), “Estudo sobre o estado da Acessibilidade dos sítios Web dos estabelecimentos de ensino superior” (Fernandes & Cardoso, 2013), “Acessibilidade dos Conteúdos Web dos Municípios Portugueses” (Fernandes & Cardoso, 2014), “Acessibilidade dos Conteúdos Web no Setor da Saúde” (Moreira, P. S., 2014) entre outros, mas estes estudos são parciais.

O presente trabalho é o maior e mais completo estudo realizado desde 2003 sobre a qualidade dos sítios das entidades da AP.

 

2. Metodologia

2.1 Modelo de Avaliação

Dado que o modelo proposto por Amaral et al. (2001) apresentava indicadores obsoletos (devido à evolução da tecnologia) e focados nos conteúdos, elaborou-se um novo modelo de avaliação, baseado na literatura e na legislação em vigor que dá maior ênfase à forma como os conteúdos são publicados. Optou-se por realizar avaliações com base em heurísticas por não requerem a participação de utilizadores reais, o que permite analisar universos maiores sem comprometer a qualidade dos dados recolhidos. Devido a estas vantagens, a avaliação heurística é a técnica mais usada em estudos que recorrem a métodos analíticos (Martins, A. I. et al (2013). Pretende-se que o modelo de avaliação proposto possa contribuir para uma nova fase de estudos comparativos.

2.2 Critérios, Indicadores e Medidas Adotadas

Privilegiaram-se indicadores mensuráveis e objetivos. Para tal, foram adotados 4 critérios - conteúdos, usabilidade, acessibilidade e eficiência - e 33 indicadores tendo por base as contribuições de vários autores e da legislação portuguesa. Foram escolhidos indicadores propostos em Olsina (1999), Amaral et al. (2003), Oliveira et al. (2003), Garcia et al. (2005), Nielsen (2006), Souders (2007), King (2008), Kadlec (2012) e Google (2015). No que diz respeito à legislação, para além da indicada na secção 2.1, considerou-se ainda a Lei n.º3/2004 e a Lei n.º66-B/2007 (que indicam quais as informações que devem ser disponibilizadas como “informação de gestão”), o decreto do Presidente da República n.º 52/2008 (que ratificou o Acordo Ortográfico) e a Lei n.º 46/2012 (que regulamenta a utilização de cookies).

Usaram-se medidas do tipo Sim/Não - que atribui classificação apenas quando o indicador se verifica na totalidade - e do tipo Semáforo - que admite classificação também quando o indicador se verifica parcialmente (50%). A especificação detalhada de cada medida pode ser encontrada em Carvalho, R. (2015).

De salientar que os critérios de usabilidade e eficiência foram usados pela primeira vez num estudo deste género. O resumo dos Critérios, Indicadores e Medidas adotadas podem ser observados na tabela 1.

 

 

2.3 Pesos de Critérios e de Indicadores

Optou-se por atribuir o mesmo peso aos quatro critérios (25%) e aos indicadores (10%), com exceção dos indicadores de acessibilidade, aos quais se atribuiu um peso de 50%, 30% e 20% respetivamente, seguindo a prática de estudos anteriores (Accenture, 2003).

A atribuição do mesmo peso a todos os indicadores evita uma avaliação subjetiva da importância relativa de cada um deles.

2.4 Universo de Estudo

O universo considerado neste estudo foi o conjunto de organismos que constituíam em 2015 a AP direta e indireta portuguesa, assim como quatro órgãos superiores de soberania. A administração direta é constituída pelos organismos sujeitos ao poder hierárquico de um respetivo membro do governo, como os ministérios, direções gerais ou direções regionais. Já a administração indireta do Estado é constituída por organismos que, devido à sua especificidade são geralmente dotados de personalidade jurídica, património próprio e de autonomia administrativa e financeira, embora continuem dependentes da tutela de um ministério.

 

 

2.5 Recolha de dados

Os dados foram recolhidos por inspeção direta dos sítios Web e através de ferramentas automáticas. A avaliação foi realizada por um grupo de 4 avaliadores, sendo um principal e três auxiliares. Cada análise demorou em média 28 minutos e foi orientada seguindo uma lista de verificação consolidada nos 33 indicadores que constituem o modelo de avaliação. Complementarmente, foram recolhidos outros dados como por exemplo a localização do alojamento, os autores dos sítios (sempre que possível), assim como os resultados quantitativos globais das ferramentas usadas. Para garantir a fiabilidade dos dados, foram definidos critérios detalhados para cada indicador que podem ser consultados em Carvalho, R. (2015).

2.6 Ferramentas Usadas

Para além da observação direta dos sítios, foram usadas 9 ferramentas automáticas: FLIP1, Privacy Badger², Google Mobile-Friendly Test³, Pingdom⁴, W3c Link Checker⁵, Google PageSpeed Insights⁶, Firebug⁷, Ylow ⁸ e AcessMonitor⁹. O detalhe do uso específico de cada ferramenta pode ser encontrado em Carvalho (2015). É de crucial interesse salientar que as análises automáticas necessitam de uma revisão humana uma vez que alguns dos problemas podem não ser descobertos automaticamente e outros são erradamente considerados problemas. Por isso, foi realizada uma validação manual e exaustiva dos erros e alertas gerados pelas ferramentas.

 

3. Análise dos Dados

A recolha dos dados foi iniciada no mês de abril de 2015 e prolongou-se até agosto de 2015, devendo ser este o mês considerado como referência para os dados.

3.1 Classificações finais

As classificações finais foram calculadas articulando as classificações e os pesos dos indicadores previstos na tabela 1. Na tabela 3 observam-se as classificações médias globais (coluna a cinza) e a distribuição das classificações por escalões.

 

 

A classificação média alcançada pelos sítios Web foi de 45%, a mediana foi de 44% e a moda de 39%. O desvio padrão é de 0,10. Apenas 31 sítios obtiveram classificação global positiva.

Os melhores resultados foram alcançados pelos departamentos Estado-Geral (classificação média de 58%), o Ministério dos Negócios Estrangeiros (55%) e pelo Ministério da Educação e Ciência (52%). De forma inversa, os piores resultados foram alcançados pelo Ministério da Economia (41%), o Ministério da Agricultura e Mar (40%) e pelo Ministério da Saúde (40%).

3.2 Classificações por critério

O critério que obteve a melhor classificação média foi os Conteúdos (72%), pois a maioria dos organismos publicam as informações a que estão obrigados. Em sentido inverso, o critério de acessibilidade revelou-se o mais deficitário com uma classificação média ponderada de 19%, revelando que a maioria dos organismos não dispõe de um sítio preparado para utilizadores com necessidades especiais. Os indicadores de Usabilidade obtiveram uma classificação média de 52% enquanto que o critério de Eficiência obteve uma classificação média de 36%.

Conteúdos

A síntese de resultados do critério Conteúdos é apresentada na tabela 4, onde se observa a classificação parcial com que o critério Conteúdos contribuiu para a classificação final. Uma vez que o peso do critério Conteúdos é de 25% do total da classificação final, a obtenção de 100% de classificação neste critério implica obter 25% na classificação final. Uma vez que alguns dos indicadores são do tipo semáforo, a classificação apresentada nesta tabela não se refere ao número de organismos, mas sim, à classificação consolidada. Esta abordagem é semelhante nos restantes critérios.

 

 

A publicação da missão, estrutura e organização (ID 1.1) é feita por 126 entidades de forma inequívoca. Apenas dois organismos não publicitam esta informação e outros dois organismos apenas têm a informação parcialmente disponível. Relativamente aos instrumentos de gestão (ID 1.3), 94% das entidades (123) publicam toda a informação exigida por lei, embora em alguns casos essa informação possa não estar atualizada. Todos os organismos analisados apresentam os seus contactos nas respetivas páginas Web, pelo que o indicador 1.4 é o único com classificação máxima.

O mesmo não se pode dizer quanto à disponibilização de conteúdos noutros idiomas (ID 1.5). Embora a importância da disponibilização de conteúdos em idiomas para além do português varie consoante a instituição e o tipo de serviços prestados aos cidadãos, apenas 22 organismos (16,92%) disponibilizam sítios totalmente traduzidos num outro idioma e 14 organismos (10,77%) disponibilizam sítios com alguns conteúdos disponíveis num outro idioma. O inglês é adotado por todos eles. Para além deste, o francês está disponível em quatro organismos e o espanhol em dois (sítios trilingues). Apenas um sítio disponibiliza conteúdos em quatro idiomas (português, inglês, francês e espanhol).

Relativamente ao Acordo Ortográfico (ID 1.6), 49 organismos publicam conteúdos com a grafia antiga. Em alguns sítios Web de organismos, era apresentada uma mensagem indicando que a partir de uma determinada data os textos usavam a nova grafia (apesar de isso ser contrário ao que manda a lei). Destaca-se o facto de todos os organismos sob tutela do Ministério da Educação e Ciência usarem o Acordo Ortográfico em pleno.

Quanto à atualização da informação publicada (ID 1.7), a classificação média de todas as áreas funcionais do Estado é de 80%. De todo o universo analisado, 84 entidades (64%) possuem conteúdos atualizados (data de publicação inferior a um mês) e 39 (30%) entidades cumprem este requisito parcialmente, por exemplo publicado conteúdos recentes, mas sem indicar claramente a data da última atualização.

Quanto à existência de arquivos de documentos (ID 1.8), apenas um sítio não disponibilizava nenhum tipo de arquivo.

No que diz respeito à existência e funcionamento de um motor de busca interno (ID 1.9), os resultados são muito díspares. A análise não se focou apenas na existência desta funcionalidade, mas principalmente na pertinência dos resultados obtidos. Na maior parte dos casos a funcionalidade existe, mas está mal implementada ou nem sequer foi testada. Todos os sítios Web devem ter uma funcionalidade de pesquisa interna eficaz e eficiente, mas isso não se verificou em 68 entidades: 45 entidades (34,6% do universo) não obtiveram classificação e 23 (17,7%) do universo obtiveram classificação parcial.

Finalmente, a verificação do uso de cookies (ID 1.10), apresenta os piores resultados deste critério: o número das entidades que avisam o utilizador que estão a usar cookies é bastante baixo: das entidades analisadas, apenas 10 (7,7%) colocam um aviso de cookies, embora este mecanismo seja usado por todas elas. Para além disso, foi analisado o tipo de cookies usado para permitir distinguir entre os cookies estritamente necessários (e que são temporários) e os permanentes que têm por objetivo principal a identificação dos utilizadores. Na tabela 5 é possível observar esta informação. Preocupante são sobretudo os 81 sítios Web que usam cookies permanentes e que não avisam os utilizadores que o estão a fazer. De salientar também que dos 90 sítios Web que usam cookies permanentes, 85 deles usam o Google Analytics para recolher e analisar dados dos visitantes, sem que obtenham qualquer permissão para tal.

 

 

Usabilidade

A síntese de resultados do critério Usabilidade é apresentada na tabela 6. Apenas 17 organismos não obtiveram qualquer pontuação no indicador 2.1 por não apresentarem uma estrutura de navegação consistente ao longo das várias páginas do sítio Web. Por sua vez, 14 organismos obtiveram classificação parcial.

 

 

A segunda característica testada foi o design adaptável (responsive design) no sentido de verificar se os sítios estão preparados para serem consultados a partir de dispositivos com diferentes tamanhos de ecrã, sobretudo telemóveis ou tablets (ID 2.2). Constatou-se que esta característica é pouco usada nos sítios da AP: apenas 22 sítios (16,9%) cumprem este requisito.

No que diz respeito à velocidade de carregamento das páginas (ID 2.3), 53 sítios (40,7%) foram carregados em menos de 2 segundos e 47 sítios (36,15%) foram carregados entre 2 a 4 segundos. O tempo médio de carregamento das páginas iniciais foi de 3,51 segundos, existindo uma enorme variação: a página mais rápida carregou em 0,55 segundos e a mais lenta em 33,2 segundos.

Para determinar quais os fatores que mais contribuem para aumentar o tempo de carregamento, analisou-se o tamanho médio das páginas iniciais e o local do alojamento (hosting).

Como se pode observar no Gráfico 1, apesar do tamanho das páginas em KB (mancha cinzenta) faça aumentar o tempo de carregamento (linha azul), não é possível estabelecer uma regra de causa-efeito.

 

 

Registaram-se ainda as entidades responsáveis pelo alojamento e os locais físicos dos centros de dados (datacenters) e concluiu-se que não é possível estabelecer uma relação entre estes e os tempos de carregamento. Por exemplo, os 29 sítios com tempos de carregamento mais elevados encontravam-se alojados em Portugal e a mesma empresa de alojamento apresenta bons e maus resultados para páginas com o mesmo tamanho. Ou seja, as diferenças nos tempos de carregamento estão relacionados com a qualidade do código fonte das páginas e com o uso de técnicas de compressão.

Em relação aos endereços (URLs) dos sítios Web (ID 2.4), apenas 34 entidades (26,15%) obtiveram classificação máxima, enquanto 43 entidades (33,08%) obtiveram classificação parcial, devido ao facto dos seus endereços incluírem a tecnologia usada.

Na verificação da funcionalidade do botão “Retroceder” (ID 2.5), apenas cinco entidades apresentam problemas e obtiveram classificação nula.

A verificação de ligações inválidas/quebradas (ID 2.6) revelou que 56 sítios (43,08%) dos organismos apresentam hiperligações quebradas ou inexistentes.

A validação da mudança de cor das hiperligações (ID 2.7) apresenta os piores resultados deste critério, o que é surpreendente porque a heurística que a sustenta tem sido recomendada ao longo de vários anos. O que é facto é que apenas 8,5% dos sítios analisados usam esta característica.

O uso de plugins (ID 2.8) foi encontrado em 27 sítios (20,77%). Os plugins mais usados foram o Flash10, o Silverlight¹¹ e o Sharepoint. Não foi encontrado nenhum plugin que afetasse irremediavelmente a navegação.

Os resultados obtidos no indicador 2.9 – Tamanho de letra legível – são baixos. Esta verificação adota especial importância nos dispositivos com ecrã reduzido (como telemóveis e tablets), mas é também importante para ecrãs de computadores convencionais. Na análise realizada, a maioria dos sítios (74,61%) não apresentou um tamanho de letra adequado de forma a permitir uma boa legibilidade de conteúdos.

Finalmente, na verificação do uso de www ou https (ID 2.10) foi detetado que 57 sítios (43,85%) não permitiam o acesso quando o endereço era acedido por uma das formas (com ou sem www). Para se considerar um comportamento correto, os sítios deveriam permitir o acesso quer o utilizador usasse ou não o www (ou usasse ou não o https). Por exemplo o sítio exemplo.pt deverá apresentar o mesmo conteúdo que o sítio www.exemplo.pt. Na maior parte dos casos, o que acontece é que não é possível aceder ao sítio sem usar o prefixo www. Contudo, como pior exemplo, no sítio do Instituto do Turismo de Portugal, I.P. o endereço http://www.turismodeportugal.pt/ apresenta conteúdos diferentes do endereço http://turismodeportugal.pt.

Acessibilidade

A síntese de resultados do critério Acessibilidade é apresentada na tabela 7.

 

 

A média ponderada indicada na referida tabela toma em conta o peso de 50% dado ao primeiro indicador (ID 3.1), os 30% de peso dados ao indicador 3.2 e os 20% dados ao indicador 3.3.

O critério de Acessibilidade foi o que obteve piores classificações globais. Para o cálculo final deste critério, contribuíram três indicadores que correspondem aos três níveis das diretrizes de acessibilidade WCAG 2.0, medidos através da ferramenta AccessMonitor.

Um dos principais erros encontrados de acessibilidade diz respeito à falta de legendas de figuras. Foi observado que mesmo os sítios estruturalmente bem implementados de acordo com as diretrizes de acessibilidade apresentavam uma pequena percentagem de imagens sem legenda, sobretudo de conteúdos acrescentados recentemente. Isto demostra que o processo de atualização dos sítios Web não garante a manutenção de todos os requisitos de acessibilidade.

Do universo deste estudo, apenas 13 sítios Web (10%) passaram os testes AccessMonitor necessários para a atribuição do nível A e destes, apenas 9 sítios Web (6,92%) passaram os testes necessários para a atribuição do nível AA.

Por sua vez, 47 sítios (36,15%) passaram os principais testes, alcançando pelo menos uma classificação de 5 no índice do AccessMonitor. Tal significa que 74 sítios Web (56,92%) não cumprem os requisitos mínimos de acessibilidade exigidos.

Praticamente todos os sítios analisados dispunham de um símbolo de Acessibilidade aposto cujo objetivo era mostrar a adequação (ainda que parcial) com as diretrizes de acessibilidade.

Verificou-se que 81 sítios (62,30%) continuavam a usar o símbolo da fechadura (Figura 1) e 46 sítios (35,39%) usavam um dos símbolos propostos pela W3C (Figura 2). Apesar de 13 sítios terem passado a bateria de testes AcessMonitor para as WCAG 2.0 (mínimo exigido por lei), nenhum sítio exibia este símbolo.

 

 

 

 

Salienta-se que os sítios que não afixaram qualquer tipo de símbolo de conformidade de Acessibilidade (40) alcançaram, em média, um índice AccessMonitor superior aos que o tinham feito: 5,25 (sem afixação) contra 5,13 (com afixação).

 

 

Eficiência

A síntese de resultados por departamento estatal é apresentada na tabela 9. As técnicas de SEO (ID 4.1) são muito abrangentes e estão em constante mudança. Apenas 14 sítios Web (10,77%) utilizam a totalidade destas técnicas e 34 sítios não implementavam pelo menos umas das técnicas sugeridas.

 

 

Quanto à otimização do código HTML (ID 4.2), 98% dos sítios obtiveram classificação, embora a maior parte dos sítios apenas parcialmente, sendo que o maior problema dizia respeito ao excesso da quantidade do código HTML gerado.

Na verificação da otimização das imagens (ID 4.3), apenas dois sítios obtiveram classificação máxima. Um total de 52 sítios (40%) obtiveram classificação nula neste critério por usarem com uma dimensão maior que o necessário ou sem compressão. O pior caso encontrado apresentava 12700 KB (12.4MB) uma vez que dispunha de um álbum de fotografias em alta resolução. Esta é uma tendência que se verifica nos nove sítios de maior tamanho.

A otimização de CSS (ID 4.4) é o segundo indicador deste critério que melhores resultados obtém. Apenas 20 sítios (15,39%) não apresentam problemas e por isso obtiveram classificação máxima, 106 sítios (81,54%) obtiveram classificação parcial e apenas quatro sítios não obtiveram classificação neste domínio. As classificações parciais foram atribuídas sobretudo devido à quantidade de recursos externos de CSS usados, havendo espaço para serem combinados entre si, aumentando a eficiência das páginas.

No que diz respeito à otimização de javascript (ID 4.5), cerca de 80% dos sítios de 80,77% obteve classificação parcial, 15 (11,54%) obtiveram classificação máxima e 10 (7,69%) não obtiveram qualquer classificação.

Quanto à verificação dos pedidos HTTP e DNS (ID 4.6), constatou-se que 76 sítios (58,46%) não obtiveram classificação, 15 sítios (11,54%) obtiveram classificação parcial e 39 sítios (30%) alcançaram classificação máxima.

No que diz respeito à técnica que permite aumentar a eficiência das cópias locais (cache) dos sítios (ID 4.7), verificou-se que 75,38% dos sítios não a usa, 28,54% usa parcialmente (28,54%) e apenas 3% usam na totalidade. Este trata-se do pior indicador de eficiência analisado. Uma especial atenção neste campo permitiria poupanças de largura de banda (e de custos) e uma melhoria da experiência do utilizador.

Na verificação da ordem pela qual os elementos CSS e javascript são carregados (ID 4.8), dez sítios (7,69%) obtiveram classificação máxima, dez sítios Web (7,69%) obtiveram a classificação parcial e 110 sítios Web (84,62%) não obtiveram qualquer classificação.

Do universo analisado, apenas 33 sítios (25,38%) usavam a técnica de compressão Gzip12 (ID 4.9). De todas as técnicas analisadas esta é porventura a mais fácil de implementar porque apenas exige uma ligeira mudança do ambiente de configuração do lado do servidor.

O tempo de resposta do servidor (ID 4.10) apresenta dos melhores resultados deste critério: os servidores onde estão alojados 68 sítios (52,31%) respondem de uma forma rápida, 25 (19,23%) têm espaço para melhorar e 37 (28,46%) respondem de uma forma lenta.

De salientar que estes resultados são complementares ao do indicador 2.3. Embora este último meça o tempo total de carregamento das páginas, o indicador 4.10 apenas indica se o servidor de alojamento está otimizado para responder de forma rápida. Assim, embora um servidor possa responder de forma rápida, isso não quer dizer que as páginas irão carregar rapidamente.

 

4. Recomendações

Com base nas evidências e dados recolhidos neste estudo, apresentam-se quatro propostas com o objetivo de aumentar a eficiência e transparência, melhorar a experiência de utilização dos cidadãos e reduzir custos para o Estado.

1. Processo Periódico de Verificação de Qualidade. Sugere-se a criação de um processo periódico, uniformizado, transversal e vinculativo de verificação de qualidade dos sítios da AP levado a cabo por um organismo público como por exemplo a Agência para a Modernização Administrativa (AMA)¹³. Este estudo propõe um modelo de avaliação que pode servir de base a este processo, embora o modelo agora proposto deva ser revisto periodicamente, pela natural evolução tecnológica.

2. Visto prévio. Propõe-se a implementação de sistema de atribuição de vistos prévios aquando da criação de novos sítios Web de organismos da AP. Este visto funcionaria como um “selo de qualidade” de forma a garantir a conformidade de cada novo sítio Web, incluindo microsítios e sítios temáticos. Para a atribuição deste visto prévio, usar-se-ia o modelo de verificação de qualidade referidos no número anterior. Só depois de emitido um visto prévio favorável, o sítio poderia ser publicado.

3. Portal com classificação dos sítios Web. Uma vez que o procedimento de vistos prévios descrito no ponto anterior seria aplicado apenas a novos sítios, torna-se necessário complementar essa medida com outras para garantir uma monitorização contínua (M. Ivory & Hearst (2001), dando incentivos de melhoria aos organismos. Assim, sugere-se a criação de um portal Web público com os resultados das análises periódicas a cada sítio e a publicação de ranking global permanentemente atualizado. Para além dos resultados das análises, este portal poderia publicar guias de boas práticas de desenvolvimento para a Web, exemplificar casos de sucesso e prover a participação da cidadania ativa. Os cidadãos poderiam fazer sugestões de melhoria que seriam registadas e encaminhadas para os organismos.

4. Disponibilização obrigatória dos autores na Ficha técnica. Os sítios públicos devem ser assinados pelas entidades que os conceberam e implementaram. Esta informação deve constar numa página do sítio intitulada de “Ficha Técnica” com o objetivo de aumentar a transparência e a pressão sobre as entidades que prestam serviços de consultoria ao Estado. Se todos os sítios Web do estado estiverem assinados pelos autores, será possível comparar resultados de qualidade por autor, o que motivará as entidades que prestam serviços de consultoria a melhorar os seus procedimentos de desenvolvimento, reforçando a qualidade dos seus serviços. O mesmo princípio é aplicável aos sítios desenvolvidos por equipas internas.

 

5. Conclusões e Trabalho Futuro

5.1. Principais conclusões

A literatura consultada em Português sobre boas práticas de Usabilidade e da Acessibilidade Web de sítio da AP está datada e, por isso, tornou-se necessário propor e testar um novo modelo de avaliação baseado nas boas práticas propostas recentemente pela literatura. O último grande estudo de análise aos sítios web da AP foi realizado em 2003 pela Accenture (Accenture, 2003) e apresentava indicadores obsoletos e que estavam focados na análise de conteúdos em detrimento de outros indicadores importantes que foram privilegiados neste estudo, como a forma como esses conteúdos são disponibilizados.

Neste estudo foram analisados 130 sítios Web de organismo da AP e destes, apenas 31 (23,85%) obtiveram classificação global média positiva. A classificação global média alcançada pelos sítios Web foi de 45%, a mediana foi de 44% e a moda de 39%. O desvio padrão foi 0,10.

Dos quatro critérios analisados, os Conteúdos obtiveram a melhor classificação global média (72%), seguidos da Usabilidade (52%), Eficiência (36%) e da Acessibilidade (19%). Os critérios de Usabilidade e Eficiência foram usados pela primeira vez num estudo deste género e mostram claramente a necessidade de introduzir melhorias urgentes, uma vez que vários sítios Web não podem ser acedidos de forma satisfatória pelos cidadãos.

Deste estudo concluiu-se que a falta de qualidade e consistência dos sítios dos organismos da AP é muito elevada. Por isso, propõe-se que caiba à Agência para a Modernização Administrativa realizar uma pré-aprovação de sítios Web e prover uma política de monitorização de qualidade contínua.

5.2 Trabalho futuro

Como trabalho futuro, fará sentido voltar a aplicar o modelo e realizar uma comparação evolutiva. Seguidamente, será conveniente alargar a análise a sítios Web que ainda não foram alvo de nenhuma análise deste género (como tribunais, hospitais e escolas) e ainda microsítios e sítios temáticos produzidos por cada organismo. Da mesma forma fará sentido alargar a análise a organismos das administrações regionais das regiões autónomas da Madeira e dos Açores.

 

Referências

Accenture (2003). Relatório final: Avaliação externa de web sites dos organismos da administração directa e indirecta do estado (segunda ed.), Lisboa, UMIC Presidência do Conselho de Ministros.         [ Links ]

Amaral, L., Santos, L., & Oliveira, J. (2001). Método de avaliação dos web sites dos organismos da administração directa e indirecta do estado. Acedido em 3 de julho de 2016 de http://www.umic.pt/images/stories/osic/MetodoAvaliacao2003_(01_03_03).pdf        [ Links ]

António, N., & Teixeira, A. (2007). Gestão da qualidade: De deming ao modelo de excelência da efqm. Lisboa, Edições Sílabo.         [ Links ]

Carvalho, R. (2015). Usabilidade, acessibilidade e qualidade da web da Administração Pública portuguesa. (ISCTE) Lisboa, Portugal. Acedido em 2 de julho de 2016 de http://hdl.handle.net/10071/10911        [ Links ]

Fernandes, J., & Cardoso, C. (2013). Estudo sobre o estado da acessibilidade dos sítios web dos estabelecimentos de ensino superior, Equipa Acesso, FCT        [ Links ]

Fernandes, J., & Cardoso, C. (2014). Acessibilidade dos conteúdos web dos municípios portugueses (2009-2014). Acedido a 2 de julho de 2015 de http://www.apdsi.pt/uploads/news/id852/03%20-%20Jorge%20Fernandes%20-%20FCT.pdf        [ Links ]

Garcia, A. C. B., Maciel, C., & Pinto, F. B. (2005). A quality inspection method to evaluate E-Government sites. In M. Wimmer, R. Traunmu¨ller, Å. Grönlund, & K. Andersen (Eds.), Electronic government (Vol. 3591, pp. 198–209). Springer Berlin / Heidelberg        [ Links ]

Google. (2015). About pagespeed insights. Acedido a 20 de julho de 2016 de https://developers.google.com/speed/docs/insights/about        [ Links ]

ISO/IEC. (2011). Iso/iec 25010:2011: Systems and software engineering – systems and software quality requirements and evaluation (square) – system and software quality models [Computer software manual]. Geneva, CH: ISO.

Ivory, M., & Hearst, M. A. (2001). The state of the art in automating usability evaluation of user interfaces. ACM Computing Surveys (CSUR), 33(4), 470-516. DOI: 10.1145/503112.503114        [ Links ]

Juran, J. (1995). A history of managing for quality: The evolution, trends, and future directions of managing for quality. Milwaukee: ASQC Press.         [ Links ]

Kadlec, T. (2012). Implementing responsive design: Building sites for an anywhere,everywhere web (voices that matter) (New Riders ed.). Berkeley.         [ Links ]

King, A. B. (2008). Website optimization: Speed, search engine & conversion rate secrets (primeira ed.). O’Reilly Media.         [ Links ]

Lei n.º 3/2004. Diário da República de 15 de janeiro de 2004, Lisboa.

Lei n.º 36/2011. Diário da República de 21 de junho de 2011, Lisboa.

Lei n.º 46/2012. Diário da República de 29 de agosto de 2012, Lisboa.

Lei n.º 66-b/2007. Diário da República de 28 de dezembro de 2007, Lisboa.

 

Recebido/Submission: 05/09/2016

Aceitação/Acceptance: 16/11/2016

 

Notas

¹ Disponível em http://www.flip.pt/FLiP-On-line/Corrector-ortografico-e-sintactico.aspx

² Disponível em https://www.eff.org/privacybadger

³ Disponível em https://www.google.com/webmasters/tools/mobile-friendly/

⁴ Disponível em http://tools.pingdom.com/fpt/

⁵ Disponível em https://validator.w3.org/checklink/docs/checklink

⁶ Disponível em https://developers.google.com/speed/pagespeed/insights/

⁷ Disponível em http://getfirebug.com/

⁸ Disponível em http://yslow.org/

⁹ Disponível em http://www.acessibilidade.gov.pt/accessmonitor/

¹⁰ https://get.adobe.com/br/flashplayer/

¹¹ https://www.microsoft.com/silverlight/

¹² http://www.gzip.org/

¹³ A sugestão da AMA é feita uma vez que esta entidade tem sido responsável pelo desenvolvimento de muitos programas de governo eletrónico e promoção das TIC no Estado.