ARTIGOS

Avaliação dos novos métodos de qualidade de VGI da plataforma ClickOnMap

Evaluation of New VGI Quality Methods on the ClickOnMap Platform

Jean H. S. Câmara^1,2, Jugurta Lisboa-Filho¹, Rafael O. Pereira¹, Wagner D. Souza³, Joep Crompvoets⁴

¹ Departamento de Informática, Universidade Federal de Viçosa (UFV), Viçosa, MG, 36570-900, Brasil; jean.camara@ufv.br, jugurta@ufv.br, rafa.oliveirap@gmail.com

² Núcleo de Informática, Instituto Federal do Norte de Minas Gerais (IFNMG), Araçuaí, MG, 39600-000, Brasil

³ Departamento de Engenharia, Universidade Federal Rural do Rio de Janeiro (UFRRJ), Seropédica, RJ, 23890-000, Brasil; wagnerdiasdesouza@gmail.com.br

⁴ KU Leuven Public Governance Institute, Leuven, B-3000, Bélgica; joep.crompvoets@kuleuven.be

---

 

RESUMO

Existe uma grande discussão em relação à qualidade dos dados colectados em sistemas de Informação Geográfica Voluntária (VGI), visto que estes podem ser fornecidos por utilizadores não capacitados na produção de dados espaciais. Visando atender emergências, como catástrofes naturais, sistemas de colecta VGI podem ser desenvolvidos rapidamente utilizando plataformas como Ushahidi ou ClickOnMap. Recentemente foram implementados novos métodos de qualidade na plataforma ClickOnMap, porém ainda não havia sido avaliada a eficiência destes métodos. O objectivo desse trabalho foi avaliar os diversos métodos de qualidade VGI da plataforma ClickOnMap. Para isto foi desenvolvido um sistema chamado "Gota D'água", que colectou dados sobre o tema “desperdício de água em áreas urbanas”. Por meio da análise dos dados colectados, estatísticas de uso e aplicação de questionário foi possível perceber a influência dos métodos de qualidade nas colaborações. Esta análise mostrou que os métodos empregados são úteis e imprescindíveis no contexto VGI, sendo recomendado seu uso em sistemas como o OpenStreetMap.

Palavras-chave: Qualidade VGI; Informação Geográfica Voluntária; Crowdsourcing; ClickOnMap Platform; Mapeamento Colaborativo.

---

 

ABSTRACT

There has been great interest in the quality of collected data through Volunteered Geographic Information (VGI) systems, since they may be provided by untrained users when producing spatial data. When managing emergencies, e.g., natural catastrophes, VGI collection tools may be quickly developed through platforms, such as Ushahidi or ClickOnMap. Recently, new quality methods have been implemented on the ClickOnMap Platform, however, their efficiency had not yet been evaluated. Therefore, the aim of this study was to analyze the multiple quality methods of VGI on the ClickOnMap Platform. Thus, a system called “Gota D'água” (Drop of Water) was developed, which collected data on the subject “water waste in urban areas”. Through the analysis of the collected data, usage statistics, and responses to a questionnaire, it was possible to notice the influence of the quality methods on collaborations. The analysis showed that the employed methods are useful and crucial in the context of VGI, and their use is recommended in systems such as OpenStreetMap.

Keywords: VGI Quality; Volunteered Geographic Information; Crowdsourcing; ClickOnMap Platform; Collaborative mapping.

---

 

1. Introdução

A evolução da Web para o formato 2.0 possibilitou aos utilizadores da Internet desempenharem os papéis de produtores e editores de dados, com base em seus interesses e necessidades pessoais (Neis & Zielstra, 2014). A Web 2.0 possui tecnologias que possibilitam a interacção directa dos utilizadores com os sistemas online, gerando assim novos dados de forma mais rápida que no formato anterior da Web. Estes dados produzidos são chamados de Conteúdo Gerado pelo Utilizador (UGC, do inglês User-Generated Content) (Krumm, Davies & Narayanaswami, 2008). A partir dessa nova forma de criação de conteúdo surgiram projectos como a Wikipédia, Flickr e YouTube.

Paralelamente ocorreu uma enorme disseminação de dispositivos (ex.: smartphones e tablets) equipados com sistemas de geolocalização. Os utilizadores destes equipamentos estão produzindo dados espaciais para a Web em uma escala muito maior que anteriormente. A interface gráfica fácil e rápida de usar foi um factor importante para atrair estes utilizadores para o universo UGC. Além disso, esses aparelhos possuem alta mobilidade e podem possuir aplicativos que facilitam o compartilhamento de dados espaciais em redes sociais. Os dados que possuem alguma característica espacial e que são gerados a partir de algum tipo de contribuição voluntária são conhecidos como Informação Geográfica Voluntária (VGI, do inglês Volunteered Geographic Information) (Goodchild, 2007).

Os sistemas que colectam e distribuem este tipo de informação são chamados de sistemas VGI. Um exemplo desse tipo de sistema é o OpenStreetMap, que é um projecto de mapeamento colaborativo que tem como objectivo criar um conjunto de dados geográficos gratuitos para os utilizadores editarem e utilizarem para qualquer propósito (Haklay & Weber, 2008). Em comparação com dados de fontes oficiais do Governo ou dados gerados por empresas privadas, VGI requer menos tempo e esforço para sua criação, além de um baixo custo. Portanto, esses sistemas podem ser usados como fonte de informação em casos de desastres naturais, visto que nessas situações necessita-se que os dados sejam gerados em tempo real (Goodchild, 2007).

O OpenStreetMap foi utilizado no terremoto ocorrido no Haiti em 2010, no tsunami no Japão em 2011 e após o tufão que passou pelas Filipinas em 2013. Nos três casos a utilização do sistema foi um sucesso, alcançando com eficiência seu propósito e ajudando a salvar vidas (Neis & Zielstra, 2014). Após o terremoto de 2010 no Haiti, surgiu uma equipe internacional (HOT, do inglês Humanitarian OpenStreetMap Team) dedicada à acção humanitária e ao desenvolvimento da comunidade por meio do mapeamento voluntário (Soden & Palen, 2014). Essa equipe utilizou o OpenStreetMap e trabalhou por 1,5 anos após o terremoto. Actualmente a HOT permite que as pessoas criem seus próprios mapas para gerenciar desastres. Tem-se também o exemplo do Google Maps que foi utilizado para fornecer actualizações em tempo real sobre o fechamento de estradas causado pela passagem do furacão Irma na Florida (EUA) em setembro de 2017 (Yurieff, 2017). Dessa forma, por meio de um mapa o governo local, as agências de transporte e os utilizadores informavam voluntariamente quando encontravam algum erro ou tinha alguma informação importante para colaborar.

Existem ferramentas que agilizam o desenvolvimento dos sistemas VGI, como as plataformas Ushahidi e a ClickOnMap. Essas ferramentas podem ser utilizadas nessas situações de emergência, para criar e disponibilizar rapidamente um sistema VGI, já que os dados devem ser colectados e distribuídos quase em tempo real (Georgiadou et al., 2011). Embora existam colaboradores qualificados e com conhecimentos técnicos avançados em um sistema VGI, a maioria dos dados é fornecida por indivíduos com pouco ou nenhum conhecimento sobre técnicas de mapeamento e não seguem normas e protocolos estabelecidos (Goodchild, 2007; Zielstra & Hochmair, 2013; Antoniou & Skopeliti, 2015). Portanto, VGI possui a desvantagem da falta de garantia de qualidade em comparação com dados analisados e validados por profissionais da área. Alguns casos de baixo nível de qualidade podem prejudicar ou impedir o uso da VGI (Bishr & Kuhn, 2007).

Existe uma notável preocupação com a qualidade VGI devido à grande quantidade de dados que são fornecidos por diferentes indivíduos (Flanagin & Metzger, 2008). Essas preocupações também estão relacionadas com a falta de controlo da qualidade durante o processo de criação de dados (Flanagin & Metzger, 2008). Vários autores compararam dados voluntários com dados de agências oficiais e concluíram que o nível de qualidade dos dados VGI está se aproximando do nível de qualidade dos dados de agências oficiais, principalmente em áreas urbanas densamente povoadas (Haklay, 2010; Fan et al., 2016; Brovelli et al., 2017).

Além destes trabalhos, Jonietz et al. (2017) apresentaram diversas pesquisas relacionadas com a qualidade VGI e concluíram que a qualidade dos dados voluntários representa um importante problema que pode até comprometer o resultado dos trabalhos que usam VGI. Esses autores afirmam ainda que nesse momento, VGI não pode substituir totalmente os dados geográficos gerados por fontes oficiais.

Para minimizar a distância entre o nível de qualidade dos dados oficiais com os dados fornecidos de forma voluntária é necessário identificar novos métodos e técnicas para melhorar a qualidade VGI, como sugerido por Flanagin e Metzger (2008). De fato, diversos métodos já foram propostos para melhorar o nível da qualidade VGI (Batini et al., 2009; Goodchild & Li, 2012; Hung et al., 2016; Elia et al., 2018). Porém, essa qualidade ainda está distante do nível desejado, principalmente em áreas com menor densidade populacional. Assim, novos métodos ainda precisam ser criados para melhorar a qualidade dos dados de uma VGI.

Além de ser necessário encontrar novos métodos para melhorar a qualidade VGI é indispensável avaliar os métodos de qualidade já existentes. Dessa forma, o presente trabalho tem o objectivo de avaliar a utilidade dos novos métodos de qualidade adicionados por Câmara et al. (2016) à plataforma ClickOnMap. Para isso foi desenvolvido um sistema VGI utilizando a ClickOnMap chamado Gota D’Água. Esse sistema colectou dados de vazaduras e desperdício de água de algumas cidades do Brasil.

2. Trabalhos Relacionados

Existem muitos trabalhos relacionados à qualidade VGI, visto a relevância desse assunto. Barron, Neis, & Zipf (2014) apresentaram um framework com mais de 25 métodos e indicadores para avaliar a qualidade de um conjunto de dados do OpenStreetMap. Os autores destacam que afirmações precisas sobre a qualidade dos dados só são possíveis se existir um conjunto de dados oficiais como base de comparação. Por fim, esses autores apontam que é necessário analisar com mais detalhes a experiência, qualidade dos dados e reputação dos utilizadores do sistema.

Bordogna et al. (2014) propuseram um modelo baseado na tomada de decisões linguísticas para avaliar a qualidade de um banco de dados de VGI, criado em projectos de ciência cidadã. O estudo desses autores indica que a qualidade depende de vários aspectos: extrínsecos, intrínsecos e pragmáticos. Nesse estudo, muitos indicadores foram discutidos e uma abordagem flexível foi proposta para representar e avaliar a qualidade VGI.

Antoniou e Skopeliti (2015) destacam que a qualidade VGI pode ser descrita por medidas e indicadores de qualidade. As medidas de qualidade referem-se às medidas que podem ser aplicadas para verificar a discrepância entre os dados fornecidos voluntariamente e os dados reais, por meio, principalmente, da comparação entre VGI e dados de agências oficiais. Porém comparar VGI com dados oficiais nem sempre é possível devido a vários factores como a indisponibilidade dos dados, restrições de licença ou altos custos de aquisição.

Nesses casos, pesquisadores têm explorado maneiras mais intrínsecas de avaliar a qualidade VGI buscando outras representações para as medidas de qualidade. Para Antoniou e Skopeliti (2015), essas novas representações foram nomeadas como indicadores de qualidade. Esses indicadores dependem de elementos que influenciam a qualidade VGI, mas não podem ser medidos, como experiência do colaborador ou a falta dela, o histórico da colaboração, dentre outros.

Câmara et al. (2016) fizeram uma revisão na literatura e propuseram 19 atributos que se relacionam com qualidade VGI. Esses atributos foram divididos em 4 categorias: Intrínseca; Contextual; Representacional; e Acessibilidade. Em seguida, os autores reuniram 23 métodos de qualidade VGI mais citados nos principais trabalhos da área. Feito isso, os autores propuseram o uso de seis novos métodos de qualidade no contexto VGI: Palavras-chaves criadas pelos utilizadores; Tratamento de textos; Intervalo entre as colaborações; Selos de conquistas; Tutorial de uso; e Sistema de ajuda. Posteriormente, os 29 métodos (23 da literatura e 6 propostos) foram classificados de acordo com os 19 atributos propostos. Por fim, os autores adicionaram os novos métodos à plataforma ClickOnMap.

Senaratne et al. (2017) apresentam uma revisão de várias medidas, indicadores e métodos para avaliar a qualidade VGI. Estes autores classificam a VGI em três tipos: mapa, imagem e texto. A revisão feita por Senaratne et al. (2017) resultou em 7 medidas, 10 indicadores e 30 métodos que podem ser usados para avaliar a qualidade VGI. Os autores classificaram os artigos estudados de acordo com as medidas e indicadores de qualidade e o tipo de VGI. Goodchild e Li (2012) propuseram três abordagens para avaliar a qualidade VGI: crowd-sourcing; social; e geográfica. Além dessas abordagens, Senaratne et al. (2017) sugerem uma abordagem adicional chamada data mining. Esses autores recomendam identificar novas medidas, indicadores e métodos de qualidade VGI, principalmente relacionados a avaliação da qualidade intrínseca e VGI dos tipos imagem e texto, já que estas têm recebido uma menor atenção da comunidade de pesquisadores.

Fogliaroni, D’Antonio e Clementini (2018) inicialmente discutem sobre o problema da avaliação da qualidade dos dados VGI e em seguida apresentam um modelo para medir a confiabilidade da informação e a reputação dos colaboradores. Esse modelo analisa os aspectos geométricos, qualitativos e semânticos nas edições ao longo do tempo.

Severinsen et al. (2019) apresentam um modelo, chamado VGTrust, que quantifica a confiança em VGI. Esse modelo avalia informações sobre os colaboradores e a confiança espacial e temporal associada aos dados que eles criam para produzir uma métrica de classificação geral de fácil entendimento e interpretação. Além disso, os autores apresentam um estudo de caso que testa a viabilidade do modelo em um exercício de captura de dados do mundo real realizado pela Land Information New Zealand, organização de mapeamento da Nova Zelândia. Com isso, os autores concluíram que o VGTrust é uma opção viável para novas aplicações VGI, pois ele estima com sucesso a qualidade dos dados voluntários.

Costa et al. (2019) propuseram um método de enriquecimento semântico de VGI usando dados vinculados e tesauros a fim de melhorar a rastreabilidade dos dados em um sistema VGI. O método tem dois estágios, um automático e um manual. O estágio automático vincula dados VGI a locais de interesse dos utilizadores. No estágio manual, um tesauro no domínio hídrico foi construído com base nos termos encontrados em VGI. Por fim, os autores propuseram um processo que retorna dados VGI semanticamente semelhantes com base nas consultas feitas pelos utilizadores. O método mostrou-se eficiente visto que permitiu que consultas mais complexas fossem realizadas sobre as colaborações melhorando a rastreabilidade dos dados.

Por meio desses trabalhos, percebe-se que existe uma grande preocupação em avaliar a qualidade VGI, visto que estas informações podem ser fornecidas por pessoas com diferentes formações, usando várias tecnologias e ferramentas, com níveis de detalhes e precisão diferentes e sem seguir padrões e normas. Além de ser necessário encontrar novas medidas, indicadores e métodos para avaliar a qualidade VGI é indispensável avaliar os métodos de qualidade já existentes.

3. Plataforma ClickOnMap

A mudança do clima global, o crescimento populacional e a propagação de doenças infecciosas, dentre outros factores, aumentou o número de desastres naturais e antrópicos e as respostas a estes desastres envolvem pessoas de diversas regiões por meio da colaboração voluntária (Zook et al., 2010). Os sistemas VGI podem ajudar na prevenção, execução de acções durante um fenómeno ou na recuperação de uma região após um desastre natural. Como mencionado anteriormente, o OpenStreetMap foi usado para ajudar a salvar vidas após o terremoto do Haiti em janeiro de 2010. Assim, nesses casos emergenciais é desejável que se consiga criar um sistema VGI rapidamente para auxiliar na gestão da emergência, onde os dados devem ser colectados e distribuídos quase em tempo real (Georgiadou et al., 2011). Existem ferramentas que agilizam o desenvolvimento de sistemas VGI como é o caso da plataforma ClickOnMap.

A plataforma ClickOnMap foi criada para reduzir o tempo e o esforço gasto no desenvolvimento de sistemas VGI (Souza et al., 2014). Essa plataforma é open source e está disponível para download em www.dpi.ufv.br/projetos/clickonmap. Por meio de uma área administrativa, o utilizador pode gerenciar e customizar um sistema VGI, não sendo necessário ter conhecimento avançado em linguagem de programação. Nesta área administrativa pode-se gerenciar configurações, utilizadores, categorias, tipos (subcategorias) e colaborações que foram realizadas no sistema. Além disso, a ClickOnMap possui métodos que podem melhorar a qualidade dos dados fornecidos, por exemplo, a avaliação de VGI a partir de notas fornecidas por utilizadores, definição de um sistema de pontuação com um ranking de utilizadores e documentação da VGI por meio do template Dynamic Metadata for VGI (DM4VGI) (Souza et al., 2013).

Câmara et al. (2016) adicionaram novos métodos à plataforma ClickOnMap: Palavras-chaves criadas pelos utilizadores; Tratamento de textos; Intervalo entre as colaborações; Selos de conquistas; Tutorial de uso; e Sistema de ajuda. A Figura 1 exibe o gerenciador de métodos de qualidade da ClickOnMap. Nessa área o administrador pode habilitar e desabilitar os métodos que desejar em seu sistema VGI.

 

 

Além de sistemas de resposta à situação de emergência ou catástrofe, os sistemas desenvolvidos utilizando a plataforma ClickOnMap podem ser também utilizados como um canal de comunicação entre os moradores e os órgãos públicos de uma cidade, expondo os problemas e informações úteis sobre a cidade quase em tempo real. Um diferencial desta plataforma é a possibilidade de oferecer aos utilizadores diversas estatísticas, ajudando o cidadão ou o Governo na tomada de decisão com maior eficiência. A ClickOnMap tem sido utilizada principalmente como ferramenta de auxílio à gestão pública, abrindo um canal de comunicação entre governos municipais e o cidadão.

4. Estudo de Caso

Com o objectivo de analisar e avaliar a utilidade dos novos métodos de qualidade VGI adicionados à plataforma ClickOnMap por Câmara et al. (2016) foi desenvolvido um sistema VGI denominado Gota D’Água^[1]. Esse sistema tem como intuito mapear as vazaduras e desperdício de água para ajudar no combate à falta d`água nas cidades.

Antes de iniciar o estudo de caso, fez-se necessário adicionar a funcionalidade de Perfil do Utilizador à ClickOnMap. Essa funcionalidade disponibiliza uma área com as seguintes informações de cada utilizador: apelido; faixa etária; data de registo; posição no ranking geral; sua classe de utilizador; o número e as últimas colaborações realizadas; e os selos de conquistas. O apelido é usado para não exibir informações pessoais aos outros utilizadores do sistema, visto que em casos de sistemas que colectam denúncias não é interessante exibir as informações pessoais dos utilizadores.

A Figura 2 ilustra a página inicial do sistema Gota D’Água. Em azul, no lado esquerdo e logo abaixo da barra de opções, existe o botão de acesso ao Tutorial de Uso. Optou-se por usar o tutorial de uso padrão fornecido pelo sistema. Nesse tutorial o utilizador pode aprender: criar uma conta no sistema; criar ou editar uma colaboração; enviar imagem, vídeo ou arquivo; ganhar os selos de conquista; consultar as estatísticas que são fornecidas, dentre outros detalhes do sistema. Assim, ao consultar este tutorial, o utilizador pode adquirir um conhecimento geral do sistema e realizar as suas colaborações sem dificuldade, utilizando todos os recursos disponíveis.

 

 

Para realizar uma colaboração, o utilizador deve fazer um registo por meio de um formulário de registo, disponibilizado pelo sistema, ou entrar como um utilizador anónimo. O Internet Protocol (IP) do utilizador é capturado no momento da sua colaboração por questão de segurança, porém apenas os administradores do sistema têm acesso a este dado. Além do Tutorial de Uso, optou-se por utilizar o método Sistema de Ajuda. Sendo assim, ao entrar pela primeira vez no sistema, o utilizador recebe uma mensagem de boas-vindas junto com uma instrução do que deve ser feito para começar a colaborar. O Sistema de Ajuda que auxilia o utilizador em sua primeira colaboração é composto por apenas quatro instruções, o que motiva o uso dessa funcionalidade.

O sistema Gota D’Água disponibiliza as seguintes categorias para as colaborações: “Desvios Ilegais”; “Falta de Água”; “Utilização Indevida de Água”; “Vazamentos”; e “Outros”. Assim, os utilizadores podem seleccionar e informar as principais formas de desperdício de água. Após preencher os dados do formulário e enviar a colaboração, é exibida uma mensagem para o utilizador solicitando o preenchimento de até 5 palavras-chave. Escolheu-se utilizar este paço como opcional, portanto, o colaborador pode ignorá-lo e finalizar sua contribuição normalmente. Toda colaboração possui um fórum, onde os utilizadores podem comentar e discutir sobre a veracidade ou qualidade de uma VGI. Todas as colaborações também podem ser editadas por meio do sistema de Revisão Wiki que está disponível. As colaborações podem ser filtradas de acordo com as categorias, exibindo apenas as colaborações que o utilizador deseja visualizar e/ou analisar. O sistema também possui gráficos que exibem estatísticas sobre as colaborações. Todas as colaborações são documentadas de forma automática, com base no template DM4VGI (Souza et al., 2013), que utiliza metadados automaticamente colectados.

Os textos informados pelos utilizadores nos campos título e descrição das colaborações passam por uma revisão realizada pelo método Tratamento de Textos. As abreviações e as palavras expandidas pelas quais serão substituídas foram pré-cadastradas na configuração do sistema. Além disso, este método remove pontuações e espaçamentos repetidos, inicia todas as sentenças com letra maiúscula, adiciona espaço após e remove os espaços antecedentes às pontuações e corrige fechamento de pontuações como parênteses e colchetes.

No sistema Gota D’Água, o método Intervalo entre as colaborações foi configurado para não permitir que um utilizador faça mais de quatro colaborações em menos de dois minutos. Com isso, dificulta-se o uso de software, por utilizadores maliciosos, que colabore automaticamente em curto intervalo de tempo com a finalidade de atacar o sistema. O utilizador que realizar quatro colaborações em menos de dois minutos recebe um alerta informando-o que ao realizar mais uma colaboração dentro deste intervalo de tempo ele será bloqueado por 24 horas. Disponibilizou-se também, o método Selos de Conquista. Esses selos permitem identificar as habilidades dos utilizadores do sistema que podem ser fundamentais para avaliar a qualidade de uma VGI.

4.1. Teste de Aplicabilidade dos Métodos Propostos

Colectou-se os dados e divulgou-se amplamente esse sistema em listas de correios electrónicos e redes sociais durante 40 dias. Como mostra a Tabela 1, o sistema obteve 865 acessos, sendo que a duração média de cada acesso foi de aproximadamente 3 minutos e 32 segundos. Esses acessos foram originados de 19 estados distintos. Porém, as colaborações foram realizadas por utilizadores de apenas 5 desses 19 estados. Essas estatísticas foram colectadas pelo serviço Google Analytics (www.analytics.google.com) que é fornecido gratuitamente pela empresa Google. As demais estatísticas da Tabela 1 foram colectadas pela ClickOnMap Plataform.

 

 

No período de 40 dias, o sistema recebeu 100 colaborações e a quantidade total de colaborações por categoria pode ser vista na Tabela 2. Esse número de colaborações inclui as contribuições feitas por utilizadores registados, anónimos e os que foram bloqueados. Observa-se que a maior parte das colaborações está relacionada a observação de vazaduras e não houve colaboração sobre desvios ilegais. Um Desvio ilegal é uma ligação clandestina na rede de água e é crime no Brasil.

 

 

Nos primeiros dias de colecta dos dados, observou-se que o número de colaborações realizadas em relação ao número de acessos ao sistema foi baixo. Embora esse comportamento não seja diferente da maioria dos sistemas VGI, para entendê-lo melhor, ao sair do sistema o utilizador foi convidado a responder um formulário cujas perguntas e alternativas estão exibidas na Tabela 3. Esse formulário foi elaborado alguns dias após iniciar a colecta dos dados e recebeu 50 respostas, cujas estatísticas também estão exibidas nessa tabela.

 

 

As perguntas P1 e P2 eram obrigatórias enquanto as perguntas P3 e P4 opcionais. Solicitou-se o correio electrónico do utilizador por meio da pergunta P4, pois caso ele não tivesse conseguido colaborar, o administrador do sistema entraria em contacto para saber o que ocorreu. De quatro pessoas que alegaram não conseguir colaborar, apenas uma informou um correio electrónico. Tentou-se um contacto para saber o motivo de não ter conseguido realizar a colaboração, mas o administrador não obteve respostas do utilizador. Com base na Tabela 3 pode-se inferir que muitos utilizadores entraram no sistema apenas para conhecê-lo e não sabiam exactamente com “o que” colaborar. Poucos utilizadores tiveram algum tipo de dificuldade durante o processo de colaboração. Outros factores que também podem contribuir para o baixo número de colaborações em relação aos acessos é o medo de ser identificado, mesmo com a possibilidade de colaborar anonimamente, e principalmente a falta de resposta dos órgãos responsáveis às colaborações do sistema.

O número total de consultas ao conteúdo das colaborações foi de 446. Em média, cada uma das 100 colaborações obteve aproximadamente quatro visualizações. Além disso, foram fornecidas 167 palavras-chave distribuídas por 78 colaborações. Essas palavras-chave foram analisadas e observou-se que a maioria foi usada correctamente e estava de acordo com o conteúdo da VGI. A maioria dos textos fornecidos passaram por correcções automáticas, como pode ser visto na Tabela 4, a qual exibe a descrição da correcção e a quantidade de vezes que ela foi aplicada.

 

 

Durante o período de colecta de dados, um utilizador fez cinco colaborações em menos de dois minutos e foi bloqueado, ou seja, ficou 24 horas sem poder realizar acções como criar ou editar colaborações, comentar, avaliar dentre outras. Outros dois utilizadores fizeram quatro colaborações em menos de dois minutos e quase foram bloqueados. Isso mostra a vulnerabilidade que um sistema VGI tem em relação a vandalismos e utilizadores mal-intencionados. Os selos de conquistas tiveram uma boa aceitabilidade. A página que exibe as informações sobre como conquistar cada selo obteve 31 acessos. Além disso, 143 selos foram conquistados pelos utilizadores do sistema. O selo mais conquistado foi o de “Colaborador Básico”.

Com isso, facilitou-se o processo de conhecimento das habilidades dos autores das colaborações. A Figura 3 exibe o perfil, juntamente com os selos conquistados pelo primeiro colocado do ranking de utilizadores. O primeiro colocado fez 22 colaborações e se destacou visto que o sistema recebeu 100 colaborações. O administrador entrou em contacto com esse utilizador e este informou ao administrador que realizou várias colaborações porque queria obter alguns selos de conquista. Isso indica que a gamificação pode motivar os utilizadores a colaborarem mais com o sistema.

 

 

O tutorial de uso foi visualizado por 17 utilizadores diferentes, sendo que destes utilizadores quatro leram parcialmente e três concluíram a leitura de todo o conteúdo. Observou-se que a maioria dos utilizadores leram determinada parte do tutorial de uso e logo em seguida colocaram em prática o que aprenderam. Além disso, muitos utilizadores consultaram o tutorial de uso antes de se registarem e entrarem no sistema. Todos os 76 utilizadores visualizaram o sistema de ajuda, pois este sistema é exibido quando o utilizador realiza seu primeiro acesso ao sistema. Observou-se que destes utilizadores apenas 10 fecharam o sistema de ajuda antes de chegar na última instrução. Isso mostra que o sistema de ajuda não é invasivo e que realmente auxilia os utilizadores na utilização do sistema.

Nota-se que a disponibilidade de um tutorial de uso minimiza as dificuldades e problemas durante a colaboração. Dos 50 utilizadores que responderam à pesquisa após o uso do sistema, apenas uma pessoa teve dificuldade e não conseguiu se cadastrar. Provavelmente este utilizador não consultou o tutorial de uso. Observa-se também que poucos utilizadores lêem todo o tutorial, a maioria consulta apenas as primeiras páginas. Esse fato reforça que os tutoriais devem ter pouco textos e mais imagens explicativas para incentivar e despertar o interesse do leitor em consultar o material até o fim.

4.2. Considerações finais sobre a experimentação

O sistema de ajuda foi muito importante e isso pode ser constatado com o baixo número de utilizadores que não conseguiram colaborar (8%). Esse sistema de ajuda conduz e não deixa o utilizador se perder durante o processo de colaboração. Verificou-se que os utilizadores que utilizaram o tutorial de uso e o sistema de ajuda utilizaram mais funcionalidades do sistema, como uso do zoom, fórum, sistema de avaliação, dentre outros. Com isso, provavelmente as colaborações obtiveram um maior nível de precisão com grande chance de produzirem VGI com mais qualidade.

O selo de conquista foi o método que mais se destacou no sistema. Como foi visto, a página que exibe as informações de como conquistar os selos foi acessada 31 vezes e alguns utilizadores deram o retorno informando que ficaram satisfeitos por terem conseguido conquistar os selos. Portanto, além de motivar a colaboração de forma correcta, os selos permitiram conhecer o perfil do colaborador e inferir o nível de qualidade de suas colaborações.

O uso de palavras-chave também foi bem aceito pelos utilizadores. A maioria das colaborações recebeu pelo menos uma palavra-chave. Com isto, facilitou-se o processo de busca por uma informação e permitiu que os utilizadores informassem categorias diferentes das disponibilizadas pelo sistema. Daí, melhorou-se o nível de rastreabilidade de uma informação e este é um dos atributos que está relacionado à qualidade VGI.

O intervalo de tempo entre colaborações mostrou-se eficaz quanto ao bloqueio de vandalismos em sistema VGI. Um utilizador foi bloqueado por fazer a mesma colaboração várias vezes e outros desistiram de poluir o sistema quando foram quase bloqueados, ou seja, se fizessem mais uma colaboração naquele intervalo de tempo seriam bloqueados. Por fim, o tratamento de texto mostrou ser um método indispensável para qualquer sistema VGI. Ele corrigiu várias palavras que não foram acentuadas, adicionou ponto ao final da sentença, removeu espaços em branco e pontuações redundantes dentre outras. Com isso, melhorou-se a legibilidade da informação aumentando o nível de qualidade VGI.

5. Conclusões

O aumento da produção e colecta de VGI tem aumentado a preocupação quanto à qualidade desses dados e, consequentemente, das informações obtidas a partir de sua análise. De fato, muitos trabalhos mostram que os sistemas VGI necessitam de métodos relacionados à qualidade das colaborações. Porém, não basta apenas propor novos métodos, deve-se realizar uma avaliação quanto à utilidade dos métodos existentes no contexto VGI.

Esse trabalho avaliou a utilidade dos novos métodos de qualidade adicionados por Câmara et al. (2016) à plataforma ClickOnMap. Para avaliar a utilidade dos novos métodos um estudo de caso foi realizado, envolvendo o desenvolvimento de um sistema VGI sobre desperdício de água, configurado a partir da ClickOnMap. Todos os métodos mostraram resultados positivos, como pode ser visto na secção anterior, porém, algumas melhorias podem ser feitas para aprimorar esses métodos. Por exemplo, o método Intervalo entre as colaborações deve investigar o motivo de um grande número de colaborações em um curto intervalo de tempo antes de bloquear um utilizador. Pode ser que o utilizador não tenha entendido correctamente o processo de colaboração, o site não esteja respondendo correctamente ou o utilizador tenha pressionado o botão enviar várias vezes consecutivas sem a intenção de realizar a colaboração diversas vezes. Dessa forma, pode-se mostrar mais avisos ou encaminhar o utilizador ao Tutorial de uso antes de bloqueá-lo.

Outra melhoria que pode ser feita é em relação aos métodos Tutorial de uso e Sistema de ajuda. Para esses métodos deve-se identificar directrizes para fornecer aos utilizadores tutoriais e sistemas de ajuda mais precisos. Quanto ao método Selos de conquistas, técnicas de validação podem ser desenvolvidas para garantir que realmente os selos retratem as habilidades dos utilizadores. Além disso, deve-se realizar um estudo a fim de verificar se os utilizadores que recebem mais selos de conquistas, ou algum selo de conquista específico, realmente estão realizando colaborações com um nível de qualidade maior do que os utilizadores que recebem menos selos.

A ClickOnMap suporta facilmente a implementação e configuração de novos métodos de melhoria de qualidade VGI de forma rápida e fácil para os programadores. Além disso, todos os métodos disponibilizados pela ferramenta podem ser configurados e adaptados de acordo com a temática e políticas do sistema VGI que será criado por esse software. Assim, os sistemas VGI que são criados a partir da ClickOnMap tendem a receber dados com maior qualidade do que os sistemas VGI que não utilizam esses métodos. Os resultados mostraram que os novos métodos adicionados à ClickOnMap ajudaram a melhorar o nível de qualidade VGI dos sistemas desenvolvidos com o auxílio dessa plataforma. Sendo assim, alguns desses métodos poderiam ser inseridos em outros sistemas VGI como, por exemplo, o OpenStreetMap.

 

REFERÊNCIAS

Antoniou, V., & Skopeliti, A. (2015). Measures and indicators of VGI quality: An overview. ISPRS annals of the photogrammetry, remote sensing and spatial information sciences, 2, 345. DOI: 10.5194/isprsannals-II-3-W5-345-2015.         [ Links ]

Barron, C., Neis, P., & Zipf, A. (2014). A comprehensive framework for intrinsic OpenStreetMap quality analysis. Transactions in GIS, 18(6), 877-895.         [ Links ]

Batini, C., Cappiello, C., Francalanci, C., & Maurino, A. (2009). Methodologies for data quality assessment and improvement. ACM computing surveys (CSUR), 41(3), 16. DOI: 10.1145/1541880.1541883.         [ Links ]

Bishr, M., & Kuhn, W. (2007). Geospatial information bottom-up: A matter of trust and semantics. In The European information society (pp. 365-387). Springer, Berlin, Heidelberg. DOI: 10.1007/978-3-540-72385-1_22.         [ Links ]

Bordogna, G., Carrara, P., Criscuolo, L., Pepe, M., & Rampini, A. (2014). A linguistic decision making approach to assess the quality of volunteer geographic information for citizen science. Information Sciences, 258, 312-327. DOI: 10.1016/j.ins.2013.07.013.         [ Links ]

Brovelli, M. A., Minghini, M., Molinari, M., & Mooney, P. (2017). Towards an automated comparison of OpenStreetMap with authoritative road datasets. Transactions in GIS, 21(2), 191-206. DOI: 10.1111/tgis.12182.         [ Links ]

Câmara, J. H. S., Lisboa-Filho, J., Souza, W. D., & Pereira, R. O. (2016). Quality Attributes and Methods for VGI. In International Conference on Computational Science and Its Applications (pp. 306-321). Berlin: Springer, Cham. DOI: 10.1007/978-3-319-42111-7_24.         [ Links ]

Costa, L. S., Oliveira, I. L., Moreira, A., & Lisboa-Filho, J. (2019). A Proximity-Based Semantic Enrichment Approach of Volunteered Geographic Information: A Study Case of Waste of Water. Information, 10(7), 234. DOI: 10.3390/info10070234.         [ Links ]

Elia, A., Balbo, S., & Boccardo, P. (2018). A quality comparison between professional and crowdsourced data in emergency mapping for potential cooperation of the services. European Journal of Remote Sensing, 51(1), 572-586. DOI: 10.1080/22797254.2018.1460567.         [ Links ]

Fan, H., Yang, B., Zipf, A., & Rousell, A. (2016). A polygon-based approach for matching OpenStreetMap road networks with regional transit authority data. International Journal of Geographical Information Science, 30(4), 748-764.         [ Links ]

Flanagin, A. J., & Metzger, M. J. (2008). The credibility of volunteered geographic information. GeoJournal, 72(3-4), 137-148. DOI: 10.1007/s10708-008-9188-y.         [ Links ]

Fogliaroni, P., D’Antonio, F., & Clementini, E. (2018). Data trustworthiness and user reputation as indicators of VGI quality. Geo-spatial Information Science, 21(3), 213-233. DOI: 10.1080/10095020.2018.1496556.         [ Links ]

Fonte, C. C., Antoniou, V., Bastin, L., Estima, J., Arsanjani, J. J., Bayas, J. C. L., ... & Vatseva, R. (2017). Assessing VGI data quality. Mapping and the citizen sensor, 137-163.         [ Links ]

Georgiadou, Y., Bana, B., Becht, R., Hoppe, R., Ikingura, J., Kraak, M. J., ... & Miscione, G. (2011). Sensors, empowerment, and accountability: a Digital Earth view from East Africa. International journal of digital earth, 4(4), 285-304. DOI: 10.1080/17538947.2011.585184.         [ Links ]

Goodchild, M. F. (2007). Citizens as sensors: the world of volunteered geography. GeoJournal, 69(4), 211-221. DOI: 10.1007/s10708-007-9111-y.         [ Links ]

Goodchild, M. F., & Li, L. (2012). Assuring the quality of volunteered geographic information. Spatial statistics, 1, 110-120. DOI: 10.1016/j.spasta.2012.03.002.         [ Links ]

Haklay, M., & Weber, P. (2008). Openstreetmap: User-generated street maps. IEEE Pervasive Computing, 7(4), 12-18. DOI: 10.1109/MPRV.2008.80.         [ Links ]

Haklay, M. (2010). How good is volunteered geographical information?: A comparative study of OpenStreetMap and Ordnance Survey datasets. Environment and planning B: Planning and design, 37(4), 682-703.         [ Links ]

Hung, K. C., Kalantari, M., & Rajabifard, A. (2016). Methods for assessing the credibility of volunteered geographic information in flood response: A case study in Brisbane, Australia. Applied Geography, 68, 37-47.         [ Links ]

Jonietz, D., Antonio, V., See, L., & Zipf, A. (2017). Highlighting current trends in volunteered geographic information. International Journal of Geo-Information, 6(7), 202. DOI: 10.3390/ijgi6070202.         [ Links ]

Krumm, J., Davies, N., & Narayanaswami, C. (2008). User-Generated Content. IEEE Pervasive Computing, 7(4), 10-11. DOI: 10.1109/MPRV.2008.85.         [ Links ]

Neis, P., & Zielstra, D. (2014). Recent Developments and Future Trends in Volunteered Geographic Information Research: The Case of OpenStreetMap. Future Internet, 6(1), 76-106. DOI: 10.3390/fi6010076.         [ Links ]

Senaratne, H., Mobasheri, A., Ali, A. L., Capineri, C., & Haklay, M. (2017). A review of volunteered geographic information quality assessment methods. International Journal of Geographical Information Science, 31(1), 139-167. DOI: 10.1080/13658816.2016.1189556.         [ Links ]

Severinsen, J., de Roiste, M., Reitsma, F., & Hartato, E. (2019). VGTrust: measuring trust for volunteered geographic information. International Journal of Geographical Information Science, 33(8), 1683-1701.         [ Links ]

Soden, R., & Palen, L. (2014). From crowdsourced mapping to community mapping: The post-earthquake work of OpenStreetMap Haiti. In COOP 2014-Proceedings of the 11th International Conference on the Design of Cooperative Systems, 27-30 May 2014, Nice (France) (pp. 311-326). Springer, Cham. DOI: 10.1007/978-3-319-06498-7_19.

Souza, W. D., Lisboa-Filho, J., Vidal-Filho, J. N., & Câmara, J. H. S. (2013). DM4VGI: A template with dynamic metadata for documenting and validating the quality of Volunteered Geographic Information. In Proceedings of the 14th Brazilian Symposium on Geoinformatics - GeoInfo (pp. 1-12).

Souza, W. D., Lisboa-Filho, J., Câmara, J. H. S., Vidal-Filho, J. N., & Oliveira, A. P. (2014). ClickOnMap: a framework to develop volunteered geographic information systems with dynamic metadata. In International Conference on Computational Science and Its Applications (pp. 532-546). Berlim: Springer, Cham.         [ Links ]

Yurieff, K. (2017). Florida and Google Maps team up to mark road closures due to Irma. Retrieved from: https://money.cnn.com/2017/09/08/technology/google-maps-hurricane-irma/index.html         [ Links ]

Zielstra, D., & Hochmair, H. H. (2013). Positional accuracy analysis of Flickr and Panoramio images for selected world regions. Journal of Spatial Science, 58(2), 251-273. DOI: 10.1080/14498596.2013.801331.         [ Links ]

Zook, M., Graham, M., Shelton, T., & Gorman, S. (2010). Volunteered geographic information and crowdsourcing disaster relief: a case study of the Haitian earthquake. World Medical & Health Policy, 2(2), 7-33. DOI: 10.2202/1948-4682.1069.         [ Links ]

 

Agradecimentos

Projecto parcialmente financiado pela Fapemig - Fundação de Amparo à Pesquisa do Estado de Minas Gerais.

 

Notas

^[1] Pode ser consultado em http://www.gotadaguaufv.com.br

 

Recebido/Submission: 26/07/2019

Aceitação/Acceptance: 20/10/2019