Mesmo com essas diversas metodologias desenvolvidas, Hockings et al. (2015) afirma que ainda são poucos os países ou agências que estão avaliando com periodicidade regular o nível de efetividade das áreas protegidas. Autores como Leverington et al. (2010); Stoll-Kleemann (2010); Nelson e Chomitz (2011), Geldmann et al. (2014) e Silva (2016) ressaltam que essas ferramentas diferem entre si, em relação a abordagem conceitual, aos objetivos de aplicação, a forma de aplicação, a área de abrangência, aos indicadores, aos critérios de análise, a forma e aos softwares utilizados para o cálculo de efetividade.

Observa-se que estes e outros estudos relacionados com a avaliação da efetividade de UCs, reforçaram que seria altamente vantajoso sintetizar informações específicas do local, para obter maior compreensão dos fatores de sucesso nas abordagens de conservação e integrar estudos em nível local. Entretanto, segundo o WWF (2017), definir até que ponto as UCs ou o sistema destas são efetivos, tem sido uma árdua tarefa expressada pela aplicação de diversas ferramentas.

Para Geldmam et al. (2017) os métodos de avaliação da efetividade das áreas protegidas em geral, demonstram que há boas evidências de que esses territórios conservam o habitat florestal, mas que ainda são inconclusivas a contribuição destas, sobre os impactos socioeconômicos associados a gestão das mesmas. Para tanto, é preciso alterar o foco, pois a avaliação do impacto aborda o fim, não os meios da conservação da natureza.

Diante desses novos métodos e pressupostos científicos, observa-se a necessidade do desenvolvimento de análises mais precisas sobre a realidade. Tendo em vista que métodos mais modernos, permitem um menor esforço físico/monetário e com resultados mais precisos, fato de grande importância diante dos poucos recursos destinados aos gestores e da necessidade de respostas rápidas para a sociedade (PADUA e CHIARAVALLOTI, 2012).

Segundo Silva (2016), essas metodologias devem utilizar modelos empíricos robustos, com um conjunto amplo de dados para estimar os efeitos que as áreas protegidas têm sobre os resultados ambientais e sociais. Essa simples, mas complexa diferença possilita alcançar segundo a autora a construção de um sistema efetivamente representativo e manejado, além de apresentar uma forma de se verificar que o investimento de tempo e esforço, na criação e gestão dessas áreas resultam nos benefícios que a sociedade procura.

 A autora ainda ressalta, que para o desenvolvimento de metodologias para a avaliação da efetividade de UCs, o marco conceitual deve ser utilizado como ponto de partida para adaptação das metodologias existentes, combinando diferentes procedimentos e abordagens. A seguir analisa-se as metodologias de avaliação de efetividade mais reproduzidas no Brasil, considerando seus avanços, limitações, indicadores e procedimentos metodológicos.

2.1. Rapid Assessment Priorization Protected Area – RAPPAM

No Brasil de acordo com Banzato (2014), o ICMBio avaliou o nível da efetividade de 260 UCs federais em 2005/2006 e em 2010, a avaliação foi replicada com base nessa metodologia, abrangendo 292 UC. Já em 2015, o estudo alcançou 260 federais e estaduais (110 unidades de conservação federais, 39 de proteção integral e 71 de uso sustentável, já no âmbito estadual, o RAPPAM foi aplicado em 40 unidades (19 de proteção integral, 20 de uso sustentável e no mosaico, Mosaico Apuí no Amazonas) (WWF, 2017).

De acordo com Silva (2016), o método RAPPAM é adequado para análise integrada do conjunto de áreas, entretanto o método não foi elaborado para gerar orientações específicas para cada gestor de unidade. O índice criado é expresso como um índice percentual, equivalente a um valor proporcional da efetividade de gestão observada em relação à efetividade máxima.

O RAPPAM estruturou-se a partir da aplicação de questionários em oficinas participativas, com foco nos gestores das UCs; equipe técnica da sede do ICMBio; consultores especializados na metodologia e equipe técnica do WWF-Brasil. Este índice é calculado com base nos resultados destes elementos, ponderados pela pontuação máxima possível para esse conjunto de respostas realizada por pessoal selecionado, como pontos focais nas regionais do ICMBio e nos estados participantes do Programa de Áreas Protegidas da Amazônia - ARPA (WWF, 2017). Para construção do índice foram sistematizadas através da capacitação dos pontos focais; preenchimento dos questionários, com apoio dos pontos focais para sistematização dos questionários e apresentação dos resultados.

Silva (2016) ressalta que a pressão foi avaliada, com base na ocorrência de impactos negativos que influenciaram a integridade da UC, considerando a probabilidade de ameaças ocorrerem no curto prazo. Outro fator considerado foi o grau de permanência (tempo em anos de persistência das pressões e das ameaças) e o nível de severidade que essas pressões e ameaças são percebidas pelo gestor da UC. O nível de criticidade, foi mensurado a partir da multiplicação da pontuação dos atributos abrangência, impacto e permanência das pressões ou ameaças. Basicamente, as análises das pressões e ameaças se baseiam na identificação de sua ocorrência, tendência, extensão, grau de impacto e permanência. Posteriormente, estes dados são hierarquizados em uma escala de pontuação graduada, onde se estabeleceu o nível de efetividade (baixa, média e alta) (ICMBIO, 2011).

A valoração da efetividade de gestão, é obtida pela soma das respostas de cada um dos módulos que compõem esses elementos. Segundo a metodologia aplicada, observou-se que entre as UCs de proteção integral analisadas entre 2005 a 2015, houve um aumento na efetividade de gestão na faixa média de classificação de 41% para 54%. Em relação as UCs de uso sustentável, o nível de efetividade aumentou de 2005 (35%) para 2015 (56%).

Segundo o WWF e Semarh-GO (2014), esse método pode auxiliar na identificação das áreas que precisam de estudos mais detalhados, identificando os pontos fortes e fracos do manejo; avaliar as características e a distribuição das diversas ameaças e pressões; identificar áreas de alta importância socioecológica e vulnerabilidades; indicar prioridades na gestão das UCs e nas intervenções políticas para o desenvolvimento de ferramentas de monitoramento local, além de fornecer critérios para a elaboração de indicadores específicos.

Entretanto para Marinelli (2011), essa metodologia apresenta limitações, por restringir a correlação entre os aspectos socioeconômicos e socioculturais. Para Júnior e Agra Filho (2015) a aplicação do RAPPAM visa o estabelecimento de prioridades para o planejamento, sendo assim, os autores desaconselham que essa metodologia seja aplicada sobre áreas protegidas de forma isolada, dado o seu alto poder de comparação decorrente da generalização dos indicadores utilizados para aferir o grau de efetividade de cada elemento indicado pelo UICN-WCPA. Outro fato limitante segundo Banzato (2014), se refere as aplicações do questionário, focados no chefe da UC, o que não possibilita a visualização completa da gestão.

2.2. Management Effectiveness Tracking Tool – METT

Aplicado em cerca de oitenta e cinco países, o METT foi desenvolvido pela parceria entre Banco Mundial e WWF. Atualmente é utilizado principalmente por agências e ONGs, como um instrumento para identificar necessidades, restrições e ações prioritárias para melhorar a eficácia da gestão de áreas protegidas na Europa, Ásia, África e América Latina, principalmente em áreas de atuação do Banco Mundial (STOLTON et al., 2007; JÚNIOR e AGRA FILHO, 2015).

Juntamente com o RAPPAM, a metodolgia do METT está entre as mais utilizadas em nível mundial. Ambas as metodologias foram baseadas em conhecimentos especializados e avaliações qualitativas, especialmente com ênfase na avaliação rápida (SILVA, 2016). Em outro contexto, o METT foi estruturado para permitir maior eficiência na prestação de contas quanto aos investimentos realizados, enquanto que o RAPPAM, possui o foco no fornecimento de informações para a priorização e alocação de recursos.

De acordo com Júnior e Agra Filho (2015) o método METT, fornece a possibilidade de acompanhamento do progresso da efetividade de gestão ao longo do tempo. Mais do que para comparar áreas protegidas, a metodologia revela tendências, aspectos favoráveis e fraquezas. Além disso, os autores ressaltam que a estrutura do questionário, torna seu preenchimento simples e rápido, o que possibilitou uma grande quantidade de avaliações e consolidação do banco de dados, sobre as tendências internacionais na gestão de áreas protegidas.

De acordo com Stoll-Kleemann (2010), quanto à efetividade o METT produz resultados contraditórios ao RAPPAM. Isso se deve, a aspectos ligados a abordagem desses métodos, principalmente, considerando as informações baseadas nos gestores das unidades no que diz respeito as singularidades territoriais e o contexto local e regional.

2.3. Sistema de Indicadores Socioambientais de Unidades de Conservação (SISUC)

Desenvolvida pelo Instituto Socioambiental – ISA, o SISUC é uma metodologia de avaliação e monitoramento estratégico de UCs. Este método segue uma abordagem socioambiental, adotando conceitos práticos, além de seguir princípios como multiplicidade, integrabilidade, complementaridade, comunicabilidade, transparência e continuidade. Esse sistema, adota indicadores de processos socioambientais e busca a integração com a comunidade local, através de fóruns participativos (MARINELLI, 2011).

Criado em 2008, como uma ferramenta para auxiliar a gestão das UCs, sua aplicação se deu inicialmente na região norte do País, junto aos conselhos destas unidades (SILVA, 2016). A metodologia foi aplicada inicialmente nas UCs de uso sustentável e proteção integral das áreas protegidas do baixo rio Negro, no estado do Amazonas.  A metodologia estrutura-se em seis etapas: qualificação de indicadores construídos no workshop; construção de protocolo de aplicação da metodologia; aplicação-piloto do protocolo; avaliação da metodologia; análise de resultados e definição de protocolo.

A dimensão econômica utiliza-se indicadores referentes à produção agroextrativista e consumo local; sociocultural foca no bem-estar humano como aspectos relacionados a saúde, segurança, nível de satisfação sobre a vida e o envolvimento na organização local; ambiental com alvo nos serviços e na conservação ambiental, considerando práticas de manejo, alterações ambientais, situação da biodiversidade e iniciativas de recuperação ambiental. Além de indicadores ligados a gestão, que relacionam as ações de gestão pública e da sociedade, assim como a efetivação de políticas públicas.

Com a finalidade de representar os vetores resultantes de interações entre variáveis socioambientais, a metodologia engloba 29 indicadores distribuídos em 4 categorias, economia (5), meio ambiente (7), sociocultural (8) e gestão de UC (9). As informações são obtidas através de questionários aplicados com os membros do Conselho da UC, diferenciando do RAPPAM nesse aspecto, mas igualmente baseia-se na percepção e subjetividade dos respondentes, ponderados nesta ferramenta pela percepção do Conselho Gestor (SILVA, 2016).

Entretanto, ressalta-se que os indicadores construídos apresentam baixa capacidade de reprodução, resultando em um elevado custo para a coleta de dados, o que dificulta a avaliação de forma sistêmica e com periodicidade relevante. Outra questão identificada em estudo desenvolvido pela autora supracitada, refere-se a metodologia, que mesmo buscando grande participação popular, reproduções da metodologia registraram reduzida participação dos conselheiros nas oficinas. A partir dessa realidade considera-se que participar de reuniões públicas representa custos não só para o setor público, mas para os indivíduos, bem como investimento de tempo. Não ponderar sobre esses elementos, propicia a redução considerável da participação popular, que demanda definições e o retorno por parte dos órgãos públicos.

2.4. Grau de implementação e vulnerabilidade de unidades de conservação

A metodologia de avaliação do nível de efetividade das UCs foi implementada no Brasil em 1998, organizada pela WWF- Brasil, com a finalidade de analisar a situação de todas as unidades de conservação federais de uso indireto com mais de 6 anos de criação, sendo 86 (oitenta e seis) unidades analisadas, entre elas: Estações Ecológicas, Parques Nacionais, Reservas Biológicas, Reserva Ecológica (WWF, 2000). As instituições responsáveis pelo estudo, formaram uma equipe conjunta para planejar e gerenciar a avaliação.

Foram selecionados oito indicadores-chave para mensurar a implementação das áreas protegidas: situação fundiária; demarcação de fronteira; existência de plano de manejo; presença ou ausência de atividades ilegais dentro da área protegida; orçamento recebido em relação ao orçamento solicitado; número de pessoal; adequação dos equipamentos e infra-estruturas.

Dois workshops conjuntos foram realizados com a participação de técnicos do WWF e do IBAMA, além de especialistas convidados. O estudo avaliou a situação das UCs federais de uso indireto, determinando a extensão dos problemas e a priorização das ações. Para tanto, foram selecionados cinco indicadores para medir a vulnerabilidade da área protegida: grau de fragmentação; percentual de área degradada dentro da área protegida; exploração ilegal de recursos intra UC e presença de grandes projetos na zona de entorno (LEMOS DE SÁ, 2000).

Ressalta-se que todos os dados coletados, foram cedidos por gestores das unidades através do preenchimento de questionários. Como a maior parte das questões são quantitativas, reduz-se a subjetividade das respostas, além de permitir uma melhor padronização das mesmas.

As análises da implementação e da vulnerabilidade, foram utilizadas para preparar uma "matriz de risco" que agrupa a conservação de acordo com as classificações e o grau de risco de cada área (HOCKINGS et al., 2000). De acordo com o WWF (2000), a pontuação de cada resposta do formulário de coleta varia de 0 a 4, usando-se o seguinte critério (resposta 1 equivalente a 4 pontos, resposta 2 equivalente a 3 pontos, resposta 3 equivalente a 2 pontos, resposta 4 equivalente a 1 ponto e resposta 5 equivalente a 0 ponto). O grau de implementação e de vulnerabilidade das unidades de conservação, foi obtido pela média aritmética das questões respondidas no formulário.

O relatório ressalta ainda, que não há qualquer unidade de conservação federal de uso indireto no Brasil plenamente implementada. O estudo complementa afirmando que 62% das UCs no Brasil, apresentam uso incompatível com a finalidade prevista em lei. Enquanto que 45% destas, possuem menos da metade dos recursos financeiros necessários para a sua implementação, 28% não possuem infraestrutura adequada e igual percentual têm menos da metade de sua área regularizada.

Lemos de Sá et al. (2000), afirma que este estudo marca o início de uma análise padronizada da situação real das UCs federais do Brasil, gerando dados que poderão servir de guia para ações concretas de conservação da biodiversidade, bem como permitir a otimização do monitoramento dessas áreas, a partir de futuros estudos. Os autores ressaltam que essa metodologia também pode ser aplicada em UCs estaduais e municipais, ampliando a abrangência do trabalho.

Contudo para Mori e Christodoulou (2012), o estudo desenvolvido pela WWF apresenta limitações no formulário em relação à coleta de dados referentes a biodiversidade, tendo em vista que este parâmetro não possui uniformidade entre as UCs. Se essa informação fosse coletada de forma sistemática através da metodologia empregada, haveria elevação dos custos da coleta de dados e inviabilização do estudo.

Outro fator limitante identificado, foi a divergência identificada entre as informações obtidas no ICMBio de Brasília e do chefe da unidade local, além das diferenças de interpretação de cada gestor ao responder as perguntas. Lemos de Sá et al. (2000) complementa, afirmando que alguns membros do IBAMA responderam de forma defensiva, observando que havia um foco na sua gestão e não nas difíceis circunstâncias enfrentadas pelos gerentes de áreas protegidas no Brasil. Portanto, é possível que algumas respostas tenham sido superestimadas ou mesmo subestimadas (WWF, 2000).

O estudo de certificação do manejo de áreas protegidas, foi estruturado por meio da coleta de dados sistemática sob aspectos ambientais, sociais, econômicos e institucionais. Com o objetivo de desenvolver e consolidar uma ferramenta capaz de avaliar o nível de efetividade das UCs. Para Padovan (2003), o estudo possibilita aos administradores das UCs públicas ou privadas, as bases para orientar a tomada de decisões e guiar o manejo da área de forma compatível com os usos permitidos para a categoria de manejo, através de monitoramento sistemático, contribuindo para a profissionalização da gestão e para o manejo adaptativo.

O primeiro teste da metodologia de estudo ocorreu em três áreas protegidas: Reserva Biológica de Monteverde na Costa Rica; Reserva da Biosfera do Rio Plátano, em Honduras; e Parque Nacional de Tikal, na Guatemala, posteriormente este método de avaliação foi aplicado em UCs inseridas na Mata Atlântica e no nordeste brasileiro. Para Cifuentes e Izurieta (1999), a metodologia em análise possibilita aplicação regular por parte do poder público, por ser de simples aplicação, além de ser baseada em um sistema de pontuação desenvolvido para atender as necessidades especiais das áreas protegidas na América Latina.

O estabelecimento da pontuação na metodologia, permite a comparação entre cenários e o desenvolvimento do processo de evolução. Isso possibilita o reconhecimento dos pontos fortes e fracos dos modelos de gestão instituídos. Ressalta-se que este processo de certificação utiliza parâmetros de referência previamente estabelecidos, definindo os níveis de desempenho que a UCs devem cumprir, de acordo com o seu instrumento de criação, a categoria de manejo e os objetivos estabelecidos pela UICN/WCPA.

2.6. Sistema de Análise e Monitoramento de Gestão - SAMGe

Aplicada pelo ICMBio, essa metodologia analisa o nível da efetividade das UCs com base nos elementos de Contexto, Produtos e Serviços e Resultados. Já a análise de gestão inter-relaciona o impacto com os elementos Planejamento, Insumos e Processos (WWF, 2017). De acordo com o ICMBio (2015) a ferramenta sugere a criação de cenários (econômicos, sociais, conservação e manejo) dos impactos positivos e negativos, com atribuição de valores.

A aplicação do SAMGe, conseguiu obter respostas de 168 unidades. Já no processo de consolidação das informações, 12 UCs não foram consideradas por não conterem informações essenciais para análise mínima, sendo então contabilizadas 156 unidades, correspondendo a 48,75% das UC Federais (WWF, 2017). O estudo identificou que de modo geral, os usos que mais influenciam negativamente o nível de efetividade são os que advêm do uso de fauna (caça ilegal) e do uso de recurso abiótico (extração mineral).

Entre as limitações identificadas no estudo, está a necessidade de maior envolvimento dos gestores com o SAMGe. A reduzida participação dos gestores, pode ser resultado de uma série de fatores: a falta de comunicação entre o ponto focal e gestor da UC, a deficiência no material de orientação, a falta de interesse por parte dos gestores, a falta de crença na continuidade ou efetividade de processos institucionais no geral (WWF, 2017).

De modo geral observa-se que os métodos analisados, são avaliações baseadas principalmente em dados primários de alta subjetividade, coletados por meio de questionários aplicados por meio eletrônico ou por workshops. Estes métodos também apresentam dificuldade em estabelecer correlação entre indicadores mensuráveis e os não mensuráveis. Outra questão, a considerar é a disponibilidade de recursos financeiros que influencia diretamente na qualidade dos resultados da avaliação, devido à natureza altamente flexível na implementação das metodologias (STOLL-KLEEMANN, 2010).

Entretanto, a simples avaliação de eficácia da gestão através da aplicação de indicadores e índices, embora necessária, poderá não ser suficiente para atingir os objetivos da área protegida. Para tanto, o envolvimento e as contribuições de vários grupos de partes interessadas podem ser cruciais. Os resultados da avaliação precisam ser considerados e integrados no processo de gestão, para tornar as áreas protegidas mais eficientes (STOLL-KLEEMANN, 2010).

3. Considerações

No presente trabalho foi possível observar que mesmo com as mais diversas limitações metodológicas e conceituais, o uso de indicadores e índices para avaliação e planejamento de políticas públicas, vem passando por avanços e podem possibilitar importantes subsídios e efeitos positivos para a otimização do planejamento e gestão de políticas em escalas local, regional e global.

Em linhas gerais a construção das metodologias analisadas, possuem o objetivo de estruturar sistemas que possibilitem a articulação do monitoramento, levando em consideração determinantes e condicionantes ambientais, socioeconômicos e culturais. O intuito no fim, é representar a realidade de forma sintética, em diferentes níveis e dimensões. Entretanto, deve-se entender que o efeito das áreas protegidas sobre os valores de conservação só podem ser avaliado ao longo do tempo.

Embora as metodologias analisadas separem a dimensão ambiental da social e econômica, por questão metodológica e conceitual, destaca-se a grande relevância em desenvolver analises de forma sistêmica sobre os indicadores, buscando entender as suas inter-relações e limitações estatísticas, que surgem das complexidades e singularidades entre o contexto local e o regional. 

Entre os fatores limitantes observados, está a escassez de informações e a descontinuidade na produção de dados estatísticos, o que não permite comparar o desempenho alcançado pelas UCs ao longo do tempo, somado a isso, nota-se grande subjetividade na seleção e ponderação dos indicadores. Outro fator a se destacar é o possível uso restrito dos indicadores em trabalhos acadêmicos e científicos sem o conhecimento dos gestores públicos ou da população, subutilizando as metodologias desenvolvidas, ou mesmo possibilitando seu uso para interesses políticos (MORAES et al., 2016).

Como indicação de pesquisa futura, sugere-se um estudo detalhado, visando à criação de um método com capacidade de mensurar os pontos carentes de ações e medidas necessárias à efetiva governança institucional, social, econômica e ambiental de forma a subsidiar a adoção de políticas públicas efetivas.

4. Referências bibliográficas