Português (pdf)
Artigo em XML
Referências do artigo
Tradução automática
Enviar este artigo por email
Citado por SciELO 
Similares em
SciELO 
Permalink
Introdução
Desde as últimas décadas do século XX tem-se assistido a um crescimento exponencial das atividades e influência das organizações do terceiro setor (OTS)1 em quase todos os países do mundo (e.g., Salamon e Sokolowski, 2018). Estas organizações, ocupando um espaço intermédio entre o estado, o mercado e a comunidade (Evers e Laville, 2004), desempenham uma multiplicidade de papéis/funções (Neumayr e Meyer, 2010), sendo descritas em diversos estudos comparativos do setor (e.g., John Hopkins, 2019) como uma força económica considerável, para além da sua importância social, cívica, política e cultural (Salamon, 2014; Santos et al., 2015). O terceiro setor europeu é responsável por quase 13% da força de trabalho europeia, contado com a terceira maior “força de trabalho” no conjunto da atividade económica na Europa (Salamon e Sokolowski, 2018).
Portugal não é alheio a esta tendência. Os diversos exercícios da quantificação do terceiro setor em Portugal revelam que, em termos gerais, o setor tem ganho uma importância crescente na economia, quer ao nível da geração de emprego e de fornecimento de produtos e serviços, quer em termos de receita, promovendo a dinamização social e económica do país. A análise de Ana Carvalho (2010) mostra que no espaço temporal de uma década, entre 1997 e 2007, o número total de organizações cresceu cerca de 90% e o nível de emprego no setor aumentou quase 85%. De acordo com a terceira edição da Conta Satélite da Economia Social (CSES), no ano de 2016, o terceiro setor português engloba um total de 71.885 organizações, que empregaram aproximadamente 234.886 pessoas, o que representa 6,1% do emprego total remunerado a nível nacional (INE e CASES, 2019).
As funções crescentes na provisão de bens e serviços e na criação de emprego em Portugal e na maioria dos países do mundo, assim como o reconhecimento por parte do estado (e de instâncias e organismos internacionais) das capacidades e potencialidades do terceiro setor no reforço da coesão social e económica, qualificam estas organizações como interlocutores e parceiras das políticas públicas (Almeida, 2011; Ferreira, 2012). Este posicionamento, sujeita-as a uma maior visibilidade e exposição ao escrutínio público por parte de diversos stakeholders - financiadores, reguladores, beneficiários/as e outros intervenientes.
Num contexto marcado por novos modelos de intervenção social emergentes do estado-providência ativo, baseados, nomeadamente, na abordagem por projeto e na partilha de responsabilidades pela realização dos objetivos com outros parceiros (Hespanha, 2008), a parceria com o estado carreia novas exigências de produção e de accountability, nomeadamente mediante o estabelecimento de requisitos de monitorização e avaliação das atividades. A orientação para a nova gestão pública no estado, prescrevendo uma cultura de resultados centrada no cumprimento de objetivos, intensificou este controlo, estendendo à relação entre o estado e as OTS novas exigências de qualidade na prestação dos serviços e requisitos de maior eficácia e eficiência na intervenção social (Ferreira, 2012).
Paralelemente, o amplo movimento no sentido da “comercialização” das atividades e da “profissionalização” da gestão (Hvenmark, 2013) que tem ocorrido no seio do próprio setor introduz dinâmicas no sentido de o tornar mais eficiente e racional, nomeadamente mediante a adoção de sistemas de gestão e medição do desempenho (Hwang e Powell, 2009). Estas forças combinam-se com a crescente popularidade do empreendedorismo social (Parente e Quintão, 2014) e da filantropia de risco (venture philantropy) (Moody, 2008), sendo que ambos se inspiram fortemente em métricas e práticas do setor empresarial.
Este artigo explora os tipos de representações e práticas de avaliação presentes nas organizações do terceiro setor a operar em Portugal, equacionando a influência de uma série de variáveis associadas ao contexto organizacional (interno e externo). Entendendo a avaliação no contexto das interações das organizações com os membros do seu ambiente, ressalto o seu enquadramento enquanto mecanismo de accountability2 e identifico dinâmicas de articulação entre accountability e aprendizagem organizacional.
Na primeira das quatro secções em que se estrutura este artigo, delineio quadros interpretativos da adoção de práticas de avaliação. Após delimitar o conceito e as modalidades de avaliação nas OTS, enquadro a avaliação no “movimento de accountability” (Murray, 2005), discuto a relevância do tipo de pressões que advêm do interior das organizações, e debato as principais perspetivas sobre a ligação entre avaliação e aprendizagem organizacional. Na segunda secção, são referenciadas as principais opções metodológicas do estudo: apresenta-se o modelo de análise, no qual se articulam, de forma mais operacional, os marcos e pistas teóricas e descrevem-se as fontes e estratégias de recolha e análise da informação. A terceira secção é dedicada à análise e discussão sobre a informação produzida e sistematizada, mediante a composição de perfis e modelos de avaliação nas OTS. São analisados os propósitos e motivações que presidem à adoção de práticas de avaliação e especificados padrões de utilização dos seus resultados, equacionando a influência do ambiente organizacional e de fatores de contingência associados à identidade e estrutura organizacionais, e perscrutando dinâmicas de accountability e de aprendizagem organizacional. Na quarta e última secção, discutem-se as implicações da análise e os contributos do estudo.
Quadros interpretativos da adoção de práticas avaliação: entre influências externas e internas
Delimitando o conceito e as modalidades de avaliação nas organizações do terceiro setor
Encontramos na literatura entendimentos sobre avaliação muito diversos consoante a área do conhecimento em que se inscrevem as discussões. Apesar de a sua construção enquanto conceito ser particularmente devedora dos contributos da teoria de avaliação (Scriven, 2013), o manancial e a filosofia da avaliação não se esgotam nas perspetivas radicadas na investigação em ciências sociais (Stockmann, 2011). Fora do campo da investigação social, proliferam conceitos e instrumentos originários da gestão empresarial - e.g., controlo, auditoria, benchmarking, balanced scorecard - que servem propósitos similares à avaliação, e que poderão ser vistos como uma simplificação das perspetivas e modelos encontrados na teoria sobre avaliação (de programas).
Para propósitos deste trabalho é, por isso, importante definir a avaliação de forma flexível e abrangente, de molde a apreender a multiplicidade de práticas conduzidas pelo setor, abdicando (parcialmente) das definições encontradas no campo formal da pesquisa em avaliação. Assim, a definição de avaliação adotada inclui atividades como avaliação de programas/projetos, análises de satisfação, análises de impacto, diagnóstico organizacional, medição dos desempenhos e outras atividades que apoiem as organizações do terceiro setor a ajuizar sobre o seu desempenho.
Refletidas numa grande diversidade de análises (e.g., Capucha et al., 1996; Monteiro, 1996; Cutt e Murray, 2000), as modalidades que os processos de avaliação podem assumir são muito variáveis quanto aos objetivos, aos intervenientes, à dimensão dos objetos sobre os quais incidem e respetivas características, aos públicos-alvo, às estratégias e objetivos e aos produtos e metodologias. A avaliação das organizações do terceiro setor pode ser conduzida a diversos níveis ou escalas, nomeadamente à escala do sistema social, à escala organizacional e à escala de um projeto individual. A avaliação pode ainda diferir quanto ao âmbito de incidência ou conteúdo da análise avaliativa, podendo centrar-se na conceção (contexto e inputs), nos processos (atividades e realizações) e/ou nos efeitos (mudanças). Por fim, pode diferir quanto à orientação metodológica, para cuja análise é comummente trazida a distinção fundamental entre abordagens qualitativas e quantitativas, nas suas diferentes tradições em termos de produção e análise de informação, e de questões filosóficas adjacentes.
Relações de accountability e avaliação nas organizações do terceiro setor
A avaliação, entendida neste trabalho como a apreciação sistemática do valor das intervenções a partir de metodologias e critérios explícitos, tem sido tradicionalmente retratada como um instrumento racional que quem gere as OTS pode usar para recolher informações necessárias para tomar decisões sobre como melhorar as intervenções e atingir as metas organizacionais. No entanto, diversas análises têm feito notar que, as organizações ou atores utilizam a avaliação com fins muito diversos e que não se circunscrevem ao suporte à tomada de decisão, designadamente para satisfazerem necessidades/interesses de quem as financia e outros stakeholders, para demonstrarem competência, para alcançarem legitimidade e para obterem financiamento (e.g., Arvidson e Lyon, 2014; Mitchell, 2014). Estas análises ressaltam o caráter relacional da avaliação, que passa a ser vista como um mecanismo de accountability.
Em essência, accountability significa ser responsável perante determinada parte, por um desempenho esperado (Bies, 2010: 1061). Enquanto a visão estrita do conceito se centra na accountability “legal”, vinculada a uma responsabilidade formal de reporte, a visão ampla refere-se a uma accountability “moral” vinculada ao sentido de obrigação informal perante outros/as (Kearns, 1996: 41). Procurando expandir o conceito, Edwards e Hulme (1996: 967) distinguem accountability ascendente de accountability descendente. Enquanto a primeira é feita a entidades financiadoras e agências reguladoras, a segunda é feita a membros, utilizadores e comunidade em geral. Najam (1996) destaca ainda uma terceira categoria, a de accountability perante si próprias, que diz respeito à responsabilidade das OTS perante a sua missão e pessoal, incluindo decisores/as e pessoal do terreno. Outra distinção útil é feita por Najam (1996: 351), entre accountability funcional e a accountability estratégica. A primeira é centrada no uso dos recursos, na visibilização de resultados a curto prazo (outputs) e na relação com os principais stakeholders; a segunda é centrada nos impactos mais amplos (na qualidade de vida das pessoas) e na relação com todos os stakeholders (incluindo parceiros e cidadãos/ãs).
No quadro 1, esquematizam-se as principais características associadas aos diversos tipos de accountability no que toca à sua indução (interna ou externa), aos principais atores perante quem as OTS se “responsabilizam”, e ao tipo de expetativas a que respondem, em termos de conteúdos.
Como salienta Ebrahim (2005: 58-59), as organizações estão envolvidas num processo complexo e contínuo de equilíbrio entre accountabilities que são conduzidas externamente (isto é, de cima para baixo) e aquelas que são geradas internamente.
Acolher o caráter relacional da avaliação abre caminho a uma perspetiva mais ampla de compreensão destas práticas no contexto das OTS, pois permite levar em linha de conta as pressões ambientais e institucionais. De entre um amplo espectro de perspetivas e teorias que têm sido mobilizadas na literatura para enquadrar e explicar a adoção de sistemas de accountability nas OTS - e, mais concretamente, de avaliação (cf.Carman, 2011) -, destaca-se o contributo da teoria institucional. De acordo com esta teoria, cada ambiente institucional conta com pressões, regras, normas, requisitos e sanções a que as organizações têm que se conformar para receberem apoio e legitimidade. As pressões coercivas (produto das relações de poder e dependência que surgem dos processos de contratação com o estado), miméticas (quando as organizações se modelam umas às outras na resposta à incerteza) e normativas (relacionadas com os processos de profissionalização) compelem as organizações a conformar-se aos padrões e crenças convencionais, que são reforçados por forças institucionais locais (DiMaggio e Powell, 1983). As organizações poderão alcançar legitimidade ajustando-se estruturalmente às influências institucionais.
Fatores organizacionais internos como mediadores das pressões ambientais
Tem sido demonstrado que a adoção de práticas de avaliação não depende apenas da pressão e das condições do ambiente, mas também de fatores internos da organização, nomeadamente os associados à estrutura e cultura organizacionais (e.g., Barman e MacIndoe, 2012; Carvalho, Rodrigues e Branco, 2017), os quais atuam como mediadores da exposição às pressões ambientais.
A compreensão da diversidade de práticas e usos da avaliação nas OTS poderá ser, pois, informada por fatores contingenciais (Mintzberg, 1979), como as funções/papéis (tipos de atividade), dimensão/robustez financeira e a antiguidade. Por exemplo, a literatura tem sublinhado as respostas diferenciadas das organizações prestadoras de serviços e entidades de expressão de interesses ou advocacia em relação às expetativas do campo organizacional no que toca à avaliação (Eckerd e Moulton, 2011; Højlund, 2014). Estudos anteriores têm também feito notar as dificuldades acrescidas que se colocam às organizações de pequena dimensão para garantir recursos para avaliação que lhes permitam conformar-se às expetativas institucionais (Salamon, Geller e Mengel, 2010; Ógáin, Lumley e Pritchard 2012). Além disso, tem vindo a observar-se que a idade tem impacto na resposta das organizações às pressões do ambiente em mudança, sendo as organizações mais antigas mais influenciadas pelos “hábitos organizacionais” (Hwang e Powell, 2009; Barman e MacIndoe, 2012).
De entre as dimensões do contexto organizacional interno que têm vindo a ser apontadas como críticas no que toca avaliação destaca-se também a cultura organizacional, a qual compreende valores, ideias, crenças, pressupostos, normas, artefactos e padrões de comportamento compartilhados (Schein, 1996). Além do suporte da liderança das organizações (Hoole e Patterson, 2008), uma cultura organizacional favorável à condução de exercícios de avaliação vem sendo associada na literatura a uma atitude positiva das pessoas envolvidas nos processos de recolha e análise da informação. Para Torres e Preskill (2001), uma cultura de aprendizagem promove a assunção de risco, a aprendizagem a partir dos erros e um clima de confiança e encorajamento. Na mesma linha, Mayne (2010: 6-7) sustenta que uma cultura avaliativa forte exige um compromisso sério com processos de autorreflexão e autoanálise, bem como uma aprendizagem contínua baseada em evidências.
No enquadramento destas perspetivas, a cultura de avaliação numa organização está diretamente relacionada não só com as estruturas organizacionais de suporte à avaliação (Bourgeois et al., 2013), mas também com uma atitude individual e coletiva de compreensão, aceitação, promoção e valorização da avaliação enquanto processo contínuo de contributo para a mudança no sentido de melhoria da eficácia das organizações. Por outro lado, dada a natureza relacional da avaliação, a construção de uma cultura de avaliação apenas poderá ser entendida no contexto das interações das entidades do terceiro setor com os membros do seu ambiente organizacional (Ebrahim, 2005).
(Re)conciliando avaliação e aprendizagem organizacional
Numa perspetiva prática e normativa, para as avaliações serem úteis para as organizações é necessário encontrar formas sistemáticas de garantir que a informação reverta para a tomada de decisão. A aprendizagem, como tal, envolve a geração de conhecimento através do processamento de informação que depois será utilizada para mudar comportamentos (Ebrahim, 2005: 67). De acordo com esta utilização da aprendizagem, a simples geração de informação não é suficiente, devendo envolver também o uso do conhecimento no sentido de influenciar as práticas organizacionais (Dahler-Larsen, 2011).
Não obstante, os processos de aprendizagem são frequentemente sujeitos a uma série de processos sociais e institucionais que são interpretativos, simbólicos, imersos nas relações de poder (Ebrahim, 2005; Arvidson e Lyon, 2014). Conforme aludido acima, as avaliações podem ser realizadas com o propósito simbólico de legitimar atividades existentes, em vez de identificar áreas problemáticas para melhoria. Nesse caso, a avaliação assume um papel simbólico ou legitimador (em oposição ao propósito instrumental de aprendizagem organizacional), para atrair apoio ou satisfazer atores poderosos do meio ambiente, em linha com a descrição de DiMaggio e Powell (1983) de isomorfismo institucional.
Um desafio central para as OTS é encontrar um equilíbrio entre os mecanismos que respondem aos desígnios de accountabillity ascendente das entidades financiadoras e aos que respondem às necessidades dos membros e da comunidade, enquanto desencadeiam também mudanças positivas no comportamento organizacional (Ebrahim, 2005). Enquanto stakeholders-chave, as entidades financiadoras ou tutelares desempenham um papel fundamental na construção de uma cultura de avaliação no terceiro setor, mediante a sustentação de processos de avaliação potenciadores da aprendizagem organizacional (Hoole e Patterson, 2008; Thomson, 2011).
Desenho da investigação
Objetivos e dimensões de análise
Partindo dos contributos teórico-analíticos discutidos nos pontos anteriores, procuro compreender e enquadrar a adoção de práticas de avaliação nas OTS a operar em Portugal, identificando barreiras e oportunidades à construção de uma cultura de avaliação que as apoie no cumprimento das suas missões. No plano mais específico, e inspirada pelas tipologias de Bourgeois et al. (2013), Carman e Fredericks (2009) e Alaimo (2008), procuro identificar/compor perfis de avaliação nas OTS, com base num vasto conjunto de indicadores relativos a práticas e perceções sobre avaliação que informam a capacidade avaliativa das organizações e que resultam do modelo analítico de referência que se mobilizou nesta investigação.
Na figura 1 apresento a matriz do processo de produção de informação, explicitando, de forma sintética, as dimensões e subdimensões associadas à cultura avaliativa. Estas alicerçaram o trabalho de observação e análise dos contextos, discursos e práticas de avaliação, e sustentaram a definição de perfis organizacionais.
Fonte: Elaboração da autora.
Figura 1 Dimensões e subdimensões associadas à cultura avaliativa nas OTS
As duas primeiras dimensões remetem para a influência do contexto organizacional nas práticas de avaliação. A primeira diz respeito ao ambiente externo e centra-se nos requisitos e expetativas de accountability dos diversos stakeholders, particularmente das entidades financiadoras/tutelares, assim como na existência ou não de incentivos ou mecanismos de suporte e apoio técnico ou financeiro às organizações. Nesta dimensão são ainda explorados os efeitos das características organizacionais particularmente associadas ao contexto em que operam (perfil do financiamento e formas ou estatutos legais), assim como outras variáveis tradicionalmente associadas às influências miméticas e normativas do ambiente institucional (por exemplo, a pertença a plataformas/redes de organizações, ou posse de uma acreditação/certificação).
A segunda dimensão associa-se ao ambiente interno e é composta por quatro subdimensões. A primeira centra-se nas estruturas e meios pelos quais a avaliação se torna institucionalizada na organização (departamento ou estrutura interna própria dedicada à avaliação, diretrizes e regras comuns, …); a segunda nos recursos financeiros, técnicos e materiais disponíveis para a avaliação (orçamento para avaliação, pessoal dedicado à avaliação, conhecimentos e competências em avaliação, …); a terceira incide em elementos da cultura organizacional particularmente influentes na avaliação (nomeadamente o suporte da liderança e a recetividade dos membros da organização à avaliação); e a quarta remete para fatores contingenciais internos comummente associados à capacidade avaliativa (dimensão financeira, antiguidade, papéis desempenhados).
A terceira, quarta e quinta dimensões remetem mais diretamente para as conceções e práticas de avaliação, em termos das suas motivações, propósitos, abordagens metodológicas e usos. A terceira - conceções, propósitos e motivações - centra-se nos fatores explanatórios e modos de adoção de práticas de avaliação e na forma como eles são genericamente entendidos nas organizações. A quarta dimensão - atividades e processos de avaliação - incide na intensidade/abrangência das práticas de avaliação e no seu desenho metodológico (conteúdos/âmbitos de incidência, tipos de dados, agentes e participantes). Por fim, a quinta dimensão reenvia às consequências da avaliação e à forma como é usado o conhecimento produzido por esta, contemplando os tipos de usos da avaliação e, numa outra perspetiva, os tipos de accountability (interna/descendente/ascendente).
As fontes e estratégias de recolha e análise de informação
No enlace dos propósitos da pesquisa mobilizei um quadro metodológico que articula uma abordagem extensiva, crucial para o estabelecimento de padrões e tipologias de representações e práticas de avaliação, com uma abordagem intensiva, compreensiva dos discursos e das interações protagonizadas pelos diversos atores implicados na construção de uma cultura de avaliação no terceiro setor.
A abordagem intensiva
A abordagem intensiva está presente na análise interpretativa dos registos orais das entrevistas semiestruturadas realizadas a 45 atores sociais dos campos da avaliação e do terceiro setor em Portugal: (a) representantes (dirigentes ou técnicos) de 31 OTS3 (b) quatro dirigentes de plataformas representativas de OTS; (c) sete especialistas e profissionais de avaliação; (d) responsáveis de três entidades financiadoras (no âmbito de programas de financiamento públicos). Procurou-se, através de entrevista, envolver no estudo os principais atores-chave implicados na internalização da avaliação nestas organizações, seja pelo papel normativo e de autorregulação do setor (no caso das organizações de cúpula), ou pelo peso que têm tido no estímulo e configuração das abordagens de avaliação prosseguidas pelas organizações (sobretudo no caso das entidades financiadoras), seja pelo papel desempenhado na capacitação e suporte técnico ao setor (em todos os casos). A construção dos quatro guiões orientadores das entrevistas foi realizada de acordo com o quadro teórico-analítico do trabalho, embora numa perspetiva aberta, de modo a dar espaço à emergência de temas e categorias não previstas. Os diálogos foram conduzidos presencialmente ou por via telefónica e a duração média oscilou entre uma hora e uma hora e meia. A recolha de dados qualitativos carreou elementos essenciais para a seleção de questões e categorias de resposta do questionário às OTS e revelou-se também essencial na contextualização e interpretação dos resultados quantitativos que sustentaram a delimitação de modelos e perfis de avaliação. A força dos resultados das análises quantitativas foi associada com as descrições explanatórias aprofundadas obtidas através da análise conduzida a partir de entrevistas.
A abordagem extensiva
O exercício metodológico de tipo extensivo consistiu na aplicação de um inquérito por questionário online ao qual responderam representantes de 575 organizações portuguesas do terceiro setor. Na ausência de uma base de dados consolidada que correspondesse ao universo das OTS portuguesas (que no ano de 2013 englobava 61.268 organizações (INE e CASES, 2016) e na qual constassem os respetivos contatos, recorri a uma multiplicidade de fontes que permitiram criar uma base de contactos que totalizou 2897 OTS com endereços de e-mail válidos.4 Embora não se possa falar de representatividade das organizações, dado que se trata de uma amostra não probabilística, dependente da escolha, interesse e motivação das pessoas para responder, o processo resultou numa amostra heterogénea de organizações, incluindo as suas diferentes famílias, em termos de formas e estatutos jurídicos, perfis de atividade, dimensões, idade, localização geográfica e fontes de financiamento (cf.quadro 2).
Retomo a tipologia usada no âmbito do “The Johns Hopkins Comparative Nonprofit Sector Project (CNP)” (e.g., Salamon et al., 2012) que, agrupando as organizações a partir das atividades que desenvolvem, distinguem dois tipos de funções do setor: funções de serviço e funções de expressão. As primeiras envolvem o fornecimento de serviços diretos, como ação social, educação, saúde, habitação, desenvolvimento local, entre outros; enquanto as segundas envolvem atividades de expressão de valores, interesses e crenças culturais, espirituais, profissionais ou políticas, abrangendo instituições culturais, grupos de recreação/lazer, associações profissionais, grupos de defesa de causas, organizações comunitárias, grupos de direitos humanos, movimentos sociais, entre outros.
Fonte: Elaboração da autora a partir de inquérito por questionário a OTS.
Para o tratamento das respostas obtidas foi utilizado o SPSS - Statistical Package for the Social Sciences -, tendo recorrido a um conjunto de análises estatísticas univariadas, bivariadas e multivariadas: análises de frequência, análises de contingência, associação e correlação, modelos de regressão e análises exploratórias multivariadas (Pestana e Gageiro, 2014). Para inferência estatística, foram considerados testes estatísticos com p-values iguais ou inferiores a 0,05 para serem significativos.
Resultados e discussão: construindo perfis de avaliação nas OTS
A composição de perfis e modelos de avaliação nas OTS estudadas permite diferenciar tendências no que toca aos contextos, representações e práticas de avaliação e explorar as suas implicações em termos de internalização da cultura avaliativa. Para traçar estes perfis recorri a procedimentos estatísticos exploratórios, partindo da seleção de um vasto conjunto de indicadores quantitativos associados à cultura avaliativa e que são sustentados e complementados pelos resultados das entrevistas.
No sentido de agrupar informação que me permitisse reduzir a complexidade dos dados recorri à análise categorial de componentes principais (ACCP).5 Comecei por selecionar um conjunto de variáveis6 associadas às diversas dimensões de análise da cultura avaliativa (23, no total).
A ACCP permitiu resumir a informação presente nessas variáveis e explorar as suas correlações. Usando-se como critério de retenção a regra do eigenvalue superior a 1, foi possível resumir informação relacional entre variáveis em dez componentes ortogonais que explicam 68% da variância total das variáveis originais. De acordo com os “pesos” de cada variável em cada componente, foi possível nomear a primeira componente como a “avaliação enquanto ferramenta de gestão estratégica” (que explica 15% da variância total), atendendo aos pesos elevados das variáveis “a avaliação ajuda-nos a fazer escolhas estratégicas sobre o futuro da organização” e “fazemos avaliação para nos ajudar a tomar decisões organizacionais”. A segunda componente, que explica 9% da variância total das variáveis originais, foi designada “avaliação enquanto ferramenta de projeção externa”, mediante o forte peso de variáveis como “os nossos financiadores estão muito interessados na avaliação das intervenções” e “fazemos avaliação para nos promovermos perante financiadores e atrair recursos”. A quarta, quinta e décima componentes (que globalmente explicam 16% da variância total) foram nomeadas “avaliação como fardo ou dispersão” dados os scores elevados das variáveis associadas a perceções negativas sobre a avaliação (por exemplo, “os requisitos de avaliação são sobretudo obstáculos que os financiadores nos impõem” e/ou “muito do que fazemos para a avaliação é apenas simbólico”). Por fim, as componentes 3, 6, 7, 8 e 9 (que globalmente explicam 27% da variância total) foram designadas ”avaliação como mecanismo de accountability interna e promoção local” já que, embora apresentem uma grande diversidade interna, possuem em comum o peso elevado das variáveis “fazemos avaliação para promoção perante a comunidade local” e/ou “usamos a avaliação para reportar aos órgãos sociais”.
Este exercício permitiu, assim, identificar lógicas reveladoras das grandes partições das visões e enquadramentos da avaliação nas organizações. Partindo destas grandes linhas, foram acrescentados elementos de caracterização a cada um dos perfis, mediante a utilização dos scores associados às componentes extraídas na análise categorial de componentes principais, para desenvolver múltiplas análises estatísticas. Com efeito, desenvolveram-se análises de correlação bivariada entre cada um dos componentes da ACCP e um conjunto vasto de indicadores das diversas dimensões e subdimensões de cultura avaliativa exploradas no inquérito por questionário.
A composição dos perfis, que se explicita de seguida, foi alimentada pelos resultados das entrevistas, que permitiram uma análise mais detalhada, compreensiva e consubstanciada dos diversos elementos característicos de cada um dos perfis, que desenvolvo de seguida. A caracterização dos perfis em cada uma das dimensões e subdimensões do quadro analítico do estudo encontra-se sintetizada no quadro 3.
Perfil I - avaliação enquanto ferramenta de gestão estratégica
Este perfil de avaliação integra uma visão globalmente positiva sobre a avaliação, quer em termos de implementação quer em termos dos seus benefícios para a organização. A avaliação é aqui entendida, essencialmente, como uma ferramenta de apoio à decisão estratégica e à melhoria da qualidade da gestão e da intervenção da organização, com um claro interesse no valor racional e objetivo da avaliação.
A noção de “organização de ação”, descrita por Brunsson (2002) para caracterizar o modo de adoção voluntário das práticas de avaliação, ajusta-se ao perfil. O impulso para a avaliação surge particularmente vinculado a fatores internos e a uma “accountability sentida” (Fry, 1995), ancorada em valores e numa dimensão ética. A característica que melhor distingue este perfil do seguinte é a dissociação da avaliação da pressão externa exercida por forças ligadas ao financiamento, o que é propiciado pelas características da sua estrutura de receitas - robusta, estável, diversificada em termos de fontes e independente de subsídios públicos. A avaliação é conduzida essencialmente com o intuito de informar a tomada de decisão, em resposta às necessidades internas de gestão (tal como previsto pela teoria da escolha racional), mas também para adquirir “output legitimacy” (legitimidade pelos resultados) (Schmidt, 2013) pelo bom desempenho das atribuições.
A utilidade da avaliação é, pois, sobretudo instrumental (usada para produzir efeito na ação direta): para melhorar a qualidade dos serviços ou para tomar outras decisões organizacionais. As dinâmicas de accountability vinculadas a estes efeitos são sobretudo internas e descendentes: accountability interna perante a missão e pessoal, e accountability descendente perante utilizadores/as e comunidade local. Este é também o perfil em que os exercícios de avaliação são mais intensamente participados internamente - pela equipa técnica/operacional e pela direção estatutária e técnica - refletindo a forte abrangência/intensidade das práticas específicas de avaliação e medição do desempenho7 neste perfil, sobretudo as relativas a exercícios de monitorização e avaliação formal à escala organizacional.
Um outro padrão de comportamento associado a este perfil (embora não exclusivo, como veremos) diz respeito à tendência para o enquadramento da avaliação em iniciativas de gestão mais amplas, nomeadamente em sistemas de gestão da qualidade e/ou de planeamento estratégico. Estes processos mais amplos conferem à avaliação uma estrutura mais formalizada que, no caso deste perfil, se alinha com as necessidades e propósitos de melhoria da organização. A avaliação é, aqui, parte de um processo mais amplo de aprendizagem, sendo institucionalizada como parte do sistema de informação organizacional, estrutura de poder, processos e sistemas que influenciam a tomada de decisão e a ação (Boyle, Lemaire e Rist, 1999). O suporte e comprometimento da liderança da organização, a recetividade da avaliação por parte do pessoal da organização e a forte visão da avaliação como oportunidade de aprendizagem compõem o retrato de uma cultura organizacional que suporta a avaliação.
As organizações de grande dimensão financeira, com estatuto de IPSS (instituições particulares de solidariedade social)8 mas com uma estrutura de receitas diversificada e não dependente de subsídios públicos, e com um perfil de funções híbrido (acumulando atividades de serviço e de expressão), são as que melhor encaixam neste perfil.
Perfil II - avaliação enquanto ferramenta de projeção externa
A avaliação é percebida, neste perfil, como uma ferramenta de atração de recursos e promoção perante os financiadores. Enquanto no perfil anterior o foco era colocado no valor racional e instrumental da avaliação, aqui é colocada a tónica no seu valor concetual e simbólico.
Em oposição ao perfil anterior, no qual a avaliação se dissociava das forças externas, neste parece existir uma pressão forte do campo organizacional para a condução de exercícios avaliativos. Mas, como este tipo de organização é recetivo às ideias e conceitos de avaliação, as práticas são integradas de forma deliberada e não por coerção, procurando estrategicamente “reproduzir” as melhores práticas do campo organizacional para aprender e se tornar mais eficiente. As possibilidades de identificação de organizações “bem-sucedidas” são potenciadas pela pertença a redes de organizações, a que este perfil se associa de forma estatisticamente significativa.
As entidades que se aproximam deste perfil tendem a operar num ambiente organizacional incerto onde, por exemplo, não existe uma base estável de recursos, nomeadamente quando a sobrevivência das organizações se encontra financeiramente dependente da aprovação de projetos. Ao contrário do perfil anterior, em que a avaliação é sobretudo usada para informar a tomada de decisão, neste perfil ela é usada essencialmente para atrair recursos e alavancar a obtenção de novos financiamentos. A par do uso instrumental para planear/rever estratégias (sobretudo associadas a projetos), a avaliação é usada para responder a requisitos de financiamento, legitimar a intervenção e/ou assegurar ou atrair novos financiamentos - “fortalecer as novas candidaturas”, “demonstrar às entidades financiadoras que o dinheiro que aplicaram foi corretamente aplicado”, “visibilizar o trabalho”, “sensibilizar para o trabalho realizado” “demonstrar que a instituição já avalia o seu impacto” são referências colhidas em entrevistas.
Os benefícios da aprendizagem associados a este perfil colocam-se a um nível mais abrangente e tendencialmente menos operacional que no anterior, situando-se primordialmente ao nível da mudança nos entendimentos e atitudes das partes interessadas, suscitados pela sensibilização sobre os resultados das intervenções. A accountability associada a estes benefícios é alargada, revelando um olhar integrado sobre a forma com as organizações lidam com relações e exigências múltiplas.
A forte intensidade da participação nos exercícios de avaliação que caracteriza este este perfil é particularmente devedora do envolvimento de atores externos às organizações (sobretudo representantes das entidades financiadoras e públicos-alvo, mas também a comunidade local) e encontra-se refletida no tipo de práticas de avaliação adotadas. Tal como no perfil anterior, verifica-se uma tendência forte para a adesão a práticas de gestão e avaliação. Mas, ao contrário do modelo anterior, neste verifica-se uma adesão forte a práticas conotadas com a accountability ascendente, como é o caso das práticas de monitoria/auditoria externa associados ao desenvolvimento de projetos.
Apesar dos diferentes padrões observados ao nível das práticas de avaliação, em particular no que respeita ao nível de análise privilegiado (organização como um todo e projetos, respetivamente), à semelhança do anterior, também neste perfil se verifica a tendência para a articulação da avaliação com iniciativas de gestão estratégica e da qualidade. Esta articulação permite uma maior integração da informação de avaliação associada aos projetos nos processos de planeamento e tomada de decisão de nível organizacional.
As contingências associadas ao financiamento por projeto e respetivos requisitos de accountability ascendentes atuam, neste perfil, como mediadoras da cultura de aprendizagem. Mas neste modelo, ao contrário do seguinte, parece estabelecer-se um equilíbrio entre os papéis de accountability e de aprendizagem organizacional. É que, mesmo sendo a avaliação um requisito necessário, as organizações com este perfil entendem que o investimento em avaliação pode trazer algum retorno, quer em termos de eficiência quer em termos de atração de recursos. Esta visão é sustentada por uma cultura organizacional que promove a reflexão e que se caracteriza pela abertura dos seus membros à aprendizagem.
As organizações de constituição mais recente, ONG (organizações não governamentais9 ou ADL (associações de desenvolvimento local)10 de diversos setores atividade e perfil de funções misto ou só de serviço são as que mais se associam a neste perfil.
Perfil III - avaliação como fardo ou dispersão
Este perfil, embora partilhe características com os dois anteriores, diverge essencialmente na forma como a avaliação é percecionada e enquadrada. A avaliação é tendencialmente concebida neste modelo - mais heterogéneo que os anteriores11 - como um fardo imposto pelas entidades financiadoras/tutelares ou como um desvio da missão das organizações.
O padrão que mais identifica este modelo e o distingue dos anteriores diz respeito à utilidade dos exercícios de monitorização e avaliação. Com efeito, este perfil caracteriza-se, grosso modo, pela perceção de inutilidade dos exercícios avaliativos e pela associação forte ao não uso da avaliação. Apesar da presença de estruturas formais de avaliação e de ela estar incorporada no trabalho regular destas organizações - o que é atestado pela abrangência/intensidade razoável das práticas de avaliação -, paradoxalmente, elas não procuram utilizar as avaliações para introduzir mudanças na ação.
A dissociação dos usos da avaliação para aprendizagem organizacional encontra-se ancorada no impulso para adoção deste tipo de práticas. Neste perfil, o impulso para a avaliação é eminentemente externo: resultado de pressões coercivas ou normativas no ambiente. A avaliação tende a ser conduzida nas organizações por razões simbólicas ou cerimoniais, com o objetivo de serem percebidas como legítimas e bem-sucedidas12 ou simplesmente porque a avaliação lhes é imposta pelas entidades financiadoras. Este tipo de organização adotará práticas de avaliação, mas tenderá as desconectá-las (decouple)13 dos processos normais da organização, nomeadamente da tomada de decisão. Segundo Meyer e Rowan (1977), as pressões institucionais podem contradizer as necessidades internas de eficiência. As organizações podem, então, tentar adaptar-se, mas dissociando a sua ação rotineira da estrutura/estratégia formal, no sentido de preservar a eficiência organizacional e, ao mesmo tempo, obter legitimidade. Neste perfil, a procura de legitimidade e reconhecimento externo é feita, tendencialmente, mediante a obtenção de selo de certificação de serviços/produtos. A certificação é aqui usada de forma essencialmente simbólica e não para a melhoria dos processos internos e da intervenção junto dos públicos-alvo, como acontecia nos anteriores modelos.
É também no enquadramento deste perfil que encontramos o maior potencial para a manipulação ou distorção da informação avaliativa (“dar um jeitinho para chegar à meta”, conforme nos reporta o técnico de uma OTS), particularmente nas situações em que as avaliações têm um valor punitivo (nomeadamente mediante cortes no financiamento) e/ou são determinadas e formatadas tendo em conta, sobretudo ou apenas, necessidades dos financiadores, consideradas sem sentido ou inapropriadas e prejudiciais. Aqui é colocado a nu o conflito de prioridades, objetivos e valores entre organizações e entidades financiadoras. Não obstante, se a perspetiva de sanções na sequência de exercícios de avaliação pode fomentar fenómenos de empolamento ou ocultação de resultados e associar-se a visões negativas da avaliação, a perceção de que o investimento em avaliação não é reconhecido pelas entidades financiadoras/tutelares é claramente dissuasora deste tipo de investimento e precursora da perceção da avaliação como inútil, elevando o seu caráter cerimonial. De resto, a importância do retorno externo do investimento na avaliação surge como central não só no discurso de representantes de organizações de base, mas também de organismos representativos do setor e de especialistas/profissionais de avaliação.
Às características de um ambiente externo pouco propício à maximização do potencial da avaliação, juntam-se algumas especificidades do contexto organizacional interno. Os maiores constrangimentos a este nível não se colocam tanto em termos de recursos - financeiros, materiais ou técnicos -, mas mais em termos de cultura organizacional. Com efeito, este modelo parece convergir para uma fraca cultura de aprendizagem assente, nomeadamente, na perceção da avaliação como uma ameaça por parte dos membros da organização e na ausência de uma atitude partilhada que considere a avaliação uma oportunidade de aprendizagem.
O tipo de organização exclusivamente prestadora de serviços ou com funções puramente expressivas, dos setores da participação cívica e do associativismo empresarial, é prevalecente neste perfil.
Perfil IV - avaliação como mecanismo de accountability interna e promoção local
A característica essencial que distingue este perfil dos anteriores tem que ver com o nível de envolvimento em práticas de avaliação: enquanto os anteriores modelos se caracterizam pelo envolvimento forte ou moderado em atividades de avaliação, este destaca-se pelo envolvimento fraco ou nulo em práticas de avaliação.
Vemos que este modelo, embora bastante heterogéneo, globalmente tende a dissociar-se da generalidade das práticas de gestão e avaliação listadas no inquérito, à exceção daquelas a que as organizações estão estatutariamente obrigadas: os relatórios anuais de contas e atividade. A (auto)avaliação tende a assumir um carácter informal (causal, espontâneo), esporádico ou ad hoc. A informalidade e caráter pontual dos exercícios avaliativos conduzidos neste modelo estão refletidos na ausência de estruturas formais e de metodologias de observação sistemáticas.
A debilidade metodológica neste perfil é também revelada pelo fraco envolvimento das partes interessadas nos exercícios de avaliação, em especial as externas às organizações. Os principais propósitos que animam a adoção das práticas de avaliação neste modelo são, de resto, coerentes com estes padrões de envolvimento: a promoção na comunidade local e/ou a de accountability aos “stakeholders obrigatórios” (essencialmente membros associados ou cooperantes e, em alguns segmentos, entidades financiadoras).
Neste perfil, os constrangimentos à avaliação são múltiplos, mas não são exclusivos da atividade de avaliação - a avaliação é apenas mais um dos muitos constrangimentos de gestão. Também neste estudo, em alguns segmentos associados a este perfil, o escasso investimento na avaliação sinaliza um problema de capacidade mais amplo, essencialmente vinculado à escassez de recursos materiais, humanos e técnicos decorrentes da debilidade/instabilidade financeira destas organizações.
O contexto interno neste modelo tende também a ser marcado por uma cultura organizacional hostil à avaliação, assente quer numa liderança pouco aberta e/ou comprometida com processos de reflexão, análise e aprendizagem contínua - especialmente em entidades que neste perfil se associam a uma constituição mais antiga -, quer numa atitude geral reativa à avaliação por parte dos membros da avaliação.
Apesar da fraca adesão às práticas de avaliação e à multiplicidade de constrangimentos à sua implementação, este perfil caracteriza-se pelo convívio de visões positivas e negativas sobre avaliação. As visões positivas, tendencialmente mais comuns entre as coletividades de cultura, desporto e recreio, encontram-se vinculadas ao potencial a avaliação para projeção da imagem e aproximação à comunidade local, e as negativas, mais comuns nos setores da educação, saúde e ação social, às forças coercivas do financiamento e à ausência de uma cultura de aprendizagem.
As organizações de menor dimensão e maior antiguidade, autossustentadas, são prevalecentes neste perfil.
Visões de conjunto: modelos de avaliação e aprendizagem organizacional
Refreando os pressupostos de racionalidade que têm regido muita da discussão teórica e metodológica sobre avaliação, e que a descrevem como instrumento racional e técnico usado internamente para tomar decisões, a análise dos perfis organizacionais revela que as motivações para a adoção de práticas de avaliação nas organizações e os usos que se fazem dos seus resultados são muito diversos, e nem sempre são potenciadores da aprendizagem organizacional. Adotando uma perspetiva integrada sobre accoutability e aprendizagem organizacional, distingo dois tipos de avaliação fundamentais que faço corresponder aos perfis descritos nos pontos anteriores: o tipo de avaliação reativo e burocrático (onde se encaixa o terceiro perfil), e o tipo estratégico e adaptativo (onde se enquadram o primeiro e segundo perfis) Enquanto o primeiro tipo de avaliação encontra correspondência com a accoutability funcional e legal, o segundo identifica-se com a accountability estratégica e “moral”, segundo as distinções avançadas por Edwards e Hulme (1996), Najam (1996) e Kearns (1996). No quadro 4, esquematizam-se as principais características associadas aos diversos modelos de avaliação identificados.
O primeiro tipo de avaliação, reativo e burocrático, só é passível de afetar as decisões e ações das OTS quando os resultados são suficientemente maus para ameaçar as fontes externas de financiamento. O seu valor é punitivo, e funciona como mecanismo de accountability ascendente. Este tipo de avaliação é representado no estudo pelas abordagens quantitativas, sustentadas por dados administrativos, focadas nos recursos financeiros e nas realizações de curto prazo. Estas abordagens estão associadas à adoção coerciva das práticas de avaliação vinculada a requisitos de financiamento, sem ligação com processos de aprendizagem ao serviço da missão das organizações.
No modelo de avaliação estratégico e adaptativo os resultados são projetados, a priori, para guiar as decisões das OTS, constituindo efetivamente um meio para a aprendizagem organizacional. É no seio deste modelo que encontramos terreno para a abertura ao feedback das diferentes partes interessadas, favorecendo a aprendizagem de longo prazo. O primeiro segmento deste modelo, particularmente sintonizado com a accountability estratégica, convoca a importância da condução de processos de avaliação formal de projetos para a abertura ao envolvimento de atores externos. No segundo segmento, mais alinhado com a accountability descendente (e interna) sobressaem os processos de monitorização e avaliação do desempenho de nível organizacional, que tendem a enquadrar-se ou a ser vertidos em instrumentos de gestão mais amplos. Em ambos os segmentos, este modelo de avaliação tenderá a enquadrar relações de financiamento em que OTS e entidades tutelares/financiadoras estão mais atentas aos objetivos de longo prazo e às dificuldades associadas à mudança social, potenciando uma maior orientação para a aprendizagem organizacional e para a accountability descendente.
Conclusão
Alicerçado num conjunto diverso de perspetivas teóricas e analíticas articuladas num modelo de análise inovador, este artigo constitui um contributo importante para o enquadramento, contextualização e compreensão das práticas de avaliação nas OTS, e fornece recursos inovadores para alimentar o debate académico e a discussão política e metodológica no campo de estudo da avaliação e da accountability. A identificação de modelos/perfis de avaliação distintos e suas implicações diferenciadas na aprendizagem organizacional permite lançar pistas importantes para a (re)definição das políticas públicas para o setor, nomeadamente no âmbito das relações de financiamento.
Em primeiro lugar, o estudo evidencia a ineficácia das relações de accountability ascendente de caráter coercivo e punitivo que respondem às agendas de quem financia, enquanto reivindica as mais-valias do estabelecimento de relações de accountability que suportem e valorizem o investimento na avaliação e que assentem em modelos de avaliação mais abertos e adaptativos: efetivamente compatíveis com os benefícios associados às diversas funcionalidades da avaliação, mais vinculados aos valores e propósitos de longo prazo das organizações e mais sensíveis à complexidade dos ambientes nos quais operam. Quando as abordagens à avaliação nas organizações não se esgotam na perspetiva de prestação de contas a financiadores, os ganhos são mais significativos, quer em termos de aprendizagem organizacional, quer no reforço da relação com entidades financiadoras e outros stakeholders.
Em segundo lugar, chama a atenção para o impacto diferenciado do tipo de abordagem de avaliação privilegiado pelas entidades financiadoras nos diferentes tipos de OTS, já que elas constituem um grupo heterogéneo, com capacidades, propósitos, valores e papéis diversos. Ao demonstrar a relevância dos atributos internos associados à identidade e estrutura organizacionais (e.g., dimensão, idade e perfil da atividade) na configuração da avaliação, a análise questiona a utilidade de abordagens “one-size-fits-all” e de medidas estandardizadas para avaliar o desempenho, e sinaliza a necessidade de desenvolver abordagens sensíveis e ajustadas às suas especificidades.
Em terceiro lugar, ao sublinhar a relevância de variáveis associadas à cultura organizacional, em especial o papel das lideranças, no impulsionamento e sustentação das práticas de avaliação, o artigo chama a atenção para a pertinência da consideração do ambiente interno das organizações em qualquer estratégia de capacitação do terceiro setor para fazer e usar a avaliação.
Por fim, o estudo sinaliza o perigo de desvio da missão das organizações associado aos propósitos de avaliação sumativa (que fornecem uma base de decisão para atribuição ou suspensão de financiamento), particularmente se têm por base modelos e técnicas de medição quantitativos, já que tenderão a direcionar as organizações para a consecução de resultados mais fáceis de medir, desconsiderando efeitos difíceis de quantificar (soft outcomes), como são os que se vinculam às funções expressivas das organizações, e a dissuadir abordagens inovadoras e audaciosas. A consideração destes riscos assume no atual contexto português uma relevância acrescida, em face da afirmação de novas lógicas de financiamento ao setor, as quais integram este tipo de abordagem. É o caso da contratualização de resultados (pagamento por resultados) e da disponibilização de instrumentos financeiros distantes da lógica tradicional de donativo, como sejam o investimento social/de impacto.
