A avaliação de políticas sociais: questões teóricas, metodológicas e políticas

 

Emília Maria da Trindade Prestes ^*

^*Professora do Centro de Educação da Universidade Federal da Paraíba. Coordena o Curso de Mestrado Profissional em Gestão das Organizações Aprendentes da UFPB; atua no Programa de Pós-graduação em Educação e é bolsista de produtividade do CNPq.
prestesemilia@yahoo.com.br

 

Resumo

O texto discute os aspectos teórico-metodológicos e políticos que orientam a avaliação de políticas sociais, comenta, de forma específica, a avaliação da política brasileira de qualificação do trabalhador, adotada no país na década de 1990, questiona as possibilidades de se empregarem modelos de avaliação que possibilitem leituras capazes de expressar as singularidades e a diferenciação das realidades múltiplas e conclui que as inovações e as alternativas dos procedimentos avaliativos ainda não conseguem desbancar os modelos de avaliação tradicionais ancorados em testes estatísticos estandardizados e comparados.

Palavras-chave: avaliação de políticas públicas; modelos teórico-metodológicos de avaliação de políticas sociais; avaliação de política de qualificação profissional.

 

Comentários preliminares

A avaliação de políticas sociais, apresentada ao mundo como uma necessidade incontestável das gestões modernas por produzir informações para a tomada de decisões governamentais, reparte, entretanto, opiniões e posições contrárias às suas pretensões de responder, de forma conciliatória, a situações e interesses divergentes e até opostos.

Em um interessante artigo sobre os indicadores da avaliação internacional da educação, Beltran provoca:

¿Hasta qué punto la pretensión de elaborar indicadores alternativos para la educación no puede acabar, aun sin pretenderlo, legitimando y dando la razón al marco de referencia actual predominante que desde hace algunas décadas se encarga de medir el estado de la educación a nivel internacional? (Beltran, 2008, texto inédito, digitalizado, p.1).

Esta colocação, que destaca a dimensão política da avaliação de políticas sociais também se presta para que se atente para os problemas teóricos e metodológicos da avaliação das políticas sociais, ou seja, para a sua dimensão científica, orientada para gerar conhecimentos.

Aliás, embora as práticas avaliativas esteja presente na maioria dos programas governamentais do mundo, o assunto não aparece como uma prioridade de estudo e de pesquisa na literatura internacional, sobretudo na academia brasileira, notadamente, nas disciplinas políticas, sociológicas e educacionais, como comenta Farias (2005, pp.100- 101). A escassez de estudos ou de problematização sobre as suas contribuições para o aprimoramento e os avanços das avaliações de políticas sociais e sua aplicação na realidade concorre para que os modelos avaliativos adotados “continuem gravitando na órbita das questões analíticas mais tradicionalmente valorizadas pela Ciência Política” (Faria, 2005, p.22), fortalecendo a hegemonia da sua “perspectiva gerencialista”, assim como o seu caráter centralizador.

Isso dificulta propostas inovadoras de avaliações, reforça “toda una poderosa indústria de indicadores diseminada a nivel internacional, que ejerce su influencia sobre los países desarrollados y em vías de desarrollo (...) convirtiéndose em doctrina” (Beltran, 2008, p.1), diminui os espaços de construção de cidadania e mina a confiança dos povos nos resultados da avaliação. Apesar desses inconvenientes, a cada ano se observa um incremento considerável de processos avaliativos, sobremaneira em um momento em que complexos fenômenos sociais provocam mudanças nas sociedades globalizadas, nas for-mas como os governos conduzem suas políticas, nas instituições públicas e nos comportamentos das pessoas quando reivindicam seus direitos. Neste mundo complexo, como realizar avaliações de políticas sociais que sejam capazes de contemplar os interesses governamentais e de setores poderosos da sociedade e, ao mesmo tempo, atender aos interesses e aos direitos de grupos sociais mais débeis, diminuindo os desequilíbrios e as desigualdades sociais e territoriais? Que concepções, fundamentos, procedimentos e técnicas devem ser adotados nos atuais processos de avaliação de políticas sociais e que sejam capazes de lhes possibilitar transitar por interesses distintos, potencializando os mais débeis?

É impossível deixar de reconhecer que o mundo mudou. E se não alterou a estrutura de poder, mudanças ocorreram nas formas de vida das pessoas e na cultura global. Hoje, algo muito novo está ocorrendo no mundo. A revolução das comunicações, uma economia cada vez mais globalizada e transformações profundas que ocorrem no nível de vida cotidiana, afetam países, organizações, famílias e pessoas de forma global. A notável capacidade que as pessoas têm de se conectar, desconectar e expressar livremente e, em tempo real, suas opiniões e posições acerca do que consideram melhor ou do que é justo, também contribuem para ampliar o crescimento de poder e a aumentar as desigualdades. Estas características da sociedade emergente que misturam formas antigas e desiguais com novos comportamentos e oportunidades, enunciam tanto as inseguranças provocadas pelo inusitado como a derrubada de fronteiras que aprisionam a democracia ou que limitam os direitos e as liberdades humanas. Por isso, os métodos e as técnicas empregados para coletar as informações do social e que são objeto de avaliação das políticas sociais estão desatualizados para revelar este social em mudanças e para propiciar informações capazes de construir políticas coerentes com a nova ordem.

Recentemente, as redes sociais, como ferramentas de informação, comunicação, participação e debate, convertem-se em poderosos espaços de opinião, posicionamento, e de análises das ações que são propiciadas pelo Estado e por suas políticas. Estes espaços fogem do controle e do monitoramento das avaliações oficiais e avançam na produção de novas perspectivas teóricas, metodológicos e políticas dos processos de avaliação, se firmando como uma tendência da avaliação do futuro; tendência essa capaz de contribuir para a construção de processos avaliativos mais participativos e democráticos.

Essas ponderações iniciais introduzem este ensaio, cujos objetivos são: (i) discorrer sobre algumas concepções de avaliação adotadas na literatura especializada e suas tendências; (ii) comentar o percurso histórico da avaliação de políticas sociais; (iii) apresentar alguns dos principais teóricos e metodólogos da avaliação de política social; e (iv) ilustrar o assunto com uma experiência concreta de avaliação de política pública.

Os caminhos dos processos avaliativos das políticas sociais

O que significa avaliar? Tradicionalmente, entende-se a avaliação como uma ferramenta capaz de propiciar um valor, apreciar o merecimento ou estimar o juízo de alguém ou de algo. Segundo Scriben, a avaliação é uma reflexão sistemática para determinar os méritos, a validade e a importância das coisas (Scriben, 1991, p.1, cit. por Vendug, 1996).Como atividade inspirada nas ciências sociais, também pode ser entendida como um exame sistemático de certos objetos, baseado em procedimentos científicos de coleta e de análise de informação sobre o conteúdo, a estrutura, o processo e os resultados e/ou impactos das ações avaliadas na realidade (Rua, 2000, cit. por Ramos, 2009,p.2).

A avaliação das políticas sociais é concebida como um processo orientado para julgar a valoração e os méritos de iniciativas políticas governamentais, cujos resultados são capazes de expressar tanto os conflitos quanto as conciliações sociais desenvolvidas em diferentes contextos e instituições. Apoiado nas decisões de poder e nas instituições do Estado, sobretudo na máquina governamental esse tipo de avaliação tende a ser reconhecido como estratégia de interesses administrativos, governamentais e sociais, em cujas propostas se incluem dois objetivos básicos: a promoção da construção da autoconsciência da instituição ou agência que elabora a política, sobre seus limites e possibilidades de suas ações, e a formulação de informações e análises sobre a política para o uso da instituição avaliada, do governo e da sociedade.

As primeiras iniciativas avaliativas das políticas sociais inspiradas nos procedimentos científicos surgiram nos Estados Unidos, nos anos de 1950, e tiveram o propósito de respaldar as políticas do “bem-estar” implantadas por diferentes administrações. Naqueles anos de pós-guerra, a administração norte-americana, disposta a implantar e a implementar políticas capazes de solucionar seus problemas sociais e por sentir dificuldade de determinar a eficácia das suas ações, recorreu a informações baseadas em métodos científicos para sanar essas dificuldades (Pacheco, 1998, p. 1). Essa atitude ajudou a legitimar suas ações, mesmo requerendo mais análises empíricas das conexões socioeconômicas dos fenômenos avaliados.

Mesmo assim os avanços da avaliação apoiados na ciência e em resultados estatísticos, contribuíram para que os estadistas norte-americanos conhecessem e comparassem internacionalmente os múltiplos aspectos da realidade nacional e impulsionassem a criação de indicadores de medida sobre a qualidade de vida de sua população, nos aspectos de saúde, alimentação, educação, condições de trabalho, ócio, segurança social e direitos humanos. Mas, por sua vez,a busca de soluções racionais para os problemas sociais (Bidble & Ellena, 1964; Callahan, 1962; Cremin, 1962, cit Pacheco, Salinas, 1998, p.121), por meio dos resultados avaliativos, nem sempre, ofereceram respostas sobre a eficiência dessas políticas para melhorar as condições de vida da população.Por isso, talvez, as avaliações não gozassem de reconhecimento público nem eram consideradas importantes para as decisões políticas. No plano acadêmico, a bibliografia sobre o tema era precária, e os numerosos livros de investigação social sequer mencionavam os seus procedimentos (Vendung, p. 361). Fora os desenhadores e os executores das avaliações, a Academia, de forma geral,não parecia interessada em promover as investigações avaliativas. Mesmo assim os gestores estatais continuaram a buscar, nos seus resultados, respostas aos problemas sociais e possíveis caminhos para “facilitar vias de ação ao futuro” (Poland, 1974, p. 333. cit. Subirats, 1994, p. 139).

Em 1963, Cronbach, um dos pioneiros da avaliação, observando a inoperância dos resultados avaliativos frente aos objetivos programados, criticou severamente os seus procedimentos e propôs revisões do seu desenho investigativo, da análise de dados e do marco teórico usual (Shaw, 2003). Apesar das críticas e de alguns rechaços, a avaliação das políticas sociais, aos poucos, foi abrindo espaços para sua credibilidade, aceitação e prestígio, nos meios sociais e acadêmicos, e firmando-se como uma necessidade política e social.Isso se tornou evidente nos primeiros anos da década de 1960, na administração do presidente Kennedy, quando, diante da explosão das políticas sociais, foi preciso dar respostas políticas sobre sua eficiência e eficácia e sobre os recursos empregados.Enquanto isso, a avaliação de programas sociais se havia convertido em uma profissão especializada, com suas próprias organizações, revistas e estudos dirigidos,que contribuíram para que as práticas avaliativas das políticas sociais ganhassem novos adeptos e se tornassem mais visíveis e legitimadas nos meios acadêmicos, políticos e empresariais.

Entre 1965 e 1975, graças a programas como o War on Poverty, que objetivava melhorar a qualidade de vida da população norte-americana e, ao mesmo tempo, controlar o dinheiro público aplicado, a avaliação das políticas sociais passou a ser uma “grande indústria” (Rossi& Freeman, 1985, p. 26). À medida que crescia a sua importância no meio social, os especialistas que atuavam nas áreas de desenvolvimento urbano, habitação e educação tecnológica e cultural iam criando as próprias organizações, as revistas e os estudos (Pacheco& J.R. Pacheco, 1998, p. 11). Essas iniciativas propiciaram o florescimento de uma literatura de avaliação em forma de manuais, textos e revistas, como a Evaluations Review, a Evaluation News e a Education Evaluation and Policy Analysis, entre outros, e ensejaram o surgimento das grandes sociedades profissionais – a Evaluation Research Society (de natureza mais acadêmica) e a Evatuation Network (mais voltada para as intervenções práticas). Um pouco mais tarde, surgiu a American EvaluationAssociation, com novas perspectivas de avaliação e de aproximações alternativas, em substituição ao paradigma tradicional positivista.

Em uma revisão efetuada por Bernstein y Freeman (1975, cit.por Pacheco, 1998, p. 13), existia, na época,cerca de trezentos e oitenta e dois estudos de avaliação relacionados às políticas sociais, mas muitos deles eram considerados ineficazes devido à falta de uma base teórico-metodológica adequada às necessidades do objeto da avaliação. Isso significava que, mesmo fortalecida pelas fontes acadêmicas, as avaliações continuavam teoricamente precárias para contemplar as múltiplas facetas das políticas sociais e para responder às expectativas dos gestores e da sociedade, o que requeria revisões teóricas e metodológicas. Assim, a inclusão das posturas dos avaliadores no processo avaliativo e a aplicação dos seus resultados passaram a serquestionadas como requisitos capazes de oferecer rigor e credibilidade à avaliação.

Na década de 1970, quando o cenário econômico internacional mudou de configuração, e os embates políticos se fizeram presentes no mundo, cresceu a reputação das avaliações das políticas sociais como um importante instrumento de análise dos polêmicos programas relacionados à pobreza e ao subdesenvolvimento. O contexto de redefinição do estado de bem-estar social, em escala globalizada, aliado ao aumento da produção acadêmica, contribuiu para tornar a avaliação um tipo de investigação sistemática – e até indispensável - para valorar a configuração ou a efetividade das políticas sociais em adoção no mundo (Subirats, 1994, p. 139). Mas somente depois dos anos de 1980, quando as crises políticas e econômicas internacionais se agudizaram e houve necessidade de as agências internacionais e os governos nacionais identificarem as principais áreas que deveriam ser objeto de mais atenção governamental foi que as avaliações se consolidaram como um procedimento capaz de medir a eficiência e a eficácia das políticas sociais adotadas pelos governos e seus impactos na sociedade. Quando os resultados dessas avaliações adquiriram uma dimensão internacional e passaram a ser objeto de uso político para justificar a desigualdade de tratamento entre os países economicamente fortes e os débeis, a credibilidade, a validade e a confiabilidade dessas avaliações começaram a ser objeto de mais atençãoda Academia e dos seus críticos e da sociedade.

Os abusos do emprego dos seus resultados, para justificar o fortalecimento de posições de poder e de mando, em um mundo aproximado pelas tecnologias e pelas comunicações, começaram a ser questionados e criticados. Essas posições críticas não diminuíram sua ação nem restringiram sua forte influência, em escala internacional, nas tomadas de decisões políticas. Porém o novo contexto internacional em mudanças requeria descobertas e informações, e os governos precisavam de informações rigorosas e de críticas para implantar novas políticas e ações sociais para os tempos contemporâneos. Os processos avaliativos, como um instrumento de acompanhamento e de controle externo das políticas governamentais, prometiam informações sobre o social e as transparências públicas. Por isso, contraditoriamente, a avaliação passou a ser vista, também, como um processo a serviço das causas democráticas e um pré-requisito necessário para aperfeiçoar políticas de inclusão, equidade e de justiça social. Quando chegaram os anos de 1990, as práticas de avaliação das políticas sociais já estavam amplamente consolidadas e legitimadas na maioria dos países do mundo, incluindo a América Latina, o Caribe e o Brasil, em particular. Gradativamente, os seus procedimentos foram ficando complexos e passaram a requisitar novos procedimentos teóricos e metodológicos.

Neste Século XXI, seus resultados, que prestigiaram diferentes países, governos e instituições,acirram as competições, as disputas e os interesses e,algumas vezes, geram exclusões. A construção de sofisticados e de criteriosos sistemas universais de indicadores homogêneos, capazes de interpretar, comparar e monitorar resultados avaliativos de diferentes realidades, acentua o prestígio desse tipo de avaliação e impulsiona o aperfeiçoamento dos seus enfoques teóricos e metodológicos e das suas ferramentas de avaliação. O informe Next-steps, da Inglaterra, o Comitê Interministerial de Avaliação e o Conselho Científico de Avaliação da França ou o Programme for Internacional Student Assessment – PISA - auspiciados pela Organização para a Cooperação e o Desenvolvimento Econômico – OCDE -e dirigidospor cientistas sociais são exemplos concretos desses novos desenhos avaliativos.

Inegavelmente, o refinamento desses procedimentos avaliativos das políticas sociais produz avanços e qualidades da informação técnica e dos resultados estatísticos. Entretanto, seguindo a ideia de Llavador, não devemos confundir sofisticação, coerência e operacionalização, que proporcionam os desenhos das modernas avaliações internacionais com o terreno vivo, mutante e apaixonante da realidade. A representação da realidade não é a realidade, como recorda o autor (op.cit. p.8). Uma avaliação que acentue a dimensão democrática e a equidade assume a conotação de um processo educativo e privilegia a “construção de um conhecimento crítico, ético e transformador” (Saul, Freitas, Pontual & Koyama, 2007, p. 117; Afonso, 2009) requer imaginação “sociológica” e, “na medida do possível, um caráter pedagógico, isto é, um instrumento ao alcance de administradores, políticos”, educadores e da sociedade em geral, “proporcionando lições valiosas para o planejamento, a gestão” (Beltran, 2008, p.9) para o público em geral e para as transformações sociais.

Hoje, na segunda década dos anos 2000, apesar dos avanços da avaliação e de suas sofisticadas ferramentas de coleta de dados e análises das informações, as limitações conceituais e metodológicas dos seus procedimentos, já apontadas por Cronbach, no ano de 1963, ainda persistem.

Os teóricos da avaliação e seus enfoques

A literatura sobre avaliação de políticas sociais identifica três estágios que marcam a evolução histórica dos seus enfoques teóricos e metodológicos. O primeiro, nos anos de 1960, caracterizava-se pela aplicação rigorosa dos métodos científicos quantitativistas, com ênfase no produto; o segundo, iniciado na década de 1970, enfatizava a utilização e o pragmatismo no incremento do uso da avaliação, através do emprego de técnicas quantitativas e qualitativas e do foco no processo; e o terceiro sintetizava os dois anteriores, com indicação de “integração de técnicas”, em conformidade com o contexto e os objetivos da avaliação.

Um dos primeiros teóricos da avaliação reconhecido pela literatura foi Donald Campbell, um realista crítico. Baseado na investigação experimental e qua-se experimental e nas relações entre variáveis, Campbell defendia a primazia dos métodos de falsificação quantitativista, por meio dos quais se podiam justificar as pretensões de conhecimento, e o compromisso político da avaliação para se organizar um mundo emancipador, mediante uma sociedade experimentadora. Michael Scriven, contemporâneo de Campbell, priorizou as perspectivas teóricas e metodológicas da avaliação, a postura ética do avaliador e sua competência para extrair as melhores interpretações da realidade social. Pregou que a avaliação é uma disciplina autônoma da Filosofia ou das Ciências Sociais e que o seu desenho deveria partir das necessidades dos usuários. Além disso, as práticas de avaliação deveriam ser externas aos interesses do programa e capazes de apontar soluções eficazes para os problemas sociais.

Lee Cronbach, considerado “um dos mais importantes e um dos menos apreciados” teóricos da primeira geração de avaliação (Shaw, 2003), defendeu a vinculação da avaliação aos processos de construção do conhecimento, à interação política e às tomadas de decisão dos gestores. Cronbach, que defendia uma metodologia pluralista, com ênfase no equilíbrio da precisão (fidedignidade), costumava criticar a submissão dos avaliadores aos gestores que controlavamos procedimentos avaliativos, por entender que, em um contexto de acordos políticos, a avaliação tanto podia se comprometer com a conservação quanto com a mudança, mas que o papel do avaliador deveria ser crítico e erudito, mesmo que servisse a um interesse partidarista.

Robert Stake, pioneiro da teoria avaliativa participativa, da utilização de metodologia de estudo de caso e da defesa de generalizações naturalistas, introduziu a indagação qualitativa nos métodos participativos da avaliação e defendeu a popularização e a democratização do conhecimento e um método baseado nos interesses locais. Suas ideias propiciaram avanços dos métodos avaliativos e inovaram-nos. Já Carol Weiss, uma das primeiras investigadoras da avaliação das políticas sociais, adotou o pragmatismo metodológico nos processos avaliativos e defendeu que o avaliador deveria dispor de informações empíricas e de explicações sobre o objeto e sobre o contexto político avaliado para torná-lo capaz de responder aos objetivos da avaliação. Um enfoque inovador da avaliação foi proposto por Ernest House, ao se posicionar em favor da democratização e da justiça social da avaliação, com destaque para a inclusão, o diálogo e a deliberação, considerados os três principais componentes da avaliação. Adepto da teoria utilitarista da justiça, baseada em uma satisfação mais global, House entendia que a avaliação não produz conhecimentos certos, e que seus atos são de persuasão e de argumentação, e não, de demonstração.

Essa primeira safra de teóricos e de metodólogosda avaliação de políticas sociais foi ampliadanos anos de 1980, quando o prestígio da avaliação se expandiu no mundo. Esses pesquisadorespropuseram diferentes e inovadorasabordagens teóricas e metodológicas que permitiram outros interessantes aportes¹.

No elenco dessa nova safra, William Reid é considerado como um dos herdeiros da tradição do pragmatismo norte-americano expressa nas obras de Peirce, James, Dewey e Rorty. Suas ideias se centralizam no desenvolvimento da prática e nas questões sobre a natureza das tendências gerais da avaliação – ainda não resolvidas. Ele aceita a experimentação incremental e parte do suposto gradualista de que “os pequenos êxitos de hoje são melhores que os grandes fracassos do passado” (Shaw, 2003, pp. 61-62).

Outro importante teórico contemporâneo da avaliação - particularmente da avaliaçãoeducacional - é Elliot Eisner, cujo interesse pela avaliação se direciona especificamente ao ensino e ao campo da Pedagogia. Ele foi um dos primeiros a centrar suas opiniões sobre avaliação na reflexão, na tarefa profissional imediata e no contexto sociocultural dos alunos. Utilizando uma metodologia de avaliação predominantemente qualitativa, sem excluir elementos quantitativos, defendeu que as práticas avaliativas sofrem influência dos conceitos teóricos e metodológicos apropriados pelos professores e pelos pressupostos filosóficos da escola a que se filiam.

Egom Guba e Ivonna Lincon também são destacados por serem considerados os iniciadores da avaliação construtivista e por advogarem a existência de realidades múltiplas, construídas socialmente. Sua teoria, baseada em um paradigma relativista, construtivista e infundido de valores, faz críticas à avaliação tradicional - compartida, fragmentada e estruturada através de variáveis. Para esse autor e essa autora, não há outra realidade além daquela criada pelas pessoas quando tentam compreender o que as rodeia. Por isso, defendem que a avaliação não descobre nenhuma realidade que exista objetivamente, mas, apenas cria a realidade exposta. Como a realidade não pode ser estudada por partes, as relações entre o conhecedor e o conhecido e entreo investigador e o objeto da investigação também não podem ser separadas. A metodologia da avaliação construtivista, de natureza dialética e hermenêutica, envolve a negociação e o controle recíproco. Seu objetivo é de alcançar uma construção mais próxima e mais complexa dos contextos estudados.

Segundo Shaw (2003, p. 66), o paradigma de Guba e Lincon mudou as concepções sobre avaliação, ainda que não haja, até o presente, exemplos empíricos de sua aplicação nem critérios capazes de atestar sua validade metodológica. Daniel L. Stufflebeam, outro expoente contemporâneo das teorias da avaliação, apresentou suas concepções “marcadamente apoiadas em princípios democráticos de equidade e justiça social” (Saul Freitas, Pontual, Koyama, 2007, p. 122). O eixo teórico desse autor defende as “avaliações centradas no objetivo transformador” e a utilização de metodologias capazes de contemplar as abordagens de agendas sociais, de expressar defesa de direitos e gerar mudanças sociais. Compreendendo que todo processo gira em torno de tomada de decisões, defende os processos e os procedimentos avaliativos como um ato político e pedagógico, conduzidos através de quatro tipos de decisão: contexto, insumo, processo e produto.

Shaw (2003) comenta que, apesar dos enfoques inovadores e da importância política adquirida pelos processos avaliativos no mundo em modificação, até o final dos anos de 1990, vinte anos depois das posições de House, não existia nenhum autor que pudesse ser considerado “o teórico da avaliação crítica” ou propor indicadores que unissem a eficiência e a racionalidade técnica da avaliação com a concreta leitura dos múltiplos aspectos da realidade social contida nos programas sociais. Essa opinião, expressa no final dos anos de 1990, pode ser assumida, ainda na contemporaneidade dos anos 2012, incluindo-se os avanços e o aperfeiçoamento dos métodos e das técnicas das avaliações utilizadas pelos grandes sistemas avaliativos de comparações internacionais, como o Programa para Avaliação Internacional de Alunos (PISA), auspiciado pela Organização para a Cooperação e o Desenvolvimento Econômico (OCDE), como já mencionado. Sob a ótica do aprimoramento das questões teóricas e metodológicas, Schleicher, um dos responsáveis pelo desenvolvimento e pela aplicação desse Programa, entende que os especialistas de avaliação de políticas públicas de diferentes países se esforçam sobremaneira para aperfeiçoar seu desenho, seus métodos, técnicas e análises. Isso faz com que, em sua opinião, os sofisticados processos avaliativos de PISA e seus resultados sejam “altamente válidos e confiáveis” (Schleicher, 2006,p.31), mas que continuem apresentando muitos problemas técnicos, incluindo-se o desenvolvimento de um marco avaliativo einstrumental de avaliação, capaz de contemplar as perspectivas políticas da avaliação educacional e as questões relacionadas à equidade e ao êxito educativo dos avaliados (Schleicher, 2006, p.31).

Esses depoimentos, surgidos no seio dos próprios planejadores da avaliação capitaneada pela OCDE, reforçam as dúvidas filosóficas, teóricas, metodológicas e políticas sobre a pertinência dos procedimentos avaliativos, para ampliar a dimensão democrática e a justiça social da avaliação. Assim, como conclui Afonso, a adoção de avanços técnicos da avaliação continua sem oferecer respostas para as grandes questões sociais, culturais e políticas dos processos de participação, negociação e justificação de modelos explícitos de justiça e de equidade social (Afonso, 2009, p.25).

Um exemplo de avaliação de política social brasileira: o Plano Nacional de Avaliação do Trabalhador (PLANFOR)

O Brasil ingressou nas avaliações das políticas sociais nos anos de 1970, sob a batuta do regime militar e em uma fase de crescimento e de modernização das suas estruturas burocráticas e de suas políticas sociais. Apesar do endividamento público e de, gradativamente, ter perdido a capacidade de atender às crescentes demandas sociais, o país atravessava uma fase de modernização da sua estrutura administrativa e da consolidação da reforma do ensino superior, com a introdução da pesquisa científica e acadêmica nas universidades. Muitos dos novos pesquisadores, também gestores das instituições públicas, haviam sido formados no exterior, sobretudo nas Escolas de Administração norte-americanas e, graças aos conhecimentos adquiridos, introduziram e organizaram as primeiras iniciativas para avaliaras políticas sociais. Essas avaliações, baseadas em modelos quantitativistas e experimentais, pretendiam dar respostas para que fosse possível dinamizaras inovações institucionais e controlar os gastos públicos aplicados pelo Estado nas causas sociais.

As primeiras avaliações realizadas nessa década por instituições como o Ministério da Educação, o da Saúde ou do Desenvolvimentoforam feitas de forma tímida e experimental, sob uma situação de instabilidade institucional, econômica e de indefinição sobre os rumos do país. Quando chegou a década de 1980, o crescente endividamento público e a perda da capacidade do Estado para realizar suas funções básicas intensificaram a fiscalização de instituições internacionais como o Banco Mundial que, intervindo amplamente nas decisões do governo nacional, passou a cobrar respostas dos gastos sociais públicos aplicados nas políticas sociais e os benefícios auferidos. Essas pressões internacionais e o surgimento de uma nova sociedade civil, em mobilização, de forma contraditória, ajudaram as atividades de avaliação das políticas sociais a adquirirem mais espaços e visibilidade nos meios governamentais e sociais (Ramos, 2008, Farias, 2005). A transparência da gestão pública, a busca da melhoria da produtividade e a transição democrática eram reclamadas pela sociedade, como objetos de monitoramento e de avaliação. Em 1995, o governo FHC, vivenciando uma forte crise financeira e inflacionária, e em plena crise do trabalho de dimensões internacionais, lançou o Plano Nacional de Formação Profissional – PLANFOR - um dos projetos destacado no Plano “Brasil em Ação” e que, gerenciado pelo Ministério do Trabalho e Emprego e pelas Secretarias Estaduais de Trabalho, teve como objetivo oferecer atividades de qualificação profissional a cinco milhões de trabalhadores, em um prazo de cinco anos. Para avaliar essa política de redução do desemprego, foi montado em todo o país, com a colaboração das universidades, um sistema de avaliação com vistas a mapear sua eficiência, eficácia e efetividade social.

Essas avaliações, consideradas por certos grupos universitários como disseminadoras de valores e de finalidades de mercado, eram, contrariamente, defendidas por outros grupos, como uma possibilidade de inovar os métodos e as técnicas da avaliação de políticas sociais e de contemplar as necessidades emancipatórias dos trabalhadores (Prestes, 1999). Os resultados da avaliação do PLANFOR, que foi realizada em todo o país, e disponibilizados em relatórios, serviram para organizar um banco de dados e de informações quantitativas sobre os valores dos investimentos dos Planos Estaduais de Qualificação – PEQs - número de treinandos beneficiados, de concluintes, de evadidos e das pessoas qualificadas e encaminhadas ao mercado de trabalho.

O empenho nacional da avaliação dessa política, que reuniu dezenas de especialistas e pesquisadores universitários sobre o assunto, além de sindicalistas, gestores e representantes de comunidades e diferentes entidades governamentais e não governamentais, não deu informações capazes de contemplar os próprios objetivos previstos pelo desenho da avaliação do PLANFOR, a sua eficiência, eficácia e efetividade social, seja pelo enfoque teórico ou pelas estratégias metodológicas ou por suas análises. As equipes do Ministério do Trabalho e Emprego (MTE), seus consultores e analistas eram conscientes das limitações da avaliação para oferecer informações sobre os impactos dessa política na melhoria das condições de vida e de sociabilidade dos treinados, como estava planejado (Prestes, 1999 p. 49; Machado, 1999, p. 92-101).

Segundo Machado, os processos de avaliação do PLANFOR, sobretudo os relativos à dimensão da efetividade social, não eram “um desafio simples, pois o objetivo de determinar a relação de causalidade entre a política examinada e as possíveis transformações relativas à população-alvo é difícil de ser demonstrado, além de ser suscetível a muitas controvérsias e questionamentos” (Machado,1999, p. 97). Do ponto de vista do Ministério do Trabalho e Emprego (MTE), as dificuldades para aprimorar o seu processo de avaliação residiam no pouco tempo da sua existência e na “escassez de metodologias testadas para a avaliação de políticas públicas, em geral, e de programas de escala e características do PLANFOR, em particular”. Suas estratégias metodológicas concentravam-se, majoritariamente, no método quantitativo, e as análises e as interpretações dos resultados efetivavam-se através de pressupostos simplificados de causalidade, atividades e resultados, sem considerar as teias de relações e inter-relações do entorno social (Machado, 1999, p.92; 2000; Prestes, 1999).

No ano de 2001, o MTE decidiu melhorar o sistema de avaliação, redefiniu seus conceitos e reorganizou as variáveis e os indicadores adotados para as análises. Mas a categoria da avaliação, denominada “efetividade social”, continuou a ser o grande desafio da avaliação. Enquanto o governo necessitava de uma resposta sobre os resultados da política, a equipe científica buscava mais precisão conceitual dos termos e dos indicadores que lhe permitiria encaminhar pesquisas, realizar análises e estabelecer conclusões científicas. De forma ainda bastante imprecisa, chegou-se coletivamente ao conceito de efetividade social,compreendido como “os resultados provenientes dessa política com os efeitos mais amplos e duradouros, além dos benefícios diretos e indiretos para pessoas treinadas”. Para se chegar à operacionalização desse conceito, foram selecionados indicadores relacionados ao mercado, à renda, à produtividade, à qualidade dos produtos e dos serviços, à aquisição de habilidades, de conhecimentos, de informações, de novas atitudes e sua aplicação no trabalho, na família e na comunidade e dos efeitos processados através de conexão com outras políticas sociais. Assim, o conceito de efetividade social passou a ser compreendido como a possibilidade da política de qualificação do trabalhador (PLANFOR) promover uma melhoria nas condições de vida e de trabalho dos treinandos, produzindo reflexos nas condições de desenvolvimento e de sustentabilidade local e regional e nos processos democráticos.

Apesar dos esforços teórico-conceituais dos desenhadores dessa avaliação, os indicadores selecionados não foram capazes de expressar o seu nível de complexidade nem de apresentar, em curto prazo, dados e registros para darem respostas consistentes ao governo e à sociedade. Segundo Adelanto, tanto a política social quanto a estrutura social são processos dotados de uma enorme complexidade e marcados por contradições internas. Por isso,necessitam de uma rigorosa e organizada base de dados que contribua para uma sólida análise dos impactos das políticas sociais que ultrapasse uma suposta ação corretora. Como o PLANFOR não dispunha desses requisitos,o seu modelo de análise “objetivante” e unívoco não foi capaz de refletir as realidades que ocorriam na estrutura social da época. No ano de 2003, o governo Lula substituiu o PLANFOR pelo Plano Nacional de Qualificação (PNQ), referenciado pelas diretrizes do novo Plano Plurianual (PPA) e estruturado em torno de três mega objetivos: a) a inclusão social e a redução das desigualdades sociais; b) o crescimento com geração de trabalho, emprego e renda ambientalmente sustentável e redutor das desigualdades regionais; a promoção e a expansão da cidadania e c) o fortalecimento da democracia. Entretanto, tais objetivos de inserção e atuação cidadã no mundo do trabalho de pessoas mais vulneráveis e sujeitas às diversas formas de discriminação social não diferiram, substancialmente, daqueles expressos pelo PLANFOR. As diferentes tentativas de se avançar nos campos teóricos e metodológicos da avaliação não conseguiram eliminar suas limitações relacionadas a sua concepção teórico-ideológica e às próprias contradições da proposta expressas no seu desenho avaliativo.

Considerações finais: a avaliação como estratégia de resposta num mundo incerto

Este ensaio foi iniciado admitindo-se que as recentes avaliações das políticas sociais, como um campo de estudo da pesquisa social e como um mecanismo complexo e contraditório, colocadas ao serviço de interesses governamentais mas, também, a disposição dos interesses dos grupos sociais mais necessitados das políticas sociais, requerem conhecimentos e estratégias plurais de ordem política, teórica e metodológica. Como um acontecimento político, e em uma perspectiva de cidadania e de democratização, as avaliações podem ser um eficaz procedimento para contemplar interesses opostos num momento em que complexos fenômenos provocam mudanças nas sociedades, nas instituições e nas formas como as pessoas orientam as suas ações para o novidoso. Com o intuito de abrir espaços sobre esse assunto, concluímos com algumas considerações. A primeira delas é que os avanços teóricos e metodológicos dos procedimentos avaliativos, alguns deles calcados nos indivíduos, nos processos e na qualidade, não foram suficientemente fortes nem criativos para desbancar os modelos tradicionais conduzidos pelos grandes projetos de avaliação, sobretudo os internacionais, como o PISA, o TIMSS e o Education at a Glance, medidos através de testes estatísticos estandardizados e comparados internacionalmente, com generalizações de realidades múltiplas (cf. Teodoro, 2008). Em segundo lugar, e diretamente relacionado a primeira consideração, faltam estudos teóricos e metodológicos mais inovadores sobre “o papel da avaliação na geração de accountability por parte dos agentes estatais, o potencial de ‘empoderamento’ das comunidades menos privilegiadas e seu impacto na questão do controle social sobre o Estado” (Faria, 2005, p.13). A terceira e última consideração e que estabelece uma conexão entre as inovações da avaliação e a democratização e empoderamento das comunidades, consiste na necessidade de os avaliadores e gestores avançarem na construção de novos modelos de avaliação, cujos enfoques teóricos e metodológicos possibilitem a construção de relatos históricos alternativos, em um mundo que está em mudanças. Essas mudanças, expressas na emergência de um novo paradigma balizado pelas tecnologias de informação e de comunicação, indicam que, se o poder de decidir continua com o Estado, seus recursos, seus planejamentos e suas decisões – os rumos das suas políticas sociais - estão hoje mais abertos a uma multiplicidade de atores, o que enseja o envolvimento de cidadãos com reivindicações, movimentos e organizações (Cardoso, 2012, p. 102).

A atual sociedade da informação e da comunicação, mesmo excluindo milhões de pessoas dos benefícios sociais e tecnológicos, possibilita que as populações sejam mais bem informadas, comuniquem-se diretamente com as autoridades através de diferentes mídias, protestem nas ruas ou exprimam suas opiniões e avaliem as políticas governamentais em rádios, telefones, jornais e websites, sem pedir autorização a ninguém. Temas que envolvem as questões da pobreza e da desigualdade se aliam a questões da liberdade, das assimetrias de poder de natureza econômica, do terrorismo, das drogas, das ameaças ao meio ambiente, da bioepidemia e da igualdade dos sexos, da segurança pública, da diversidade de orientação sexual e do papel da mulher (Cardoso, 2012, p.120), sendo objeto de atenção e de posicionamentos coletivos. A emergência desses aspectos reforça a necessidade de se rever as teorias e as metodologias adotadas nas avaliações oficiais das políticas sociais, no sentido de ampliação da participação coletiva e dos direitos de cidadania; negligenciar esses novos requisitos políticos, sociais e teórico-metodológicos é permitir que os processos avaliativos continuem seguindo padrões de avaliação inadequados aos novos tempos, centrados nos interesses dos poderosos e de uma minoria, esvaziando os seus fundamentos técnicos, políticos, culturais e morais.

Os pioneiros da avaliação já deram valiosas contribuições, muitas delas inovadoras e desafiantes para o contexto de então. Agora, quando o coletivo questiona suas certezas e desconfia de suas verdades, quando assume as incertezas como perspectivas de vida e de futuro, talvez seja preciso, como já entendia Bourdieu (1998) há quase vinte anos, que os atuais teóricos e seus avaliadores inventem formas de comunicação, destinem parte do seu tempo e da sua energia para dialogar com os avaliados, formulem linguagens e formas de expressão que promovam discussões coletivas sobre os resultados da avaliação, inventem um novo estado de espírito, novas formas de expressão e de linguagem e estabeleçam com os avaliados diálogos por meio dos quais seja possível abrir novos caminhos em busca de novos conhecimentos e de novas sociabilidades.

 

Referências Bibliográficas

Afonso A. J. (2009). Nem tudo o que conta em Educação é mensurável ou comparável. Crítica à accountability baseada em estes estandardizados e rankings escolares. Revista Lusófona de Educação, 13, 13-29.         [ Links ]

Beltran, J. (2008). ¿Indicadores alternativos o alternativa a los indicadores? Algunas reflexiones sobre política educativa. Universidad de Valencia. Nota previa sobre este borrador. Barcelona, 4 septiembre (texto original).         [ Links ]

Bourdieu, P. (1998). Contrafogos: táticas para resistir à invasão neoliberal. Rio de Janeiro: Jorge Zahar.         [ Links ]

Cardoso, F. H. (2012). A soma e o resto. Um olhar sobre a vida aos 80 anos. In Oliveira, M. D.( org.) (6ª. ed.) Rio de Janeiro: Civilização Brasileira.         [ Links ]

Faria, C. A. P. de (2005). A política da avaliação de políticas públicas. Revista Brasileira de Ciências Sociais, 20, 59.         [ Links ]

Gallego, R.; Gomá, R. & Subirats (eds.) (2003). Estado de Bienestar y comunidades autónomas. La descentralización de las políticas sociales en España. Temas de gestión y Administración pública. Barcelona: Universitat PompeuFabra, Madrid: Editorial Tecnos, Grupo Anaya S.A.         [ Links ]

Garrell, D., Salvadó, T. & Vives, J. (2000). Formación laboral y políticas activas de empleo. In Adelanto, J. (coord.). Cambios en el Estado de Bienestar (pp. 135-170).Barcelona: Icaria, Universitat Autónoma de Barcelona.         [ Links ]

Gazier, B. (2000). Evaluación de las políticas activas de empleo: experiencias europeas. In Ministerio de Trabajo y Asuntos Sociales. La Evaluación de las Políticas de Ocupación (pp. 41-56). Madrid: Subdirección General de Publicaciones.         [ Links ]

Machado, L. R. de S. (1999). Eficácia, eficiência e efetividade social na implementação dos PEQs. Anais do Seminário Nacional sobre avaliação do PLANFOR: uma política pública de educação profissional em debate. Cadernos UNITRABALHO, 93-102.         [ Links ]

Melo, M. A. (2007). As sete vidas da agenda pública brasileira. In Rico, E. M.Rico(org.). Avaliação de Políticas Sociais: uma questão em debate (5ª. ed.) (pp.11-28). S. Paulo: Cortez Editora, Instituto de Estudos Especiais.         [ Links ]

Pacheco, E. R; Pacheco, J.R. Rebelloso & Salinas, Jerônimo S. (1998). Evaluacíon de Programas en Educación: La utilidad dos enfoques alternativos al planteamiento tradicional. Pacheco, E. R (ed.). Evaluación de Programas Âmbitos de Aplicación. Textos Universitários. (pp. 121-146). Barcelona: “Sant Jordi”.

Pacheco, J. A. (2011). Currículo, Aprendizagem e Avaliação. Uma abordagem face à agenda globalizada. Revista Lusófona de Educação, 17, 75-90.         [ Links ]

Prestes, E. M.T. (l998). Repensando o conceito de educação profissional, empregabilidade e competência no estado da Paraíba: tentativa de um avanço metodológico. Plano Estadual de Qualificação Profissional. Avaliação do Programa de l997. UFPb/CCSA/CME/PPGE-CE.         [ Links ]

Prestes, E. M.T. (l999). Avaliação do PLANFOR: reflexões sobre fundamentos e metodologias. Anais do Seminário Nacional sobre avaliação do PLANFOR: uma política pública de educação profissional em debate. Cadernos UNITRABALHO, 41-56.         [ Links ]

Ramos, M. (2008). Avaliação de Políticas Públicas e Programas Sociais: aspectos conceituais e metodológicos.Trabalho apresentado no XVI Encontro Nacional de Estudos Populacionais, ABEP, realizado em Caxambú- MG – Brasil, de 29 de setembro a 03 de outubro de 2008: disponível em http://www.abep.nepo.unicamp.br/encontro2008/docspdf/ABEP2008_1158.pdf, consultado em 20/08/2012.

Saul, A. M. , Freitas, J. C. de, Pontual, P. de C. & Kpyama, S. M. (2007). A avaliação do Plano Nacional de Qualificação – PNQ: construindo referências. In Oliveira, R. V. (org). Novo momento para as comissões de empego no Brasil. Sobre as condições da participação e do controle sociais no sistema público de emprego em construção. V.I. São Paulo: A+ Comunicação.

Shaw, I. F. (2003). La evaluación cualitativa. Introdución a los métodos cualitativos. Paidós: Barcelona.         [ Links ]

Schleicher, A. (2006).Fundamentos y cuestiones políticas subyacentes al desarrollo de PISA. In: Revista de Educación. Número extraordinario 2006. PISA- Programa para la Evaluación Internacional de Alumnos. Ministerio de Educación y Ciencia. Secretaria General de Educación (pp.21-43). Madrid. Es: Secretaria General Técnica.         [ Links ]

Subirats, J. (1994). Análisis de Políticas públicas y eficácia de la Administración. MAM. Ministerio para las Administraciones Publicas. Serie Administración General. Ministerio para las administraciones publicas. Madrid. Es: Secretaria General Técnica.         [ Links ]

Teodoro, A. (2008). Novos Modos de Regulação transnacional de políticas educativas. Evidências e possibilidades. In Teodoro, A. (org.). Tempos e Andamentos nas Políticas de Educação. Estudos Iberoamericanos. (pp.19-38). Brasília: Liber Livro Editora.         [ Links ]

Vedung, E. (1997). Evaluation de Políticas Públicas Y Programas. Madrid: Ministerio de Trabajo y Asuntos Sociales. Instituto Nacional de Servicios Sociales.         [ Links ]

 

Nota

Este texto é o avanço de um artigo produzido durante o estágio de pós-doutorado no exterior, financiado pela CAPES/Br.

¹ Essas abordagens teóricas são oriundas de teóricos como Carr e Kemmis, 1986; Harvey, 1990 – (investigação crítica) – (versão neomaxista); Willis, 1977 (versão feminista); Ackeree outros, 1983; Humphries, 1990 (versão antirracista); Whitmore, 1994 (versões freirianas participativas); Edwards, 1989 e Martins, 1996 (versões das necessidades especiais); Oliver, 1992 (versão orientada para a práxis); Lather, 1986b (versões desconstrutivistas); Lather, 1991 (versão de potenciação); Dullea e Mullnder, 1999; Everitt e Hardiker, 1996 e Miller, 1990 (versão de uma visão libertadora da avaliação) (Shaw, 2003).