A construção de indicadores de qualidade no campo da avaliação educacional: um enfoque epistemológico

 

Rosilda Arruda Ferreira* e Robinson Moreira Tenório**

*Faculdade de Educação

** Universidade Federal da Bahia, rosildaarruda@gmail.com

 

Resumo

Este artigo trata do processo de construção de indicadores de qualidade no campo da avaliação educacional e, mais especificamente, da avaliação de políticas e programas educacionais. O objetivo é promover uma discussão sobre duas questões articuladas: num primeiro momento, tratar os aspectos epistemológicos e teórico-metodológicos envolvidos no processo de construção de indicadores nas ciências sociais; e, num segundo, refletir sobre os limites e possibilidades da construção de indicadores de qualidade no campo da avaliação educacional com base nas abordagens teóricas mais recentes sobre qualidade em educação e sobre avaliação. Para proceder à discussão adotamos uma perspectiva epistemológica que busca focalizar a questão a partir da relação entre a definição de modelos de avaliação educacional e os problemas de validez que permeia o processo de construção do conhecimento, os obstáculos envolvidos na relação que estabelece entre o pesquisador social (no caso específico, o avaliador) e o conhecimento a ser produzido, bem como a questão do seu uso social e político que remete ao sentido atribuído para o termo qualidade em educação. Na conclusão o artigo apresenta uma proposição provisória de um conjunto de estratégias que podem ser considerados como norteadores para a construção de modelos de avaliação de políticas e programas educacionais e de indicadores de qualidade.

Palavras-chave: A construção de indicadores de qualidade; avaliação educacional; avaliação de políticas e programas; epistemologia da avaliação.

 

Evaluation of education and the building of quality indicators: Theoretical and methodological approaches.

Abstract

The article deals with the building of indicators within the ambit of the evaluation of education from a double perspective starting point: a) theoretical and methodological involved in the issue; b) of the limits and possibilities of building indicators within the ambit of education evaluation. The article also emphasizes the relationship between models of evaluation of education and the problems linked to its validity, as well as the social and political use of the results obtained from the evaluation. In its conclusion, the article presents and brings forth a series of strategies as references for the building of models of evaluation of educational programs and policies.

Keywords: education policies;evaluation of education; indicators; quality.

 

1. Introdução

A construção de indicadores se constitui em aspecto relevante dos debates sobre o processo de produção do conhecimento no âmbito das ciências sociais e suas áreas aplicadas, especialmente para o campo educacional. Representa um momento crucial dessa discussão na medida em que remete ao problema da validez e da relação entre a teoria e a realidade empírica. A sua escolha pressupõe a tomada de decisão sobre os aspectos da realidade a serem investigados que deve possibilitar a realização de representações cognitivas construídas com base em referências definidas no âmbito das diversas abordagens teóricas vinculadas aos campos de estudos específicos.

A relevância dessa discussão se afirma, portanto, frente à necessidade de se tratar o problema da validade do conhecimento científico, tema que tem movido amplos debates no campo das ciências humanas e sociais desde o seu surgimento no século XIX, na medida em que trata do problema da relação entre a teoria e o processo de demonstração empírica. Essa temática perpassa a discussão sobre a construção do conhecimento nos diversos campos de saberes e permeia o fazer científico independente da abordagem teórico-metodológica que se adote.

Construir indicadores na pesquisa científica significa, pois, transformar conceitos e relações entre conceitos, que constituem as teorias com seus diferentes graus de generalidade e abstração, em categorias e proposições capazes de avançar na direção da explicitação das suas configurações e aplicações particulares. Esse processo revela a sua importância e necessidade quando garante a demarcação de evidências concretas que permitam a compreensão ou explicação dos fenômenos que estão sendo investigados.

No campo da avaliação educacional a construção de indicadores de qualidade assume grande complexidade, por se tratar de um campo aplicado das ciências sociais que lida com a construção de modelos para valorar políticas, programas, projetos e ações educativas que além de expressarem concepções teóricas e abordagens determinadas, envolvem também aspectos vinculados aos interesses sócio-políticos de determinados grupos em confronto e suas representações sobre qualidade em educação. Nesse sentido, o cuidado epistemológico e metodológico, bem como o enfoque sociológico sobre as representações sociais acerca do que se está avaliando são aspectos fundamentais para a definição de indicadores e para o conhecimento sobre o fenômeno que está sendo avaliado, no caso a qualidade da educação.

Nesse processo, torna-se relevante destacar o que entendemos por qualidade em educação: Do que estamos falando? Será que todos entendem qualidade na mesma perspectiva? Que imagens fazem de uma educação de qualidade? Obviamente que há imagens bastante distintas em função dos interesses e concepções construídas socialmente. Nesse caso, é preciso considerar que a referência de qualidade da educação a ser ofertada em determinadas conjunturas acha-se pro-fundamente relacionada com os diferentes modelos de avaliação instituídos pelas políticas educacionais, na medida em que esses modelos tomam como referência metas e objetivos a serem alcançados previamente que são delineados no âmbito de projetos sócio-políticos e econômicos mais amplos.

Na avaliação em larga escala, com seus importantes impactos para a gestão dos sistemas educacionais, construir instrumentos e indicadores de qualidade é uma tarefa extremamente importante para lograr a sintonia entre os aspetos qualitativos e quantitativos que possam exprimir os aspectos objetivos da realidade, mas também apreender as representações, concepções e interesses em jogo, favorecendo o delineamento de um processo de mão dupla que objetiva, através dos seus resultados, favorecer a tomada de decisões (gestão) adequadas para a melhoria da qualidade da educação.

Um Indicador se revela, portanto, como um elemento, sinal ou aviso que revela ou denota características especiais ou qualidades, que aponta (como o dedo indicador) uma direção, mostrando a conveniência de, ou aconselhando a alguma ação. De forma mais técnica, é um composto construído para medir uma dimensão ou variável (Babbie, 2001), como já dissemos anteriormente. A sua definição envolve a seleção de critérios relevantes e úteis para julgar, comparar e acompanhar a evolução dos benefícios, efeitos adversos e custos dos serviços e produtos educacionais. Os indicadores de qualidade, assim, são fundamentais para acompanhar as mudanças na dimensão de realidade que se quer avaliar, permitindo:

1. Consolidar informações relevantes, úteis e a apreensão imediata de aspectos da realidade;

2. Aprimorar a gestão;

3. Desenvolver políticas;

4. Trocar informações entre, instituições regiões, municípios, etc.;

5. Apoiar ações de caráter gerencial e de monitoramento que justificam a criação e utilização de indicar de qualidade em educação.

Neste artigo nos propomos a aprofundar a discussão sobre a temática da construção de indicadores no campo da avaliação educacional, mediante a consideração de dois aspectos articuladas: um primeiro que trata dos aspectos epistemológicos e teórico-metodológicos envolvidos no processo de construção de indicadores nas ciências sociais; e um segundo que reflete sobre os limites e possibilidades da construção de indicadores de qualidade em educação com base nas abordagens teóricas mais recentes sobre avaliação e qualidade em educação.

 

2. A construção de indicadores nas ciências sociais segundo um enfoque epistemológico e sociológico

As metodologias construídas historicamente no campo das diversas ciências sociais evidenciam, permanentemente, o problema da construção de indicadores, processo que precisa ser compreendido à luz do debate sobre as concepções acerca da relação sujeito-objeto que se configura no interior das diversas teorias e abordagens estruturadas como programas¹ de pesquisa.

Qualquer que seja a temática da pesquisa empírica a ser realizada, referência teórica adotada ou técnicas de coleta de dados escolhidas para efetivar o estudo, a questão da construção de indicadores empíricos se impõe como uma ação a ser realizada.

Nessa direção, Lakatos (1975) afirma que “sendo teóricas todas as proposições da ciência uma proposição factual é apenas uma espécie particular de proposição teórica”. O que se afirma, concordando com este autor, é que apesar das variáveis e indicadores da pesquisa se caracterizarem como instrumentos voltados à observação sistemática e controlada da realidade não podemos isentar-lhes da sua relação com as referências conceituas que estão na base de sua definição.

Portanto, apesar da função principal de distinguir, registrar e comparar de forma sistemática os fenômenos e processos sociais nos seus aspectos particulares, os indicadores não podem deixar de ser entendidos como instrumentos de categorização que buscam favorecer a construção de representações cognitivas sobre o real, ou seja, subsidiar o processo de construção de conceitos e de relações entre conceitos.

Podemos dizer, portanto, que os indicadores são instrumentos de medida dos fenômenos a que se referem. Mas ao que estamos nos referimos quando falamos de medidas nas ciências sociais?

Esta é uma questão polêmica e marcada por perspectivas em confronto. Algumas abordagens que podem ser denominadas de compreensivistas, afirmam que às ciências sociais cabe apenas apreender os significados atribuídos pelos sujeitos aos fenômenos que se pretende conhecer e que não podem ser utilizadas métodos quantificáveis. Nesse caso, afirma-se que conhecer os fenômenos sociais só é possível mediante a sua descrição²; outras afirmam a possibilidade de um conhecimento objetivo sobre a realidade social, sustentando essa afirmação na argumentação de que a realidade social pode ser apreendida a partir de regularidades observáveis que podem ser traduzidas em relações passíveis de serem medidas quantitativamente. Nesse caso, afirma-se que é possível conhecer os fenômenos a partir da medida da regularidade de suas manifestações empíricas³

Em uns como em outros casos, discute-se a possibilidade de compreensão ou de explicação da realidade social e da validade na escolha de métodos que dêem conta de estabelecer a relação entre as teorias de base e a definição de aspectos da realidade que possam efetivamente ser investigados, ou seja, a construção de indicadores.As questões que se afirmam são de diversas ordens: Como os fenômenos se expressam? Que recortes do real deve ser feitos para conhecer os fenômenos, sejam eles de objetivos ou subjetivos, ou seja, que tipos de indicadores podem ser definidos e como os mesmos podem medidos? A resposta a essas questões remete necessariamente ao debate sobre o uso da teoria ou dos programas de pesquisa (Lakatos, 1975) que indicam a concepção sobre a realidade social, sobre as possibilidades de sua compreensão ou explicação, o que está na base da tomada de decisão sobre os indicadores e formas de medi-los,

Só nesse momento é que podemos retomar a discussão sobre o problema da medida que sinalizamos anteriormente. Assim, precisamos perguntar: É possível medir as evidências empíricas dos fenômenos sociais? Como essa medida é possível? Que tipo de indicadores pode ser medido? Que tipos de medidas podem ser utilizados? Como se caracterizam os diferentes tipos de medidas?⁴

Existem diferentes tipos de medidas. No caso de indicadores como sexo, por exemplo, em que identificamos os seus valores por uma designação numérica (Feminino-1; Masculino-2) não podemos proceder a nenhuma operação aritmética com base nos resultados encontrados. Nesse caso denominamos de escala nominal. No caso de indicadores, como por exemplo, segmentos de renda familiar, podem operar com uma escala de medida cujos valores podem ser hierarquizados (superior/médio/baixo) e utilizados para construir uma ordenação ao longo de um continuum. No entanto, nesse tipo de escala que denominamos escala ordinal, também não podemos fazer nenhuma análise relacionada às diferenças entre as posições relativas dos mesmos. Uma terceira possibilidade de medida refere-se àquelas que permitem estabelecer diferenças entre classes de equivalência ou valores do indicador, o que corresponde à escala de intervalo, ou escalas de proporção quando essa escala tiver um zero não-arbitrário ou absoluto.Assim, podemos afirmar que indicadores como rendimento familiar; desempenho escolar; índices de evasão; índices de repetência; são indicadores que podem ser medidos a partir de escalas de intervalo ou de proporção e podem ser trabalhados a partir de possíveis relações quantificáveis. Aspectos como concepções acerca da função social da escola; preferências político-partidárias, entre outros, só podem ser medidos segundo escalas nominais ou ordinais. Mas será que a impossibilidade de medição de um indicador em termos que possam estabelecer relações medidas estatisticamente, coloca em cheque a importância de sua definição. O que podemos observar é que não, pois independente dos mesmos poderem ser medidos a partir de escala nominais, ordinais, de intervalos ou proporcionais a sua importância como operadores dos conceitos que permitem delimitar aspectos da realidade para conhecê-la não pode ser desprezada, o que será definido em função das teorias de referências.

Vale destacar, no entanto, a complexidade desse processo de operacionalização dos conceitos que caracteriza a construção dos indicadores quando tomamos dimensões muito amplas para compreender uma determinada realidade, como por exemplo, uma política, programa ou projeto educacional.

Se buscarmos compreender os interesses políticos dos grupos relacionados aquele Programa específico; ou se quisermos apreender os referenciais normativos culturais mais amplos que estão relacionados ao objeto de uma política ou programa, como devemos proceder na definição de indicadores? Com certeza, quanto mais amplas forem às referências teóricas ou os conceitos utilizados, mais difícil será construir indicadores que se configurem como mediação entre a teoria e realidade empírica.

A complexidade se dá, também, em decorrência da multidimensionalidade do real social cujos recortes analíticos são sempre provisórios, situados, restritivos, permitindo apenas uma visão parcial dos fenômenos. O desafio remete, pois, a construção de indicadores que permitam, com base em referências teóricas consistentes, uma focalização ao cerne da problemática que está sendo discutida. O que queremos dizer é que, muitas vezes, ficamos perdidos num emaranhado de indicadores que nos distraem da questão central que se está tratando. Mas como definir o que é o cerne da questão? Como defini-la para permitir que se construam indicadores confiáveis? Entendemos que a resposta a esta questão está necessariamente nas referências teóricas que se adota. O que queremos dizer é que é sempre necessário promover uma discussão bem fundamentada e rigorosa dos conceitos a serem trabalhados; da formulação de hipóteses prováveis com base nas teorias ou em estudos já realizados, ou ainda em observações sistemáticas da realidade, etc.

Essa discussão remete ao debate sobre as concepções que se afirmam no interior das abordagens sobre os processos de construção de conhecimento nas ciências sociais, marcado pelas clássicas polarizações entre individual-coletivo, objetivo-subjetivo, agente-estrutura, entre outras, situação que tem levado muitos autores na contemporaneidade a buscar construir sínteses que superem tais dicotomias, a partir do pressuposto de que a realidade se constitui na confluência de múltiplas interferências como partes constitutivas da mesma realidade. Alexander (1995, p.296) caracteriza estas tentativas como um novo movimento, afirmando que o “problema sistemático, ou analítico predominante tem sido a reintegração do voluntarismo subjetivo e da restrição objetiva”. E diz ainda, que

o esforço de fechar a brecha entre o micro/macro é pois um afã de relacionar a ação individual e a interação com a teorização sobre a estrutura social (...) insistência em ligar a ação com a estrutura, a subjetividade com a objetividade, marca um esforço para superar os termos do debate anterior (Alexander, 1995: 297).

Apesar de ser fundamental a necessidade e a tentativa de construção de uma análise numa perspectiva multidimensional, partimos do pressuposto de que este processo não será possível se não se constituir em função da articulação de campos de estudos com delimitações claras e com produção de conhecimento cientificamente sustentáveis, o que pressupõe, por sua vez, a consideração de certos critérios postos no âmbito das disciplinas científicas (apesar destes serem variáveis no tempo e, portanto, relativos).

Neste quadro de referência há que se considerar outro elemento que condiciona o processo de produção do conhecimento científico e, conseqüentemente, a construção de indicadores nas ciências sociais, que está relacionado aos aspectos da normatividade envolvidos na sua produção, questão que tem relação com a problemática dos uso social do conhecimento científico. Não se pode negar, por exemplo, o envolvimento de sociólogos, educadores, cientistas políticos que ao participarem de projetos de governo recorrem ao uso pragmático e ideológico do discurso científico como estratégia de legitimação de projetos sociais e políticos determinados⁵. No campo da avaliação de políticas e programas educacionais essa complexidade é ainda mais evidente.

Quando pensamos, portanto, nos procedimentos teóricos e metodológicos que temos que adotar ao intentar produzir conhecimento no campo das ciências sociais, temos necessariamente que considerar esses dois aspectos: os conceitos e teorias que embasam as discussões produzidas; e a sua operacionalização que permite a focalização de aspectos da realidade empírica, ou, em outras palavras, a construção de indicadores. Ambos os processos estão condicionados por fatores de ordem interna ao próprio conhecimento relacionado ao problema de sua validez; e de ordem externa relacionados aos determinantes políticos e institucionais que expressam interesses em jogo na cena acadêmica.

Em função do que está posto, cabe perguntar sobre as possibilidades e limites da produção de modelos de avaliação educacional que possam se sustentar em bases epistemológicas e metodológicas seguras, construídas na mediação do debate entre as diversas abordagens científicas do campo das ciências sociais? E ainda, sobre a possibilidade de que este debate venha a oferecer referências válidas para a construção de indicadores que possam efetivamente favorecer a construção de conhecimentos sobre a realidade empírica e contribuir para o redirecionamento das políticas e programas educacionais.

Obviamente que esta resposta não pode desprezar os determinantes externos que estão na base da construção dos indicadores cuja definição e adequação ao tipo de conhecimento que se quer construir não remete apenas a um problema de definição de técnicas de pesquisa.Assim, podemos dizer que esse processo envolve não apenas decisões epistemológicas e metodológicas, mas também decisões políticas.Afinal, cabe considerar, de princípio, os modelos de sociedade que estamos tomando como referência para proceder à avaliação das políticas e programas educacionais.

A avaliação de políticas e programas educativos envolve, na verdade, uma avaliação política da política, principalmente se considerarmos que não existe conhecimento neutro. Todo conhecimento como nos diz Habermas (1982), é um conhecimento interessado. Assim, quais as possibilidades de produzir avaliações de políticas e programas educacionais que possam, efetivamente, contribuir para o conhecimento do processo de implementação de uma política e de seus resultados? Como garantir que os resultados alcançados são resultados confiáveis possíveis de serem utilizados para a correção dos percursos das políticas, programas e projetos implementados como espera as avaliações educacionais promovidas? No campo da avaliação, parece que a intenção do projeto da ciência moderna de conhecer, prever e intervir se afirma com grande ênfase.

Frente ao exposto anteriormente, buscamos refletir na seqüência sobre os ca-minhos metodológicos a serem considerados para que se possa produzir modelos de avaliação sustentados epistemologicamente, o que significa dizer que a construção dos modelos de avaliação de políticas e programas precisam ser submetidos ao debate sobre dois níveis que perpassam a sua construção: no nível formal, interno que se refere a lógica da descoberta que exige o uso de determinados procedimentos do método científico e que determina um conjunto de regras a serem seguidas o que revela uma especificidade do processo de produção de conhecimento e de seu espaço próprio de autonomia; no nível externo intersubjetivo que pressupõe reconhecer a condicionalidade espaço-temporal e os aspectos institucionais inerentes ao seu desenvolvimento.

Considerar exclusivamente um ou outro aspecto na tentativa de explicar ou compreender a realidade, ou desacreditar na possibilidade da ciência construir conhecimentos válidos, ou ainda na sua possibilidade da indicação de possíveis caminhos para a intervenção social é desacreditar/desprezar a mais fantástica empreitada humana no processo de construção de seu ser no mundo: a invenção da ciência.

Pensar na possibilidade de um conhecimento válido que possa contribuir para a avaliação de políticas e programas educacionais, na prática, significa afirmar que no nível interno dos elementos conceituais envolvidos na proposição de modelos explicativos é preciso considerar os critérios de validez utilizados durante a sua produção e a construção de indicadores; as referências teórico-metodológicas que estão em sua base para que seja garantida a coerência e a consistência do material produzido; os aspectos objetivos e subjetivos, quantitativos e qualitativos que precisam ser apreendidos no sentido de ampliar as possibilidades de apreensão das múltiplas dimensões do real, entre outros aspectos. No nível externo que envolve os condicionantes sócio-políticos e institucionais que se expressam no modelo construído é preciso considerar as ideologias políticas e os projetos de sociedade que perpassam tanto a formulação das políticas e programas, quanto dos gestores e das instituições que promovem a avaliação; a finalidade da avaliação e o lugar social dos avaliadores; as lutas políticas cotidianas que demarcam as posições e os cenários que mediam o processo de implementação e os resultados das políticas e programas a serem avaliados; as referências culturais dos sujeitos envolvidos no processo de gestão e de avaliação, entre outros aspectos.

No conjunto desse debate, busca-se afirmar a possibilidade de articulação dos elementos que constituem o campo da epistemologia das ciências sociais como uma das estratégias principais para fundamentar a construção de modelos de avaliação de políticas e programas educacionais, visando a sua validez e legitimidade. O que estamos propondo é ampliar o debate sobre o conhecimento produzido no campo da avaliação educacional a partir de sua articulação às questões próprias da construção do conhecimento científico nas ciências sociais, ou seja, avançar na perspectiva da discussão delineada pelo campo da epistemologia da avaliação educacional.

O debate conduzido até aqui exige uma tomada de posição quanto ao sentido que atribuímos ao esforço para explicar e compreender as ações humanas historicamente constituídas que configuram a realidade social a partir de sua complexidade, dinamicidade e multidimensionalidade como condição fundamental para a produção de modelos de avaliação educacional.

Frente ao exposto, e buscando definir a posição que tomaremos no item seguinte quando trataremos das possibilidades de construção de modelos de avaliação educacional e do processo de definição de indicadores, podemos sintetizar a concepção afirmando que entendemos a realidade como uma totalidade complexa em que os processos e fenômenos sociais estão em permanente interação construtiva e que as mesmas se apresentam a partir de regularidades objetivadas e carregadas de sentido. Nessa perspectiva, entendemos que a realidade social é constituída por regularidades que caracterizam as estruturas sociais e que apresentam uma existência com relativa permanência, e por processos de significação atribuídos pelos agentes sociais. O que buscamos aqui a superar a dicotomia entre os caminhos das ciências sociais para explicação do real que, por um lado priorizam o agente, a história e, por outro, a estrutura. O que significa dizer que toda realidade humana é social e vivida coletivamente, logo em relações carregadas de intenções, valores etc., que por sua vez são situadas em espaços e tempos historicamente determinadas. Afirma-se nesse debate, a necessidade de superar a posição em que se dicotomiza a importância da pesquisa qualitativa e quantitativa e se propõe um olhar em que o real seja percebido em seus aspectos de permanência e transformação imbricados, e o lugar do agente e da estrutura, enquanto mutuamente constitutivos.

Nesse sentido, compreendemos a realidade em seus aspectos dinâmicos, provisórios e históricos em que as ações dos sujeitos têm especial significado; e em seus aspectos estruturais, mais ou menos permanentes, indicadores de regularidades possíveis de serem apreendidas. Busca-se, assim, definir um olhar sobre o real que apreenda as subjetividades em ação, mediante a atribuição de valores e de significados das vivências, práticas e intenções dos sujeitos, o que pressupõe a necessidade de recorrer a técnicas de análise de cunho interpretativo; ao mesmo tempo em que compreenda a construção e materialização dessas subjetividades em função das regularidades mais amplas e estruturais que consolidam uma determinada formação social, posição que buscaremos trazer para o campo da avaliação das políticas e programas sociais.

Sobre essa questão, Minayo (1999) nos diz que um objeto do campo social possui como características principais, sua historicidade, referente à dinamicidade conferida pelo espaço/tempo; sua consciência histórica, determinada pelas ações objetivadas pelas estruturas sociais e pelo próprio cientista social inserido na relação; seu caráter ideológico, determinado pelas diferentes visões de mundo; o resultado do trabalho e sua aplicação e, por fim, a dimensão de significado, decorrente do conjunto de representações que imprimem as situações e os objetos sociais com os quais se depara cotidianamente.

Construir um modelo de avaliação de políticas públicas educacionais segundo essa perspectiva não se constituirá em tarefa fácil. Muito se tem discutido sobre esta questão e várias propostas são formuladas.Alguns autores defendem a importância de uma avaliação objetiva que considere os impactos de uma política e que resgate os indicadores que expressem as mudanças ocorridas. Outros priorizam os aspectos relacionados ao processo de implantação das políticas e que envolve a luta dos diversos atores sociais envolvidos no cenário em questão. Frente ao exposto, entendemos que é necessário superar essa perspectiva epistemológica e buscar a avaliação de políticas públicas considerando tanto os impactos quanto os processos políticos envolvidos em sua implantação.

Neste artigo partimos do princípio de que a avaliação de políticas públicas deve considerar tanto os aspectos objetivos quanto os subjetivos envolvidos no processo de sua implantação e implementação, principalmente quando estamos tentando avaliar políticas educacionais ou diretamente relacionadas à educação que envolve a possibilidade de mudança cultural e pressupõe a construção de indicadores objetivos e os significados que lhe são atribuídos.

Assim, numa primeira aproximação dos caminhos metodológicos para a construção de um modelo de avaliação de políticas públicas e da construção de indicadores, partimos da necessidade mais ampla de considerar três aspectos fundamentais: a) a política pública como um instrumento de ação do Estado, o que pressupõe situar os parâmetros analíticos sobre a concepção de Estado e de sua atuação; b) as referências teórico-conceituais e político-filosóficas que estão na base da definição do objeto da política, o que significa analisar os referenciais normativos culturais mais amplos que estão relacionados ao objeto da política, bem como o conjunto das reflexões teóricas e críticas sobre o mesmo e, por fim, c) os processos de formulação e implementação desta política, tomando por base os elementos postos na discussão anterior.

A seguir, procuraremos avançar nessa discussão tratando mais especificamente de elementos teóricos sobre a avaliação educacional, buscando aplicar elementos do debate acima para pensar mais especificamente no problema da construção de indicadores no campo da avaliação de políticas e programas educacionais, ou seja, produzir reflexões sobre uma epistemologia da avaliação educacional.

 

3. Avaliação de políticas públicas e programas educacionais: alguns aspectos conceituais a partir de um enfoque epistemológico e sociológico

As pesquisas voltadas para avaliação de políticas e programas sociais, historicamente, expandiram-se a partir da década de 1960, sendo os Estados Unidos da América o principal país a desenvolver trabalhos nesse sentido. Nesse país, as bases dessas pesquisas empíricas se relacionavam aos domínios dos programas educativos e sociais. Essas pesquisas visavam entender o significado dos programas, sua variação através do tempo e a relação entre o planejamento e a implementação da política.Atualmente, consolida-se a idéia de que as políticas públicas devem ser permanentemente acompanhadas através do monitoramento constante dos seus resultados.

No Brasil, as pesquisas para avaliação de políticas ainda não se desenvolveram suficientemente. Aliás, a preocupação com essa temática surgiu na década de 80 em função das exigências para financiamento de programas. A preocupação principal dos modelos de avaliação das políticas públicas nesse período é estudar o processo de tomada de decisões e os fatores que influenciam esse processo, sendo marcada pelo viés comportamental e neutralista. Neste caso, estuda-se a eficácia das políticas deixando relegada a avaliação política dos princípios que as fundamentam, ou seja, o seu conteúdo substantivo. Enfatizam-se o cumprimento de metas e os processos colaterais e deixa-se de lado a essência da política.

É preciso considerar na avaliação de políticas, no entanto, os princípios políticos fundamentais que a sustentam relativos à concepção do bem-estar humano, destacando os princípios de igualdade e de democracia, bem como a concepção de cidadania. Todavia, a avaliação não deve se restringir à mera análise conceitual de princípios, explícitos ou implícitos, a uma análise puramente política.

Em seu estudo, Beloni (2000) ao procurar discutir a questão de como tem se desenhado as Metodologias de avaliação em políticas públicas, tomando como referência uma experiência no campo da educação profissional,reconhece que se evidencia a predominância do uso de métodos econômicos quantitativistas, em-bora exista uma tendência à procura de métodos alternativos que buscam superar limites, partindo do pressuposto de que o quantitativo apenas se refere a alguns aspectos da realidade social complexa e, portanto, não se iguala a ela. A avaliação, neste sentido, não serve como um instrumento apenas para julgar o programa, mas serve para oferecer elementos necessários para formulação de novos programas. No que se refere à metodologia utilizada por esses estudos percebe-se graus de complexidade analítica distintas, por um lado, com a avaliação da efetividade, eficiência ou contextualização dos programas e, por outro lado, a eficácia funcional da política.

Em relação à avaliação de políticas na área educacional, podemos perceber que as mesmas não conseguem analisar os impactos das políticas na escola, pois normalmente se restringem às avaliações feitas em relação à etapa de diagnóstico e das propostas educacionais, raramente versando sobre o alcance de seus resultados, existindo uma grande distância entre o diagnóstico da situação e a tomada de decisão.

Nessa direção, podemos afirmar que, normalmente, os modelos de análise do processo de implementação de políticas educacionais, priorizam alguns aspectos em detrimentos de outros. Assim, alguns estudos priorizam as relações entre a formulação da política e os formatos que os programas adquiram ao final do processo; outros, a dimensão temporal que trata dos efeitos no tempo em relação à organização em que se processam (resistências e adesões por parte dos atores participantes) e as modificações das condições iniciais; e outros, ainda, avaliam as condições que propiciam ou entravam o alcance dos resultados previstos.

Essa discussão revela que no processo de avaliação de política e programas educacionais os diversos condicionantes que determinam a sua implantação e resultados precisam ser considerados.Assim, aspectos como o ambiente político no qual os programas se desenvolvem, as forças políticas que se contrapõem ou fazem alianças para apoiar ou resistir ao programa, o ideário econômico-financeiro que preside a determinação sobre a alocação dos gastos públicos, as concepções sobre a maior ou a menor necessidade de democratização do Estado, a visão sobre os princípios de eficiência, efetividade e eficácia das ações governamentais na área social, entre outros, precisam se integrar ao modelo avaliativo a ser definido.

Outra questão relevante é a pretensa incompatibilidade entre avaliações quantitativas e qualitativas. Historicamente, a administração pública brasileira faz levantamentos quantitativos de informações de ordem econômico-financeira que têm a finalidade de penalizar entidades com suas prestações de contas com o governo federal. Por se tratar da administração de recursos públicos, é importante que se utilizem avaliações quantitativas, sem dúvida, mas seria interessante que se introduzissem novos parâmetros/indicadores relacionados à avaliação qualitativa.

Nessa discussão torna-se importante considerar que o impacto de uma política é uma medida do desempenho da ação pública e que a causa para realização de avaliações políticas pode ser de ordem moral (ética) ou instrumental. A primeira diz respeito aos princípios de justiça que norteiam a formulação de políticas e suas repercussões nas condições de vida da população. Deve ser, portanto, uma avaliação política e de política, considerando princípios, produto e impacto. A segunda se relaciona com a implementação da política ou programa, visando obter um fluxo contínuo de informações sobre seus resultados em termos de volume e qualidade – ou controle de impactos. O que nos leva a afirmar que não é suficiente aferir se o estado desejado ocorreu, mas é necessário considerar também se a nova situação está sendo construída à luz de princípios de justiça sociais minimamente aceitos. Daí ser fundamental considerar os projetos sociais em confronto e suas vinculações ao modo como a sociedade se estrutura, bem como as representações sociais dos atores envolvidos na formulação, implementação e controle dos resultados das políticas e programas.

A consideração sobre esses aspectos nos leva a destacar o importante papel que as ciências sociais podem desempenhar na medida em que podem oferecer modelos analíticos a serem tomadas como referência nas análises em questão, com destaque para a sociologia e a ciência política, referências que podem oferecer importantes focalizações para a discussão e compreensão das políticas educacionais no Brasil, na contemporaneidade. Podemos chegar a essa conclusão independentemente do sentido que dermos a avaliação educacional: se no âmbito pedagógico, interno à escola, uma vez que o desempenho dos alunos é medido mediante a definição de indicadores que revelam o que a coletividade espera dos seus membros; ou no aspecto mais amplo, da definição das políticas e programas educativos ou da gestão dos sistemas públicos e privados de ensino. Nesses casos, também se evidencia, ai de forma até mais clara, a relação entre os projetos sociais dos grupos de poder e os modelos de educação estruturados.

Utilizando um recorte sociológico para analisar o lugar social da avaliação educacional no Brasil, podemos perceber que tradicionalmente o debate sobre avaliação esteve voltado para os aspectos do desempenho do aluno e a preocupação com a melhoria da aprendizagem; ou para a questão do contexto organizacional da escola. Apesar dessa preocupação evidente e de sua vinculação a abordagens do campo da psicologia por se tratar de um problema sobre como os sujeitos aprendem, se tomarmos a mesma questão a partir de um enfoque sociológico poderemos perceber uma vinculação estreita entre os diferentes modelos de avaliação utilizados nas escolas ao longo deste século e as estratégias de controle social e legitimação política, evidenciando as relações entre os aspectos micro e macro-sociais para a compreensão do processo avaliativo que vai além do espaço encoberto pelo cotidiano escolar.

Além disso, é importante destacar que a própria avaliação do desempenho dos alunos assumiu várias vertentes ao longo do tempo, indo desde um modelo restritivo vinculado, especificamente, ao trabalho como resposta ao processo de ensino e servindo para verificação das aprendizagens, a um modelo ampliado em que o avaliação do desempenho escolar do aluno é tomada como indicador de qualidade da educação pública. No Brasil, essa situação se evidencia especialmente a partir de meados dos anos 1990 e com destaque para o nível da educação superior, o que está relacionado ao contexto do novo modelo social que se consolida no cenário da globalização de mercados caracterizando-se como uma estratégia importante para definir o lugar das Instituições de Educação Superior em rankings de resultados que se revelam em instrumentos eficazes para a definição de um mercado educacional. A partir daí se espera que os “consumidores” da educação superior possam fazer suas escolhas com segurança⁶.

Essa reflexão nos leva a reafirmar a importância de considerar na construção de modelos de avaliação a questão relativa ao contexto das mudanças econômicas e políticas mais amplas em que se inserem as mudanças educativas. Nesse sentido, o próprio movimento que surge no âmbito da gestão de programas e dos sistemas educativos em que a avaliação aparece como condição essencial para o alcance de um determinado parâmetro de qualidade precisa ser pensada a partir desses contextos.A questão que se coloca é a seguinte: Em que cenários e qual a motivação econômica e política que está na base dessa nova demanda que surge com relação ao papel da avaliação educacional, agora não apenas voltada para o interior das escolas, mas essencialmente para os sistemas e programas educativos mais amplos?

Essa questão é de grande relevância, pois não podemos esquecer que a avaliação é ela própria uma atividade política, como afirma Afonso (1998) ao dizer que isto pode ser constatado

quando se estuda e pratica a investigação avaliativa, nomeadamente pela análise sociológica de programas educacionais e de políticas públicas.Verificar a que interesses serve e como é que esses interesses são representados ou respeitados implica aceitar que avaliação é ‘uma atividade que é afetada por forças políticas e que tem efeitos políticos’ (Afonso, 1998: 33)

Nessa ótica, podemos tentar responder a questão proposta quanto ao surgimento da ênfase no processo avaliativo que surge nos anos 1990 no mundo e também no Brasil, bem como as perspectivas adotadas para proceder às avaliações de políticas e programas educativos. Esse processo é decorrência de um crescente investimento na educação ocorrido durante toda a década de 1960 e 1970 sem que os efeitos ou metas esperadas/anunciadas tivessem sido alcançadas.

No âmbito internacional, a crise de legitimidade da educação em decorrência dos evidentes processos de exclusão de amplas camadas sociais especialmente no que se refere a uma educação de qualidade no conjunto dos países em desenvolvimento e a crise de emprego, gerou certa descrença com relação aos efeitos sociais da escolarização e produziu um discurso que buscou transferir a responsabilidade do Estado pelos resultados da educação para outras instâncias da sociedade. Nesse cenário, a necessidade de fiscalização dos investimentos feitos em educação, visando o controle de seus resultados e a justificativa perante a sociedade e os contribuintes revelou-se como uma urgência. Na verdade, buscou-se definir mecanismos de responsabilização (accountability) para os problemas de ineficiência dos sistemas educativos. Nesse cenário, se fortaleceu um discurso de que a origem dos problemas estaria relacionado a falta de controle sobre o trabalho das escolas e, portanto, à necessidade de desenvolver mecanismos de pressão social para garantir uma maior participação e responsabilidade da sociedade com os resultados da escolarização.

Na década de oitenta esse movimento é acompanhado em diversos países pelo fortalecimento de posições e modelos de políticas de cunho neoliberal e neoconservador o que gerou um novo impulso para os mecanismos de responsabilização. Observa-se nesse caso, uma convergência de intenções entre alguns modelos de prestação de contas e os pressupostos que sustentavam as políticas educacionais, especialmente aqueles que afirmavam o princípio do direito de escolha da educação por parte dos pais, enquanto consumidores, e a sua relação com a divulgação dos resultados alcançados pela escola, necessários para a fundamentação dessas mesmas escolhas. Resultados estes que deveriam ser construídos com base em procedimentos de avaliação sustentados em indicadores de qualidade confiáveis.

É nesse cenário que a avaliação dos sistemas educativos passa a ser destacada como estratégia fundamental para a definição e o controle das políticas educativas. Nessa ótica, podemos perceber uma vinculação estreita entre as políticas de avaliação de desempenho dos alunos largamente adotada no Brasil desde os anos 1990 e sua associação à responsabilização dos atores que fazem a escola pelos resultados escolares dos alunos.As nuances desse processo se configurarão a partir dos interesses políticos em jogo e da conjuntura política, sendo esses aspectos determinantes para o modelo de avaliação educacional adotado. Este é um aspecto fundamental a ser considerado para podermos compreender as mudanças que vão surgindo nos modelos de avaliação e nos processos de construção de indicadores decorrentes dos projetos educativos configurados em cada período histórico.

Assim, podemos compreender o motivo da ênfase na retomada da construção de indicadores de avaliação educacional sustentados em modelos positivistas o que ocorre na contramão do que vinha sendo evidenciado no campo da teoria da avaliação que trazia para o centro do debate abordagens anti-positivistas e pluralistas. A ênfase em modelos positivistas enfatizava a construção de indicadores mensuráveis que se tornaram destaque no conjunto das políticas neoliberais e neoconservadoras. O que se quer dizer é que, na própria formulação das políticas estava incluído o processo de avaliação com uma perspectiva desenhada previa-mente.

Esse é uma evidência de como as mudanças nas políticas governamentais marcadas por projetos sócio-políticos determinados pode, em determinadas conjunturas, resultar em mudanças nas práticas avaliativas. No caso da educação a preocupação com o produto, mais do que com o processo, se tornou uma evidência e revelou elementos que foram tomadas como referência para a caracterização do Estado que passou a ser denominado por estudiosos da questão como Estado avaliador.

No Brasil esse processo é marcado pelas novas características assumidas em função da reconfiguração política do Estado brasileiro decorrência do projeto de reforma, apregoada como essencial à modernização e enxugamento das estruturas burocráticas e orientada principalmente pelo Banco Mundial, cuja intenção é adequar o país aos novos interesses do espaço internacional capitalista, reforma que tem gerado mudanças em vários setores da sociedade à medida que tem levado o Estado a deixar de exercer, de modo direto, as funções da educação, saúde e assistência social descentralizando-as para as esferas de poder local; de outro, nesse período consolida-se a perspectiva dos setores educacionais organizados a partir do processo de redemocratização do país que vêem na educação um instrumento fundamental para a construção da cidadania e na descentralização do poder, autonomia e participação da sociedade civil os elementos fundamentais para a construção da democracia real.

No âmbito governamental, as iniciativas de implantação de reformas administrativas ganharam destaque no governo de Fernando Henrique Cardoso, quando começaram a ser tomadas medidas voltadas às mudanças no padrão das políticas educativas e em que a avaliação educacional, juntamente com a gestão da educação, ganhou centralidade. Nesse momento, a questão da autonomia das unidades escolares e das administrações locais, em articulação com os processos de descentralização das decisões e da transferência de responsabilidades entre as instâncias centrais e locais de poder passam a ser priorizadas em consonância com um modelo de monitoramente e avaliação que se consolida principalmente a partir dos anos 1990.

No Brasil, no que diz respeito à emergência de novos processos de avaliação notam-se naturalmente especificidades que devem ser relacionadas com o impacto (ou recepção) que, entre nós, tiveram transformações e debates que atravessaram os sistemas educativos em outros países, desde o início dos anos oitenta período que foi marcado por um conjunto de polarizações, tais como: regulação-(des)regulação; escola pública-privatização da educação e competitividade entre as escolas; preocupações sociais-preocupações com a produtividade; igualdade de oportunidade-excelência; necessidades educativas-competências e seletividade.

Um fato que contribuiu significativamente para a difusão dessas idéias foi a criação do Ministério da Administração Pública e Reforma do Estado (MARE), responsável pela elaboração do Plano Diretor da Reforma do Estado, que defendia, dentre outros princípios, a descentralização política, administrativa e a redução de níveis hierárquicos nas instituições públicas, propondo a substituição da administração pública burocrática pela implantação da administração gerencial. Esta pode ser entendida como a prática onde o gestor terá ampla liberdade para administrar os recursos humanos, materiais e financeiros colocados à sua disposição, desde que atinja os objetivos qualitativos e quantitativos e alcance indicadores de desempenho definidos previamente no âmbito de instâncias decisórias exteriores (MARE, 1995)⁷ .

As mudanças ocasionadas pela emergência desse novo paradigma reformista serão fortemente influenciadas pela competição internacional, a globalização financeira, as crises fiscais e o esgotamento do padrão de financiamento do setor público, contribuindo assim para a adaptação do Estado Nacional ao novo quadro mundial, em que a competição deveria ser a base para a reorganização da sociedade democrática superando as crises vividas no período anterior.

Desse modo, como conseqüência do surgimento desse paradigma, ocorre um re-ordenamento administrativo baseado na redução da capacidade regulatória do Estado nos anos 1990, capacidade regulatória que vem sendo retomada nos anos seguintes, especialmente durante os últimos sete anos em que governo federal vem sendo assumido pelo Partido dos Trabalhadores, tendo a frente o presidente Luiz Inácio Lula da Silva⁸.Assim, observar-se uma mudança de perspectiva em que as funções produtivas na oferta de bens e serviços e em sua estrutura administrativa que nos anos 1990 se sustentam nos princípios de descentralização, privatização e principalmente a competitividade, um dos princípios básicos defendidos pela política neoliberal, para um modelo de forte regulação estatal especialmente das políticas educacionais feitas com base, principalmente, em modelos de avaliação dos sistemas de ensino em todos os níveis, desde a Educação Básica até a Educação Superior⁹

O modelo que está na base dos sistemas criados se sustenta em fortes perspectivas de regulação do sistema, distanciando-se de uma perspectiva emancipatória nos moldes em que discute Sousa Santos (1995; 2001). Assim, as medidas descentralizadoras expressas no processo de municipalização do ensino preconizado pela Constituição de 1988 e pela LDB 9394, de 1996, visam à obtenção de eficácia e eficiência nos serviços educativos, como também maior economia de recursos. Desse modo, esses objetivos serão atingidos através da delegação de responsabili-dades para as escolas e da democratização do ensino, fazendo com que haja maior participação, cobrança, fiscalização e controle social das ações governamentais por parte da população, tendo na avaliação educacional o instrumento mais eficaz de construção de informações a serem publicadas e utilizadas como parâmetros para o controle social e a tomada de decisões, como podemos perceber no texto a seguir.

A eficiência e eficácia da gestão exigem, portanto, uma política específica dirigida em termos das seguintes diretrizes: formação de quadros técnicos qualificados e permanentes no Ministério da Educação e nas secretarias estaduais e municipais e especialmente no que diz respeito aos sistemas de informação, avaliação e planejamento, a desburocratização e a descentralização da gestão, especialmente através de uma maior autonomia das escolas, às quais devem ser repassados, automaticamente, os recursos necessários à manutenção do cotidiano escolar uma gestão democrática e participativa especialmente no nível das escolas, mas também através dos conselhos Estaduais e Municipais, que assegure a fiscalização do uso e destinação adequada dos recursos disponíveis (MEC,1998: 78)

O que podemos perceber é que segundo a ótica proposta acima a solução para os problemas do fracasso da escola que apresenta altos índices de evasão e repetência só será possível mediante a superação da ineficiência e da crise de improdutividade que a tem marcado. Para isso o Estado deve investir na racionalização administrativa do setor educacional em que a contenção dos gastos e a otimização dos recursos passam a ser o principal alvo. Nesse sentido, prega-se a necessidade do estabelecimento de objetivos, prazos e metas previamente traçados pelas es-colas e posteriormente avaliados segundo indicadores definidores dos padrões de qualidade a serem alcançados, revelando o projeto social em evidência.

Não podemos deixar de considerar os riscos dessa metodologia no que se referem às suas relações com as práticas pedagógicas, pois a sua adoção sem um debate crítico pode legitimar políticas discriminatórias por meio de critérios determinados externamente, a partir da transferência de teorias e modelos empresariais para o seio da escola, o que pode vir a se constituir em estratégia para eliminar a luta política e introduzir uma relação de controle e competitividade.

No interior deste debate, não podemos excluir as possibilidades de que o apelo à participação popular no controle da execução das políticas favoreça a superação da desarticulação social, já que é possibilitado o surgimento de canais institucionais para a construção de um padrão de gestão democrático que auxilie na melhoria da qualidade do ensino. Nesse caso, consideramos de fundamental importância a participação da sociedade civil no controle das ações do Estado, especialmente no que se refere ao espaços públicos institucionais em que se materializam a prestação dos serviços públicos, como é o caso da escola. Esta atuação dos atores sociais precisa ser pensada como estratégias de controle social e de sobrevivência da população organizada, face aos novos padrões de sociabilidade que o movimen-to de globalização vem impondo. Esta reflexão nos remete para a importância de se refletir sobre os modelos de avaliação implementados, visando superar modelos pré-estabelecidos com base em indicadores construídos previamente e segundo padrões de qualidade definidos segundo parâmetros exclusivamente externos, para a construção de modelos baseados na negociação e no compromisso dos atores envolvido no processo, o que revelaria, como consideram Tenório e Vieira (2009)¹⁰ a inclusão de uma nova dimensão da avaliação a ser considerada como fundamental para a construção de modelos avaliativos gerados coletivamente e possíveis de contribuir para a melhoria efetiva dos serviços públicos prestados a população, posicionamento teórico que avança na classificação proposta por Guba e Licoln (1989).

É relevante considerar, ainda, que os modelos adotados precisam ser discutidos para que possamos formular propostas inovadoras e diferenciadas que superem a intenção primordial de atender ao ethos competitivo que vem sendo adotado pelo Estado através da definição de políticas públicas, na atualidade, e direcionar para a construção de um ethos colaborativo e solidário.

Essa posição se evidencia em função também da crise que se vislumbra na atualidade.A afirmação de “menos Estado e mais mercado” como era preconizado pelo modelo neoliberal nos anos 1990 parece estar em cheque. A crise mundial que tem marcado as relações econômicas durante os anos 2008 e 2009 fazem com que a discussão sobre o papel do Estado e de seu lugar no processo de regulação dos mercados seja retomada.A lógica do mercado que marcou os discursos sobre a gestão pública da educação trazendo para o seu domínio modelos de gestão privada cuja ênfase é posta nos resultados ou produtos dos sistemas educativos precisa ser rediscutida e, nesse bojo, obviamente, os modelos de avaliação educacional e seu papel para o alcance de padrões de qualidade educacional. Qual é o papel da avaliação de políticas públicas no cenário atual? Como se dará a regulação estatal nesse novo cenário? Como o Estado deverá se comportar no processo de definição de políticas e da sua avaliação? Que tipo de referências de qualidade precisa ser considerado como referência para pensar os sistemas de ensino frente às novas configurações sociais que se vislumbram os tempos atuais e nos cenários que viram pós-crise? Essas são questões que não podem ser desprezadas quando pensamos no processo de avaliação de políticas e programas educacionais.

 

4. Qualidade em educação: aspectos relevantes do debate

O termo qualidade tem diferentes significados. Qualidade é um conceito polissêmico, fluido, abstrato.As definições podem ser complexas, e não são consensuais. O conceito de qualidade é fortemente dependente do contexto social e histórico em que é considerado.

Demo (1994) alerta para a falsa dicotomia entre qualidade (intensidade) e quantidade (base extensa): a qualidade (intensidade) é sempre histórica, e representa a ação humana no desafio de construir e participar; a quantidade é a ex-tensão da qualidade. O referido autor assimila o conceito de qualidade à idéia de oportunidade, afirmando que “qualidade é ter e, sobretudo, ser oportunidade plenamente desdobrada, no contexto social” (Demo, 1994: 15).

Assim, a “qualidade total” não pode se restringir, como na literatura e prática empresarial, a ações de planejamento e organização; a qualidade supõe a competência humana, formal e política. Demo (1994), então, distingue qualidade formal e qualidade política.

Qualidade formal é a habilidade para manejar técnicas e procedimentos. Qualidade política é a competência de fazer história, da participação e do encontro de valores. Qualidade formal (meios e técnicas) e qualidade política (fins e ética) se relacionam de forma indissociável, nas atividades humanas. Desta forma, o autor reforça a importância da qualidade da educação através do alcance de padrões de desempenho.

O conceito de qualidade em educação é fortemente influenciado pelas teorias educacionais e pela respectiva forma com que as mudanças educacionais são programadas. Em países em desenvolvimento, existem duas grandes tendências que focalizam o problema da qualidade em educação (Montala, 2000).

De um lado, uma tendência com foco nos macro aspectos da educação, que enfatiza avaliações quantitativas em larga escala para os diferentes aspectos da qualidade em educação, e prefere soluções técnicas e medidas centradas no conceito de eficiência. De outro lado, a segunda tendência, reconhecendo a fragilidade do Estado para a implantação de programas de qualidade em educação, destaca a interação entre escolas e comunidades locais, enfatizam avaliações mais qualitativas e focaliza no micro nível escolar, afastando-se de estudos de larga escala, e propondo soluções políticas e não homogêneas, dando maior atenção à complexidade, incertezas e unicidade dos parâmetros escolares de qualidade.

Conceitualmente, a avaliação da qualidade está dividida entre uma abordagem de cunho culturalista da escola e da sala de aula e uma abordagem sistêmica das políticas e dos macros aspectos da educação.Ambas as perspectivas são limitadas - a sistêmica por não considerar a influência de diferentes culturas e contextos, e a culturalista por não avaliar especificamente o efeito a escola sobre a aprendizagem e o desempenho dos alunos.

Estas tendências estão em aparente oposição, representando uma tensão constante entre a perspectiva de uma educação para servir as demandas de uma sociedade e de uma economia globalizada, e a perspectiva de uma educação para servir os objetivos da cidadania; mas uma análise mais acurada nos mostra que se aproximam daquilo que Demo (1994) denomina qualidade formal e qualidade política. A qualidade em educação não é completamente explicada por nenhuma das duas tendências isoladamente. Há uma crescente compreensão da necessidade de se buscar informações quantitativas que auxiliem o planejamento e a definição de políticas.Também há uma crescente compreensão da necessidade de conhecimento do cotidiano escolar, através de pesquisas qualitativas de avaliação (estudos de caso, avaliações institucionais, etc), com forte ênfase na escola e na sala de aula.

Há que se considerar, no entanto, que o conceito de qualidade mudou significativamente ao longo do tempo até chegar a concepção mais ampliada apresentada anteriormente. Qualidade tem sido definida como valor (Feigenbaum, 1951), ausência de problemas (Crosby, 1979), adequação ao uso (Juran e Gryna, 1980), conformidade às especificações (Gilmore, 1980), excelência (Peters e Waterman, 1982), atendimento às expectativas dos interessados (Parasuraman e outros, 1985), etc.

Cheng (2003) afirma que as grandes reformas educacionais no mundo, objetivando uma educação de qualidade, têm se desenvolvido através de grandes ondas que se sucedem no tempo, orientadas por diferentes teorias de qualidade em educação e de eficácia escolar.

A primeira onda de reformas educacionais se iniciou nos anos 1970, e focou principalmente a busca da qualidade interna, com ênfase na melhoria do desempenho de alunos e professores, através da melhoria dos métodos e processos de ensinar e aprender. A segunda onda, iniciada a partir dos anos 1990, enfatiza a satisfação dos interessados e a eficiência. A recente terceira onda tem enfatizado a relevância e a eficácia futura da educação.

Do ponto de vista teórico, Cheng e Tam (1977) identificam, a partir de uma ampla revisão da literatura, sete modelos de qualidade em educação: o modelo de metas e especificações, o modelo de insumos, o modelo de processo, o modelo de satisfação dos interessados, o modelo de legitimidade, o modelo de ausência de problemas e o modelo de aprendizagem organizacional. O quadro sumariza estes modelos.

As diferentes concepções de qualidade acima apresentadas estão correlacionadas, constituindo uma família de significados, ou um significado por família de similaridades (cf.Wittgenstein, 1979). Apesar de nenhum desses modelos, isoladamente, apreender a qualidade educacional, no conjunto, a partir de diferentes perspectivas, podem produzir um quadro útil para a compreensão de sua qualidade formal, favorecendo o desenvolvimento de estratégias gerenciais para promovê-la.

A partir do exposto, podemos afirmar que qualidade educacional é um conceito fluido, polissêmico, complexo, cuja apreensão, que se deseja objetiva, será sempre parcial, incompleta. Não existe a qualidade absoluta, e uma definição de qualidade poderá ser objetiva, mas sempre parcial. Os indicadores de qualidade em educação, associados a cada definição de qualidade, serão, portanto, de natureza distinta.

Tomada a decisão de utilizar indicadores de qualidade em educação, a dificuldade desloca-se para a escolha de um reduzido número de indicadores significativos, já que o número de variáveis envolvidas é sempre bastante elevado.

 

Quadro 1: Modelos de qualidade em educação

DIMENSÕES MODELO	Concepção de qualidade educacional	Pressupostos e Condições de uso do modelo	Indicadores / áreas para avaliação de qualidade
Metas	Atingir metas organizacionais; conformidade a especifi cações dadas.	Metas claras, consensuais, com limites temporais e mensuráveis.	Objetivos institucionais; padrões e especificações listadas no planejamento. Ex.: desempenho acadêmico; taxa de aprovação, fl uxo, etc.
Recursos	Qualidade dos recursos utilizados pela instituição.	Recursos escassos. Clara relação entre recursos e resultados.	Recursos procurados pela instituição. Ex.:qualidade inicial dos estudantes; suporte fi nanceiro, etc.
Processo	Processos internos fluentes e isentos de problemas; experiências de aprendizagem frutíferas.	Clara relação entre processos internos e resultados.	Liderança, participação, interação social, clima em sala-de-aula, atividades e experiências de aprendizagem.
Satisfação	Relação entre expectativas e satisfação de todos os interessados (stakeholders).	As demandas dos interessados são compatíveis e não podem ser ignoradas.	Expectativas e satisfação das autoridades educacionais, diretores, administradores, professores, pais, estudantes, etc.
Legitimidade	Alcance de posição de legitimidade e reputação da instituição.	Ambiente bastante competitivo e exigente.	Imagem pública, reputação, status na comunidade, relações publicas, marketing, responsabilidade (accountability).
Ausência de problemas	Ausência de problemas e dificuldades na instituição	Não há consenso sobre os critérios de qualidade, mas são necessárias estratégias para melhoria.	Ausência de conflitos disfunções, dificuldades, defeitos, fraquezas, preocupações, etc.
Aprendizagem organizacional	Adaptação a mudanças ambientais e barreiras internas; melhoria contínua	Instituições novas ou em mudança. Mudanças ambientais importantes	Planejamento de desenvolvimento, desenvolvimento de pessoal, monitoramento de processos internos, mudanças constantes

Fonte: adaptado pelos autores de Cheng e Tam (1977)

 

Desta forma, a qualidade em educação é um conceito multidimensional, exigindo um conjunto finito de indicadores para melhor ser apreendida.A construção de indicadores requer a identificação das dimensões mais fundamentais de qualidade em educação, além da criação de formas apropriadas de medição, momento em que os aspectos a serem avaliados devem considerar: uma perspectiva sistêmica, como na qualidade formal e na gestão educacional; uma perspectiva focalizada no cotidiano em que os interesses em jogo efetivamente se expressa; e o os diferentes modelos gerenciais de qualidade em educação.

Em síntese, podemos definir qualidade educacional como o caráter de diversos elementos associados às seguintes dimensões de qualidade:

1. Eficácia – atingir as metas estabelecidas;

2. Eficiência – otimizar o uso dos recursos;

3. Efetividade – considerar os resultados sociais do serviço;

4. Eqüidade - minimizar o impacto das origens sociais no desempenho;

5. Satisfação – relacionar expectativas e satisfação dos segmentos interessados.

A seguir, nas considerações finais aprofundamos essa discussão tentando apresentar algumas contribuições provisórias para o processo de definição de indicadores de qualidade em educação e para a elaboração de modelos de avaliação educacional.

 

Considerações finais

Podemos considerar de princípio que avaliar é uma ação rotineira e espontânea realizada por qualquer indivíduo sobre os processos sociais vividos cotidianamente, constituindo-se em um meio utilizado permanentemente para questionar, compreender e orientar as ações de indivíduos ou grupos, buscando aperfeiçoálas. Assim, podemos afirmar que qualquer forma de avaliação envolve julgamento, tratando-se, portanto, da atribuição, aprovação ou reprovação, a partir de certos parâmetros construídos com base nas vivências sociais. Estamos nos referindo ao que podemos chamar de avaliação informal. Se pensarmos, no entanto, num processo de avaliação formal, cujo objetivo explícito precisa ser definido previamente, o seu significado não é muito diferente.Também, neste caso, precisaremos atribuir valor, fazer julgamentos, acompanhar e verificar os rumos dos processos que estão sendo avaliados, com o objetivo de aperfeiçoar as ações. No caso específico da avaliação de políticas públicas e programas educacionais, que envolve a análise de processos sociais complexos e multidimensionais, a diferença é que se trata de reflexão sistemática que necessita partir de referências teóricas e metodológicas construídas por determinadas áreas de conhecimento ao longo do seu desenvolvimento.

Nesse cenário emerge uma questão importante que evidencia a complexidade de pensar a avaliação de políticas e programas educacionais e a construção de indicadores de qualidade em educação a partir das referências postas pelo campo das ciências sociais no processo de construção do conhecimento sobre a realidade social e que foram tratadas no item anterior.Trata-se de questionar como pensar a avaliação enquanto momento que envolve a atribuição de valor com base em parâmetros prévios; a formulação de julgamentos, o acompanhamento e verificar dos rumos dos processos para poder redirecioná-los no sentido de seu aperfeiçoamento? Como situar essa ação para identificar a qualidade da educação ofertada frente ao discurso que se afirmou sobre as ciências sociais durante longo tempo que colocava como exigência a separação entre juízo de fato e juízo de valor? É possível promover essa separação no âmbito das ciências sociais e da construção de indicadores de qualidade educacional? Será que estamos atribuindo um novo sentido à expressão atribuir valor para o significado do termo avaliação?

Sabemos que dificilmente poderemos escapar dessa discussão a partir de afirmações fechadas ou simplificadas que procurem, por exemplo, mudar o sentido a ser atribuído ao termo avaliação, como por exemplo, afirmar que avaliar não se trata de atribuir valor ou julgar. Entendemos que é neste embate que se centra a questão central a ser trabalhada por uma epistemologia da avaliação educacional. Nesse sentido é preciso enfrentar essa questão e buscar encontrar caminhos explicativos para a discussão acerca de que tipo de julgamento se está falando; sobre o que estamos querendo dizer com a expressão atribuir valor.

Para avançar nessa discussão vamos tentar situar o debate sobre a questão a partir de dois momentos específicos: um primeiro em que tratamos da questão da relação entre juízo de fato e juízo de valor e das possibilidades que se vislumbram no momento atual no conjunto do debate no campo da epistemologia das ciências sociais; e num segundo momento, vamos discutir por que o campo de estudo da avaliação educacional se torna exemplar para o debate sobre essa questão, na medida em que envolve em sua própria definição, por um lado, uma dimensão que se articula ao campo da produção científica e do rigor teórico e metodológico como critérios de validez e, por outro, uma vinculação direta aos interesses em jogo na cena sócio-cultural e política em que os atores sociais estão imersos.

No que se refere ao primeiro aspecto esse é um debate que permeia o conjunto das diversas abordagens no campo das ciências sociais e que já foi amplamente discutido inicialmente. No segundo, que trata mais diretamente do problema da construção de indicadores de qualidade no campo da avaliação educacional, é importante destacar alguns aspectos que, apesar de não terem a pretensão de resolver a questão, pretendem se constituir como elementos direcionadores da discussão. Nesse sentido, podemos afirmar que: a) é necessário trabalhar com as duas dimensões envolvidas no conceito de avaliação educacional como aspectos articulados uma vez que não podemos tratar da construção de conhecimento científico desvinculando-os de sua referências contextuais; b) no processo de construção de modelos de avaliação de políticas e programas educacionais torna-se necessário definir com clareza, por um lado, as referências teórico-metodológicas tanto do próprio campo da avaliação quanto do campo de conhecimento do objeto que está sendo avaliado se insere, no caso a qualidade da educação, e por outro, os cenários sócio-culturais e políticos em que se inserem os sujeitos sociais envolvidos nas políticas e programas, ou seja, gestores e usuários; c) a demarcação dos interesses em jogo na cena política em que se configuram determinadas políticas e programas educacionais que se afirma como aspecto fundamental a ser tratado no âmbito dos processos avaliativos e dos modelos de educação de qualidade.

A seguir apresentamos uma proposição provisória com um conjunto de estratégias que podem ser considerados como norteadores para a definição de indicadores de qualidade e para a construção de modelos de avaliação de políticas e programas educacionais, partindo do debate realizado até aqui:

1. O primeiro momento para a construção de indicadores de qualidade da educação ofertada e para a definição de um modelo de avaliação deve ocorrer na direção da discussão epistemológica sobre as opções teórico-metodológicas a serem adotadas, bem como nos critérios de validez a serem considerados com relação aos conhecimentos que se pretendem construir com a execução do modelo e o seu uso social. Nesse momento do debate devem ser delineados os conceitos centrais que serão utilizados, bem como os mecanismos para operacionalização dos conceitos o que sinaliza para a construção dos indicadores.Torna-se fundamental nesse momento tomar posição quanto ao sentido atribuído ao próprio termo avaliação, ao termo qualidade e ao modelo de avaliação que será adotado¹¹. Nesse sentido, podemos estabelecer diferentes classificações para a análise dos processos avaliativos que tomam por base diferentes perspectivas, como por exemplo, aquela apresentada por Lawton (1980) que, considerando a dimensão políticoideológica, classifica os processos de avaliação como avaliação burocrática, avaliação autocrática e avaliação democrática.Ainda nessa direção, é preciso considerar se serão adotados modelos participativos que envolvem a negociação de todos os passos da avaliação com os atores envolvidos, bem como o compromisso dos atores com a busca das informações, com os resultados da avaliação e com o uso social dos mesmos em função de projetos sociais claramente delineados no debate coletivo; ou se serão promovidos modelos parcialmente participativos em que os atores serão informados sobre os processos que estão sendo desenvolvidos, mas sem que seja exercido o poder de decisão coletiva quanto à construção de indicadores e dos resultados da avaliação; ou ainda modelos não participativos, feitos com base em solicitações externas que definem os objetivos e metas a serem alcançados previamente independentes dos interesses dos atores envolvidos na política ou programa educacional, entre outras possibilidades.

2. O segundo momento deve representar o aprofundamento dos aspectos conceituais envolvidos na avaliação, destacando-se aqueles relativos aos conceitos de Estado, política pública e política educacional que iremos adotar. No contexto atual da definição das políticas educacionais, afirmamos a necessidade de analisar a configuração das políticas públicas como um instrumento de ação do Estado e, no interior dessa discussão, trabalhar com questões relativas ao processo de descentralização e à configuração do poder local. Esses são aspectos importantes para que possamos compreender os cenários sócio-políticos em que se insere a política ou programa que será avaliado e, portanto, o modelo de avaliação a ser construído.

3. No terceiro momento, é necessário aprofundar o conhecimento acerca da política ou programa específico sobre o qual será elaborado o modelo de avaliação educacional, o que pressupõe considerar dois aspectos principais: a) dados relativos ao objeto da política ou programa, ou seja, o cenário educacional do município, gestão, ou do objeto foco da avaliação; b) as perspectivas teórico-conceituais e político-filosóficas que estão na base da definição do objeto da política. Nesse sentido, é preciso desvelar os referenciais normativos culturais mais amplos que estão relacionados ao objeto da política em foco. Para a realização deste momento da pesquisa são fundamentais a utilização de diversos tipos de procedimentos para coleta de dados, destacando-se entre eles: levantamento de dados secundários de indicadores estatísticos; pesquisa bibliográfica para apreender o estado do conhecimento sobre o objeto que está sendo avaliado; pesquisa documental em que serão levantados e analisados os principais documentos produzidos sobre a política ou programa avaliado, visando apreender as perspectivas teórico-conceituais e político-filosóficos que fundamentam a opção pela realização do programa.

4. Por fim, construir indicadores de qualidade para proceder à análise dos processos de implementação e dos resultados da política ou programa, o que significa avaliar tanto o processo de implementação quanto os seus impactos no âmbito dos poder local, bem como a possibilidade de sua (re)significação a partir de sua relação com as definições postas no âmbito de outras esferas de governo. Para tanto, podemos tomar duas ordens de fatores: as condições objetivas concretas que caracterizam o ambiente em que está sendo realizada a política o programa com relação à situação socioeconômica e política local, regional e nacional; os aspectos subjetivos, relacionados às concepções dos sujeitos direta ou indiretamente relacionados à política o programa. Quanto a este último conjunto de variáveis, entendemos que as representações sociais sobre os programas específicos configuram-se em elementos de grande importância para a compreensão das iniciativas concretas para a materialização do programa no cotidiano das escolas.

A necessidade de considerar os elementos acima se vincula a permanente exigência de tomada de posição que estão presentes nos processos avaliativos e que é vivenciado tanto pelas instituições que assumem o compromisso para realizar os processos avaliativos, quanto pelos avaliadores enquanto produtores de conhecimento sobre uma dada realidade que se pretende mudar ou transformar e enquanto atores políticos comprometidos com o processo avaliativo e com seus resultados, que segundo Tenório e Vieira (2010) revelam a sua sustentabilidade.

Este não é um desafio novo. Muitos autores, desde os clássicos, como Marx, Weber, Mannheim, até os contemporâneos, como Bourdieu, Habermas, Lowy, tantos outros pesquisadores buscaram enfrentar essa questão, analisando a relação entre o trabalho do cientista social e as suas vinculações institucionais, especial-mente, as instituições políticas. Como promover o distanciamento necessário à construção de um conhecimento reconhecidamente válido sobre o social? Como tratar o uso político desse conhecimento e ao mesmo tempo garantir os critérios de validez e legitimidade pela comunidade científica? Em essência, tratar da construção de modelos de avaliação educacional é discutir as vinculações e mediações entre a ciência e a política e os projetos sociais em confronto. Eis a questão que nos instiga a continuar trabalhando nessa direção e a construir novas reflexões no campo da epistemologia e da sociologia da avaliação educacional e da construção de indicadores de qualidade em educação.

 

Notas

¹ Utilizamos o termo programa recorrendo ao conceito adotado por Lakatos y Musgrave (1975).

² Dentre os enfoques sociológicos que podem ser considerados compreensivistas, destacamos: a sociologia weberiana, o interacionismo simbólico, a fenomenologia, a hermêutica, etnometodologia, entre outros.

³ Dentre os enfoques sociológicos que podem ser considerados como defensores dessa concepção podemos encontrar um grande conjunto de abordagens de base positivista, tais como: funcionalismo, estrutural-funcionalismo, o positivismo lógico, entre outras.

⁴ Um indicador ou variável é um conceito que permite, em relação a um objeto de conhecimento teoricamente relevante, operar no mesmo uma partição em classes de equivalência mais ou menos extensas. Chama-se valor ao predicado ou característica atribuído a quaisquer elementos das classes de equivalência do conjunto considerado (masculino/feminino) são os valores da variável (sexo); operário/industrial/ agricultor/empregado de escritório/... alguns possíveis valores da variável (profissão, etc.). Diremos então que, dado uma variável qualquer, medida será a aplicação (no sentido matemático do termo) do conjunto dos valores que ela pode assumir num conjunto de números (aqueles através dos quais precisamente se exprimem a medida). (Almeida & Pinto 1999)

⁵ Sobre essa questão ver o estudo de Ferreira & Sampaio (1988.

⁶ Sobre essa discussão ver Sguissardi (1997), Silva Jr. e Sguissardi, (1999); Sobrinho & Oliveira (2007), entre outros.

⁷ Sobre o modelo gerencial de gestão pública ver Bresser Pereira (1996).

⁸ Sobre essa questão ver estudo produzido por Oliveira,A. P. (2007).

⁹ Os sistemas de Avaliação incluem o SAEB (Sistema de Avaliação da Educação Básica composto por Provinha Brasil, Prova Brasil, ENEM); SINAES (Sistema Nacional de Avaliação da Educação Superior composto por ENADE – Exame Nacional de Desempenho dos Estudantes;ACG – Avaliação de Cursos de Graduação e Auto-Avaliação Institucional)

¹⁰ Para aprofundar a discussão sobre uma quinta dimensão da avaliação, ver o texto de Tenório, R. e Vieira, M. Lacunas conceituais na doutrina das quatro gerações: elementos para uma teoria da avaliação, 2009.21

¹¹ Para aprofundar discussões sobre as dimensões da avaliação, ver Guba e Licoln (1989); Tenório e Vieira (2009)

 

Referências Bibliográficas

Afonso, A. J. (1998). Políticas Educativas e Avaliação Educacional. Para uma análise sociológica da reforma educativa em Portugal. (1985-1995) Braga: Universidade do Minho.

Alexander, J. (1982). Las Teorias Sociologicas desde la Segunda Guerra Mundial: análisis multidimensional. Barcelona: Editorial Gedisa.

Almeida, J. F. & Pinto, J. M. (1986) Da Teoria a Investigação Empírica. In A. Santos Silva & J. Madureira Pinto (Orgs.). Metodologia das Ciências Sociais. Porto:Afrontamento.

Babbie, Earl (2001). Métodos de pesquisa survey. Belo Horizonte: Editora da UFMG.

Belloni, I. (org.) (2000). Metodologia de avaliação em políticas públicas: uma experiência em educação profissional. São Paulo: Cortez.

Cheng,Yin Cheong e Tam,Wai Ming (1977) Multi-models of quality in education. Quality Assurance in Education. 5, (1), 22-31.

Cheng,Yin Cheong (2003). Quality assurance in education: internal, interface, and future. Quality Assurance in Education. 11, (4), 202-213.

Costa, M. da (1994). Crise do Estado e crise da educação: influência neoliberal e reforma educacional. Educação e Sociedade. 49 (15), 501-523.        [ Links ]

Crosby, P. B (1979). Quality is free: the art of making quality certain. New York: New American Library.

Demo, Pedro (1994). Educação e qualidade. Campinas & São Paulo: Papirus.

Feigenbaum, A.V (1951). Quality control: Principles, practice and administration. New York: McGraw-Hill.

Gilmore, H. L (1974). Product conformance cost. Quality Progress. 7 (5), 16-19.

Guba, E. G. & Lincoln,Y. S. (1989). Fourth Generation Evaluation. London: Sage Publications.

Ferreira, R. & Sampaio, M. C. H (1995). Democratização, cidadania e transformação. Discurso e gestão governamental na Nova República. Recife & João Pessoa: UFPE & UFPB.

Habermas, J. (1982). Conhecimento e interesse. Rio de Janeiro: Zahar Editores.

Juran, J.M & Gryna Jr., F.M. (1988) M. Quality control handbook. New York: McGraw-Hill.

Lakatos, I. & Musgrave,A. (1975). La Critica y el Desarrolo del Conocimiento. Barcelona: Ediciones Grijalbo.

MARE (1995). Plano diretor da reforma do Estado. Brasília.

MEC (1998). Plano Nacional de Educação. Proposta do executivo ao Congresso Nacional. Brasília.

Minayo, M. C. S. (Org) (1999) Pesquisa Social:Teoria, método e criatividade. 5ªed. Petrópolis-RJ:Vozes.

Motala, S. (2001) Quality and indicators of quality in South African education: a critical appraisal. International Journal of Educational Development. 21, (1), 61-78.

Oliveira,A. P. de (2007). A relação público-privado no contexto da educação superior. Tese de Doutorado (não publicada). Recife: UFPE.

Parasuraman et al. (1985). A conceptual model of service quality and its implications for future research. Journal of Marketing. 4 (4), pp 41-50.

Peters,T. J. & Waterman, R. H. (1982). In search of excellence. New York: Harper & Row.

Santos, B. S. (1995). A transição paradigmática: da regulação à emancipação. Oficina do CES nº 25. Coimbra, Centro de Estudos Sociais.

Santos, B. S. (Org.). (2001) Globalização: fatalidade ou Utopia. Porto:Afrontamento.

Sguissardi,V. (1997). Para avaliar propostas de avaliação do ensino superior. In V. Sguissardi (org.). Avaliação universitária em questão: reformas do estado e da educação superior. Campinas, SP:Autores Associados.

Sobrinho, J. D. (2007). Avaliação: instrumento de gestão universitária. Vila Velha, Es: Hoper.

Sobrinho, J. D. & Ristoff, D. I. (orgs.). (2003). Avaliação e compromisso público – a educação superior em debate. Florianópolis: Insular.

Tenório, R.M. & Vieira, M. (2010). Lacunas conceituais na doutrina das quatro gerações: elementos para uma teoria da avaliação. In R. M.Tenório & U. M. Lopes. Avaliação e Gestão:Teoria e Prática. Salvador: EDUFBA.

Wittgenstein, L. (1979). Investigações Filosóficas. 2ª ed. São Paulo:Abril Cultural.