INTRODUÇÃO

A saúde das populações constitui um recurso valioso para o bem-estar social, cultural e económico das comunidades locais, nacionais e globais. A Nutrição é uma parte fundamental da saúde pública, na prevenção de doenças e na promoção do bem-estar relacionado com os sistemas de saúde, padrões alimentares e estado nutricional (¹). A área da Nutrição Comunitária e Saúde Pública (NCSP) é a área da saúde, por excelência, dedicada à discussão de estratégias capazes de promoverem e manterem um estado nutricional saudável entre indivíduos e populações (², ³). Com o objetivo de sensibilizar, aumentar conhecimentos, influenciar atitudes e comportamentos alimentares, são várias as intervenções nutricionais que se podem adotar. Numa época globalizada e de escassos recursos, é emergente a compreensão do contexto, da eficácia e utilidade dessas mesmas intervenções, com o objetivo de ajudar na tomada de decisões (⁴). Nesta perspectiva, o processo de “Avaliação” surge como um poderoso instrumento de melhoria contínua de qualidade, e que deve ser parte integrante do desenho e planeamento de qualquer intervenção nutricional (^{5 - 7}).

Não obstante a diversidade de conceitos e terminologias, e a mudança de paradigmas e conceitos ao longo da história da avaliação, é aceite que a avaliação é a investigação e a apreciação sistemáticas, de dados ou elementos sobre as características e os efeitos de uma determinada intervenção (⁴, ⁵). O objetivo é o de produzir informação que permita determinar o valor ou mérito da mesma e para que possa ser usada por todos os interessados, para além do simples acúmulo de dados e como parte essencial do processo de aprendizagem. Em saúde pública, a prática avaliativa permite identificar forças, fraquezas e áreas de melhoria das atividades implementadas (¹⁰). Em NCSP, a avaliação permite a recolha sistemática de informação capaz de julgar, criticar e produzir feedback sobre os recursos, as estratégias e todo o processo de implementação de uma dada intervenção nutricional (¹¹). Contudo, são inúmeras as abordagens possíveis para realizar a avaliação de uma intervenção.

No geral, intervenção pode ser definida como o conjunto de meios organizados num determinado contexto e num dado momento, para produzir um bem ou serviço com o objetivo de modificar uma situação considerada problemática (¹²). Na área da alimentação/ nutrição, as intervenções podem incluir uma variedade de atividades, desenhadas para o tratamento agudo ou crónico de doenças, prevenção de doenças ou melhoria do estado nutricional (¹²). São exemplos de intervenções nutricionais: uma política (Health 2020, política de saúde da Organização Mundial da Saúde (OMS) para a região europeia); um programa (Programa Nacional de Promoção da Alimentação Saudável, (PNPAS)); uma organização (criação de um Serviço de Apoio Nutricional ao Domicílio); um protocolo (protocolo de consulta de nutrição pediátrica); ou uma técnica (um e-book elaborado para melhorar a literacia em nutrição).

Qualquer intervenção em saúde apresenta alguns componentes básicos, cuja descrição é essencial para o planeamento estratégico e operacional da mesma (Figura 1). Na abordagem da avaliação em saúde importa referir a tríade estrutura, processo e resultados, que englobam os seguintes atributos de uma intervenção: objetivos; recursos (“inputs”); serviços, ações ou atividades; produtos (“outputs”); e resultados (“outcomes”) (⁵, ¹⁰, ¹³). Cada um destes componentes pode ser alvo de uma avaliação. A avaliação é uma responsabilidade ética e profissional que deve ser incorporada na prática do nutricionista, em qualquer uma das áreas de atuação (⁹).

Uma intervenção deve ser pensada em termos do planeamento da mesma, mas também do planeamento da sua avaliação, e cada uma será tão mais eficaz, quanto melhor for o planeamento da outra (Figura 2). Planear a intervenção implica também planear a avaliação, da mesma forma que a avaliação da intervenção está ligada à própria

Figura 1: Principais componentes do planeamento de uma intervenção, na abordagem para avaliação em saúde 

Figura 2: Desenho/planeamento de uma intervenção e respetiva avaliação 

avaliação do planeamento. Quanto ao momento da avaliação, esta pode ser implementada antes do início da intervenção (ex-ante), pode ocorrer durante a sua realização (ongoing/ in itinere), ou pode incidir sobretudo nas dimensões da intervenção, após a execução da mesma (ex-post) (¹⁴). A avaliação ex-ante permite aferir se o desenho da intervenção responde ao pretendido e permite mudanças no planeamento, de modo a que este possa ser melhorado. As avaliações ongoing e ex-post fornecem informação sobre as etapas da implementação e dos resultados da intervenção. A avaliação pode, também ela ser alvo de uma avaliação (meta-avaliação), no que respeita à qualidade de todo o processo, ou seja, à verificação da consistência e coerência em relação aos parâmetros que orientam sua boa prática, nomeadamente a sua utilidade, flexibilidade, propriedade e precisão (¹⁵, ¹⁶).

A abordagem da avaliação pode servir-se de métodos qualitativos ou quantitativos, pode ter uma função formativa ou sumativa e, enquanto julgamento de valor, pode ser normativa ou avaliativa (⁵, ¹¹) (Figura 3). A função formativa da avaliação pretende responder às questões relacionadas com o processo de desenvolvimento da intervenção, numa perspetiva de melhoria, pelo que é usada num processo contínuo, à medida que as atividades vão decorrendo (¹¹, ¹², ¹⁷). Apesar de ser muitas vezes patrocinada por uma audiência externa (órgão financiador), os resultados deste tipo de avaliação servem essencialmente as partes envolvidas na intervenção, uma vez que permitem perceber o contexto, o processo e a consistência da mesma (18). A avaliação sumativa é, para alguns autores, uma abordagem ou nível de avaliação que permite verificar se os resultados das atividades estão a ser alcançados e serve, habitualmente, para prestar contas, no final da intervenção (¹¹, ¹², ¹⁷). Contudo, há quem dissocie a função sumativa da avaliação apenas dos resultados, salientando que este tipo de avaliação corresponde mais ao juízo de valor que resulta em números simples e mensagens claras, tanto sobre o processo, como sobre os resultados, e promove por isso a discussão e a demonstração da legitimação da intervenção, seja uma política ou um programa (¹⁸). No caso particular da avaliação em NCSP, há autores que consideram função formativa como uma das avaliações mais adequadas, na qual o nutricionista deve avaliar se os materiais e programas são consistentes com o que se pretende da intervenção, no que respeita à coerência científica e à conveniência (¹²). Outros, contudo, enfatizam a interligação entre as duas abordagens avaliativas, salientando que o desenho do processo da intervenção é essencial para explicar a que torna mais ou menos capaz de ser bem-sucedida e alcançar os objetivos. Se, inicialmente, a avaliação sumativa, associada aos resultados, foi a abordagem mais citada na literatura sobre nutrição (¹²), nos últimos tempos a função formativa tem ganhado terreno, sendo tão usada na investigação quanto a sumativa (^{19 - 22}). Uma abordagem mista tem tido também vista em intervenções de promoção da saúde nutricional em populações e comunidades (²³, ²⁴). A combinação de abordagens de avaliação sumativa e formativa é considerada, de resto, um determinante de qualidade (¹⁸).

Figura 3:  Classificação dos diferentes tipos de avaliação 

Em NCSP, tanto os métodos quantitativos como os qualitativos têm sido usados no processo de avaliação de práticas na área da alimentação/ nutrição, com predomínio dos primeiros (²⁵). Enquanto os métodos quantitativos medem a extensão das mudanças causadas no estado saúde, comportamento/hábitos em saúde, conhecimentos, atitudes etc, os métodos qualitativos determinam o significado e a experiência vivenciada pelos participantes ou grupos-alvo da intervenção (⁹). O uso integrado de ambas as abordagens, também designado método misto, tem sido associado à evolução do próprio processo de avaliação em saúde, de modo a dar resposta às diferentes expectativas dos interessados em intervenções cada vez mais complexas e integradas (²⁶). O método dever-se-á adequar à abordagem avaliativa pretendida. Na avaliação em saúde, as intervenções podem ser analisadas à luz de critérios, normas ou índices previamente estabelecidos, que se julgam verdadeiros e garantia de qualidade (avaliação normativa), mas também à luz do método experimental usado nas ciências sociais (pesquisa avaliativa). No primeiro caso, pretende-se aferir se os resultados obtidos correspondem aos esperados e se os meios utilizados são suficientes para o efeito (⁵). No caso da pesquisa avaliativa, esta é conduzida para aferir a pertinência da intervenção, qual a influência do desenvolvimento da própria intervenção e do contexto nos resultados, e se estes podem ser reprodutíveis e generalizados. Cada um destes tipos de avaliação pode ainda ser decomposta em vários subtipos, de acordo com o componente da intervenção que se pretende avaliar (Figura 3). Na avaliação normativa pretende-se fazer um juízo de valor da intervenção, recorrendo a critérios e normas pré-existentes, medindo se os resultados esperados podem ser obtidos através: dos recursos humanos e materiais utilizados, bem como a sua organização (avaliação da estrutura); dos serviços ou bens produzidos (avaliação do processo), na sua dimensão técnica (adequação do serviço às necessidades), interpessoal (satisfação dos clientes e a interacção entre estes e quem participa na intervenção) e organizacional (acessibilidade, cobertura do serviço, continuidade de cuidados); e se os resultados obtidos correspondem aos esperados (avaliação dos resultados) (⁵). Os instrumentos normativos são documentos que podem ser constitucionais (regulamentos, recomendações) ou critérios ou normas baseados na evidência científica e em especialistas da área (²⁷). As normas da Direção-Geral da Saúde e o Codex alimentarius da OMS são exemplos de instrumentos normativos que apoiam este tipo de avaliação. Contudo, esta abordagem é essencialmente uma avaliação administrativa, pelo que não é suficiente para analisar a pertinência (análise estratégica), a relação entre os objetivos e os meios empregados (análise da intervenção), o modo como os recursos são usados para produzir serviços (análise da produtividade), a influência positiva ou negativa da intervenção no estado de saúde (análise dos efeitos), a eficiência em termos de custo-benefício, custo-eficácia e custo-utilidade (análise do rendimento) ou mesmo a relação entre a intervenção e o contexto real em que ocorre (análise da implantação) (⁵). A pesquisa avaliativa surge, desde modo, como uma avaliação complementar à avaliação normativa. Em programas de intervenção nutricional, as avaliações de processo e de resultados, bem como de efeitos/impacto têm sido sugeridos como mais adequados, em especial na área da promoção da saúde (¹², ²⁸). Contudo, quanto maior foi o número de parâmetros avaliados, melhor será a reflexão sobre a relevância, a eficiência, a efetividade, a sustentabilidade e o impacto da intervenção, critérios essenciais de qualquer avaliação (²⁹). A literatura não é unânime na definição de termos e conceitos na classificação dos vários tipos de avaliação. Não obstante, há termos relacionados como é o caso de resultados e impacto. Os resultados referem-se aos efeitos esperados que ocorrem nos participantes expostos à intervenção, enquanto o impacto diz respeito a todas as potenciais consequências da intervenção (efeitos diretos ou indirectos, primários ou secundários, positivos ou negativos, intencionais ou não intencionais) (³⁰, ³¹). Desta forma, avaliação de resultados foca-se na capacidade da intervenção em atingir os objetivos definidos, enquanto a avaliação de impacto é usada no sentido da efetividade, ou seja, do efeito real da intervenção, normalmente a longo prazo e em grandes grupos populacionais (¹⁷). Na verdade, tanto a avaliação de resultados como de impacto corresponde a efeitos observados/medidos devido à intervenção, a curto ou médio prazo (resultados) ou a longo-prazo (impacto) (¹³). As mudanças que ocorrem nos participantes expostos à intervenção, como o aumento de conhecimentos ou de competência, ou a alteração de comportamentos e atitudes alimentares, são exemplos de resultados, enquanto alterações ao estado de saúde, como por exemplo a diminuição da prevalência de obesidade infantil, podem ser considerados indicadores de impacto. Convém não confundir os resultados/ impacto com os produtos (“outputs”), uma vez que estes podem também ser definidos como os resultados iniciais da intervenção (³²). Em NCSP são exemplos de produtos o número de sessões de educação alimentar, o número de participantes em cada sessão ou a publicação de um documento estratégico. No caso da avaliação de rendimento, também designada de avaliação económica ou de eficiência, a avaliação custo-eficácia (⁵) é substituída, por alguns autores, por avaliação custo-efetividade (¹¹). No âmbito dos cuidados de saúde, o termo eficácia é habitualmente utilizado para caracterizar o resultado de uma intervenção realizada em condições ideais e bem controladas, enquanto efetividade refere-se ao resultado quando a intervenção é aplicada sob condições habituais e reais da prática clínica (³³). Na verdade, ambos os termos estão relacionados (³¹). A eficiência refere-se à forma como os recursos/insumos (fundos, pessoal, tempo despendido, competências, equipamentos, instalações, etc) são convertidos em resultados, constituindo uma medida económica de comparação entre custos e efeitos da intervenção (³¹, ³⁴). Dos sub-tipos de avaliação económica destaca-se a custo/efetividade, como a mais frequente na área da NCSP, seguido da análise custo/ utilidade (^{35 - 37}). Nestes tipos de avaliação, os efeitos medidos são habitualmente a estimativa de carga de doença, nomeadamente os anos de vida ganhos, os anos de vida ajustados para a qualidade (QALYs - Quality-Adjusted Life Years), os anos de vida ajustados para a incapacidade (DALY - Disability-Adjusted Life Years), assim como índices de mortalidade, morbilidade e variação nos fatores de risco (índice de massa corporal, ingestão de fruta e hortícolas). Na avaliação que compara custos e benefícios, ambos têm de ser expressos em valor monetário, o que torna a avaliação custo/ benefício mais difícil de conduzir em políticas ou programas de saúde pública (³⁴).

No processo avaliativo, o planeamento da intervenção e da avaliação constitui um parâmetro fundamental. É por isso necessário uma base teórica que indique de forma explícita os componentes da intervenção, do processo avaliativo e oriente tacitamente a execução operacional de ambos, permitindo aferir não só se a intervenção funciona ou não, mas também como e porquê (³⁸). O objetivo de um modelo teórico (também designado de matriz, racional ou framewok) é o de constituir uma ferramenta visual, capaz de facilitar a compreensão do racional de uma intervenção e respetiva avaliação (¹³, ³⁹). A escolha de um modelo depende do tipo de avaliação, do nível organizacional (sistemas, estabelecimentos ou serviços), dos níveis de cuidados (hospitalares, cuidados saúde primários, outras unidades funcionais), do contexto e tipo de intervenção (políticas de saúde, programas ou projetos), assim como da flexibilidade do modelo (⁵, ⁴⁰). Não há nenhum modelo perfeito, pelo que é possível optar por um na sua íntegra, usá-lo em parte ou ainda combinar vários tipos de modelos. Há ainda quem preconize que cada intervenção deve construir o seu próprio modelo, através da observação e análise documental, através da recolha de dados junto dos grupos de interesse ou de informantes-chave sobre o tema e que, no final o mesmo deve ser validado por todos os grupos de implicados (⁸). Apesar de não fazer parte do âmbito do presente trabalho, importa referir que são vários os modelos passíveis de serem usados em NCSP para descrição do planeamento de intervenções de promoção da saúde. A título de exemplo, destaca-se o Modelo Lógico, o RE-AIM (acrónimo de Reach, Effectiveness, Adoption, Implementation e Maintenance) e o PRECEDE-PROCEED como frameworks genéricos, e como modelo específico para a intervenção nutricional, o SEF (Standard Evaluation Framework) para intervenções dietéticas (⁴¹).

Por último, importa distinguir avaliação, enquanto um tipo de investigação, da investigação científica (¹⁰). Na avaliação, o objetivo da investigação é contribuir para a tomada de decisão, enquanto a investigação de índole científica contribui para a evidência e conhecimento. Contudo, é possível conduzir uma avaliação enquanto um ensaio randomizado controlado, constituindo a avaliação, neste caso, uma pesquisa também científica (⁴²).

CONCLUSÕES

A avaliação não é apenas uma das etapas da intervenção, mas também uma das mais importantes, cuja escolha do tipo, nível e métodos depende do objecto da avaliação, em todas as suas dimensões. Da reflexão participada dos resultados da avaliação resultarão dados concretos e fundamentais para consolidar a intervenção do nutricionista na área da NCSP. A prática avaliativa permite obter informação valiosa para reflectir as intervenções nutricionais, desde o seu planeamento, passando pela implementação e após a sua conclusão. Avaliar deve por isso constituir uma prática habitual entre os nutricionistas.