SciELO - Scientific Electronic Library Online

 
 número30AMBIENTES DE TRABALHO SAUDÁVEIS - O PAPEL DO NUTRICIONISTA índice de autoresíndice de assuntosPesquisa de artigos
Home Pagelista alfabética de periódicos  

Serviços Personalizados

Journal

Artigo

Indicadores

Links relacionados

  • Não possue artigos similaresSimilares em SciELO

Compartilhar


Acta Portuguesa de Nutrição

versão On-line ISSN 2183-5985

Acta Port Nutr  no.30 Porto set. 2022  Epub 06-Mar-2023

https://doi.org/10.21011/apn.2022.3013 

Artigo Profissional

INTERVENÇÃO NUTRICIONAL: O PAPEL DA AVALIAÇÃO

NUTRITIONAL INTERVENTION: THE ROLE OF EVALUATION

Liliane Costa1  * 

1URAP do ACES Loures- Odivelas, ARSLVT, IP, Rua Henrique Santos, s/n, 2620-183 Póvoa de Santo Adrião, Portugal


RESUMO

A avaliação de intervenções em saúde é um poderoso instrumento de melhoria contínua de qualidade e pode ser entendida como a investigação sistemática dos elementos de uma intervenção, para produzir informação que permita determinar o valor ou mérito da mesma por parte de todos os interessados. O processo avaliativo deve ser parte integrante do desenho e planeamento de qualquer intervenção em Nutrição Comunitária e Saúde Pública. A avaliação apresenta diversas abordagens, dependendo do objecto da avaliação, dos objetivos e do nível de cuidados/organizacional. A avaliação pode ocorrer antes, durante ou após a implementação da intervenção, pode ter uma função formativa ou sumativa, pode servir-se de métodos qualitativos ou quantitativos, e, enquanto julgamento de valor, pode ser normativa ou avaliativa. O desenho e planeamento da avaliação podem recorrer a modelos lógicos que permitem estruturar visualmente a intervenção, de modo a facilitar a operacionalização de ambas. A avaliação deve por isso ser uma ferramenta usada habitualmente pelos nutricionistas de modo a promover a prática da Nutrição Comunitária e Saúde pública baseada na evidência e promover a melhoria contínua da qualidade em saúde.

PALAVRAS-CHAVE: Avaliação; Intervenção; Nutrição; Saúde pública

ABSTRACT

The evaluation of health interventions is a powerful instrument for continuous quality improvement and can be understood as the systematic investigation of the elements of an intervention, to produce information that allows the determination of its value or merit by all interested parts. The evaluation process should be an integral part of the design and planning of any intervention in Public Health Nutrition. The evaluation has different approaches, depending on the object of the assessment, the objectives and the level of care/organizational. The evaluation can take place before, during or after the implementation of the intervention, it can have a formative or summative function, it can use qualitative or quantitative methods, and, as a value judgment, it can be normative or evaluative. The design and planning of the evaluation may use logical models that allow the intervention to be visually structured, in order to facilitate the operationalization of both. Evaluation should therefore be a tool commonly used by nutritionists in order to promote the evidence-based practice of Public Health Nutrition and promote continuous improvement in health quality.

KEYWORDS: Evaluation; Intervention; Nutrition; Public health

INTRODUÇÃO

A saúde das populações constitui um recurso valioso para o bem-estar social, cultural e económico das comunidades locais, nacionais e globais. A Nutrição é uma parte fundamental da saúde pública, na prevenção de doenças e na promoção do bem-estar relacionado com os sistemas de saúde, padrões alimentares e estado nutricional (1). A área da Nutrição Comunitária e Saúde Pública (NCSP) é a área da saúde, por excelência, dedicada à discussão de estratégias capazes de promoverem e manterem um estado nutricional saudável entre indivíduos e populações (2, 3). Com o objetivo de sensibilizar, aumentar conhecimentos, influenciar atitudes e comportamentos alimentares, são várias as intervenções nutricionais que se podem adotar. Numa época globalizada e de escassos recursos, é emergente a compreensão do contexto, da eficácia e utilidade dessas mesmas intervenções, com o objetivo de ajudar na tomada de decisões (4). Nesta perspectiva, o processo de “Avaliação” surge como um poderoso instrumento de melhoria contínua de qualidade, e que deve ser parte integrante do desenho e planeamento de qualquer intervenção nutricional (5 - 7).

Não obstante a diversidade de conceitos e terminologias, e a mudança de paradigmas e conceitos ao longo da história da avaliação, é aceite que a avaliação é a investigação e a apreciação sistemáticas, de dados ou elementos sobre as características e os efeitos de uma determinada intervenção (4, 5). O objetivo é o de produzir informação que permita determinar o valor ou mérito da mesma e para que possa ser usada por todos os interessados, para além do simples acúmulo de dados e como parte essencial do processo de aprendizagem. Em saúde pública, a prática avaliativa permite identificar forças, fraquezas e áreas de melhoria das atividades implementadas (10). Em NCSP, a avaliação permite a recolha sistemática de informação capaz de julgar, criticar e produzir feedback sobre os recursos, as estratégias e todo o processo de implementação de uma dada intervenção nutricional (11). Contudo, são inúmeras as abordagens possíveis para realizar a avaliação de uma intervenção.

No geral, intervenção pode ser definida como o conjunto de meios organizados num determinado contexto e num dado momento, para produzir um bem ou serviço com o objetivo de modificar uma situação considerada problemática (12). Na área da alimentação/ nutrição, as intervenções podem incluir uma variedade de atividades, desenhadas para o tratamento agudo ou crónico de doenças, prevenção de doenças ou melhoria do estado nutricional (12). São exemplos de intervenções nutricionais: uma política (Health 2020, política de saúde da Organização Mundial da Saúde (OMS) para a região europeia); um programa (Programa Nacional de Promoção da Alimentação Saudável, (PNPAS)); uma organização (criação de um Serviço de Apoio Nutricional ao Domicílio); um protocolo (protocolo de consulta de nutrição pediátrica); ou uma técnica (um e-book elaborado para melhorar a literacia em nutrição).

Qualquer intervenção em saúde apresenta alguns componentes básicos, cuja descrição é essencial para o planeamento estratégico e operacional da mesma (Figura 1). Na abordagem da avaliação em saúde importa referir a tríade estrutura, processo e resultados, que englobam os seguintes atributos de uma intervenção: objetivos; recursos (“inputs”); serviços, ações ou atividades; produtos (“outputs”); e resultados (“outcomes”) (5, 10, 13). Cada um destes componentes pode ser alvo de uma avaliação. A avaliação é uma responsabilidade ética e profissional que deve ser incorporada na prática do nutricionista, em qualquer uma das áreas de atuação (9).

Uma intervenção deve ser pensada em termos do planeamento da mesma, mas também do planeamento da sua avaliação, e cada uma será tão mais eficaz, quanto melhor for o planeamento da outra (Figura 2). Planear a intervenção implica também planear a avaliação, da mesma forma que a avaliação da intervenção está ligada à própria

Figura 1: Principais componentes do planeamento de uma intervenção, na abordagem para avaliação em saúde 

Figura 2: Desenho/planeamento de uma intervenção e respetiva avaliação 

avaliação do planeamento. Quanto ao momento da avaliação, esta pode ser implementada antes do início da intervenção (ex-ante), pode ocorrer durante a sua realização (ongoing/ in itinere), ou pode incidir sobretudo nas dimensões da intervenção, após a execução da mesma (ex-post) (14). A avaliação ex-ante permite aferir se o desenho da intervenção responde ao pretendido e permite mudanças no planeamento, de modo a que este possa ser melhorado. As avaliações ongoing e ex-post fornecem informação sobre as etapas da implementação e dos resultados da intervenção. A avaliação pode, também ela ser alvo de uma avaliação (meta-avaliação), no que respeita à qualidade de todo o processo, ou seja, à verificação da consistência e coerência em relação aos parâmetros que orientam sua boa prática, nomeadamente a sua utilidade, flexibilidade, propriedade e precisão (15, 16).

A abordagem da avaliação pode servir-se de métodos qualitativos ou quantitativos, pode ter uma função formativa ou sumativa e, enquanto julgamento de valor, pode ser normativa ou avaliativa (5, 11) (Figura 3). A função formativa da avaliação pretende responder às questões relacionadas com o processo de desenvolvimento da intervenção, numa perspetiva de melhoria, pelo que é usada num processo contínuo, à medida que as atividades vão decorrendo (11, 12, 17). Apesar de ser muitas vezes patrocinada por uma audiência externa (órgão financiador), os resultados deste tipo de avaliação servem essencialmente as partes envolvidas na intervenção, uma vez que permitem perceber o contexto, o processo e a consistência da mesma (18). A avaliação sumativa é, para alguns autores, uma abordagem ou nível de avaliação que permite verificar se os resultados das atividades estão a ser alcançados e serve, habitualmente, para prestar contas, no final da intervenção (11, 12, 17). Contudo, há quem dissocie a função sumativa da avaliação apenas dos resultados, salientando que este tipo de avaliação corresponde mais ao juízo de valor que resulta em números simples e mensagens claras, tanto sobre o processo, como sobre os resultados, e promove por isso a discussão e a demonstração da legitimação da intervenção, seja uma política ou um programa (18). No caso particular da avaliação em NCSP, há autores que consideram função formativa como uma das avaliações mais adequadas, na qual o nutricionista deve avaliar se os materiais e programas são consistentes com o que se pretende da intervenção, no que respeita à coerência científica e à conveniência (12). Outros, contudo, enfatizam a interligação entre as duas abordagens avaliativas, salientando que o desenho do processo da intervenção é essencial para explicar a que torna mais ou menos capaz de ser bem-sucedida e alcançar os objetivos. Se, inicialmente, a avaliação sumativa, associada aos resultados, foi a abordagem mais citada na literatura sobre nutrição (12), nos últimos tempos a função formativa tem ganhado terreno, sendo tão usada na investigação quanto a sumativa (19 - 22). Uma abordagem mista tem tido também vista em intervenções de promoção da saúde nutricional em populações e comunidades (23, 24). A combinação de abordagens de avaliação sumativa e formativa é considerada, de resto, um determinante de qualidade (18).

Figura 3:  Classificação dos diferentes tipos de avaliação 

Em NCSP, tanto os métodos quantitativos como os qualitativos têm sido usados no processo de avaliação de práticas na área da alimentação/ nutrição, com predomínio dos primeiros (25). Enquanto os métodos quantitativos medem a extensão das mudanças causadas no estado saúde, comportamento/hábitos em saúde, conhecimentos, atitudes etc, os métodos qualitativos determinam o significado e a experiência vivenciada pelos participantes ou grupos-alvo da intervenção (9). O uso integrado de ambas as abordagens, também designado método misto, tem sido associado à evolução do próprio processo de avaliação em saúde, de modo a dar resposta às diferentes expectativas dos interessados em intervenções cada vez mais complexas e integradas (26). O método dever-se-á adequar à abordagem avaliativa pretendida. Na avaliação em saúde, as intervenções podem ser analisadas à luz de critérios, normas ou índices previamente estabelecidos, que se julgam verdadeiros e garantia de qualidade (avaliação normativa), mas também à luz do método experimental usado nas ciências sociais (pesquisa avaliativa). No primeiro caso, pretende-se aferir se os resultados obtidos correspondem aos esperados e se os meios utilizados são suficientes para o efeito (5). No caso da pesquisa avaliativa, esta é conduzida para aferir a pertinência da intervenção, qual a influência do desenvolvimento da própria intervenção e do contexto nos resultados, e se estes podem ser reprodutíveis e generalizados. Cada um destes tipos de avaliação pode ainda ser decomposta em vários subtipos, de acordo com o componente da intervenção que se pretende avaliar (Figura 3). Na avaliação normativa pretende-se fazer um juízo de valor da intervenção, recorrendo a critérios e normas pré-existentes, medindo se os resultados esperados podem ser obtidos através: dos recursos humanos e materiais utilizados, bem como a sua organização (avaliação da estrutura); dos serviços ou bens produzidos (avaliação do processo), na sua dimensão técnica (adequação do serviço às necessidades), interpessoal (satisfação dos clientes e a interacção entre estes e quem participa na intervenção) e organizacional (acessibilidade, cobertura do serviço, continuidade de cuidados); e se os resultados obtidos correspondem aos esperados (avaliação dos resultados) (5). Os instrumentos normativos são documentos que podem ser constitucionais (regulamentos, recomendações) ou critérios ou normas baseados na evidência científica e em especialistas da área (27). As normas da Direção-Geral da Saúde e o Codex alimentarius da OMS são exemplos de instrumentos normativos que apoiam este tipo de avaliação. Contudo, esta abordagem é essencialmente uma avaliação administrativa, pelo que não é suficiente para analisar a pertinência (análise estratégica), a relação entre os objetivos e os meios empregados (análise da intervenção), o modo como os recursos são usados para produzir serviços (análise da produtividade), a influência positiva ou negativa da intervenção no estado de saúde (análise dos efeitos), a eficiência em termos de custo-benefício, custo-eficácia e custo-utilidade (análise do rendimento) ou mesmo a relação entre a intervenção e o contexto real em que ocorre (análise da implantação) (5). A pesquisa avaliativa surge, desde modo, como uma avaliação complementar à avaliação normativa. Em programas de intervenção nutricional, as avaliações de processo e de resultados, bem como de efeitos/impacto têm sido sugeridos como mais adequados, em especial na área da promoção da saúde (12, 28). Contudo, quanto maior foi o número de parâmetros avaliados, melhor será a reflexão sobre a relevância, a eficiência, a efetividade, a sustentabilidade e o impacto da intervenção, critérios essenciais de qualquer avaliação (29). A literatura não é unânime na definição de termos e conceitos na classificação dos vários tipos de avaliação. Não obstante, há termos relacionados como é o caso de resultados e impacto. Os resultados referem-se aos efeitos esperados que ocorrem nos participantes expostos à intervenção, enquanto o impacto diz respeito a todas as potenciais consequências da intervenção (efeitos diretos ou indirectos, primários ou secundários, positivos ou negativos, intencionais ou não intencionais) (30, 31). Desta forma, avaliação de resultados foca-se na capacidade da intervenção em atingir os objetivos definidos, enquanto a avaliação de impacto é usada no sentido da efetividade, ou seja, do efeito real da intervenção, normalmente a longo prazo e em grandes grupos populacionais (17). Na verdade, tanto a avaliação de resultados como de impacto corresponde a efeitos observados/medidos devido à intervenção, a curto ou médio prazo (resultados) ou a longo-prazo (impacto) (13). As mudanças que ocorrem nos participantes expostos à intervenção, como o aumento de conhecimentos ou de competência, ou a alteração de comportamentos e atitudes alimentares, são exemplos de resultados, enquanto alterações ao estado de saúde, como por exemplo a diminuição da prevalência de obesidade infantil, podem ser considerados indicadores de impacto. Convém não confundir os resultados/ impacto com os produtos (“outputs”), uma vez que estes podem também ser definidos como os resultados iniciais da intervenção (32). Em NCSP são exemplos de produtos o número de sessões de educação alimentar, o número de participantes em cada sessão ou a publicação de um documento estratégico. No caso da avaliação de rendimento, também designada de avaliação económica ou de eficiência, a avaliação custo-eficácia (5) é substituída, por alguns autores, por avaliação custo-efetividade (11). No âmbito dos cuidados de saúde, o termo eficácia é habitualmente utilizado para caracterizar o resultado de uma intervenção realizada em condições ideais e bem controladas, enquanto efetividade refere-se ao resultado quando a intervenção é aplicada sob condições habituais e reais da prática clínica (33). Na verdade, ambos os termos estão relacionados (31). A eficiência refere-se à forma como os recursos/insumos (fundos, pessoal, tempo despendido, competências, equipamentos, instalações, etc) são convertidos em resultados, constituindo uma medida económica de comparação entre custos e efeitos da intervenção (31, 34). Dos sub-tipos de avaliação económica destaca-se a custo/efetividade, como a mais frequente na área da NCSP, seguido da análise custo/ utilidade (35 - 37). Nestes tipos de avaliação, os efeitos medidos são habitualmente a estimativa de carga de doença, nomeadamente os anos de vida ganhos, os anos de vida ajustados para a qualidade (QALYs - Quality-Adjusted Life Years), os anos de vida ajustados para a incapacidade (DALY - Disability-Adjusted Life Years), assim como índices de mortalidade, morbilidade e variação nos fatores de risco (índice de massa corporal, ingestão de fruta e hortícolas). Na avaliação que compara custos e benefícios, ambos têm de ser expressos em valor monetário, o que torna a avaliação custo/ benefício mais difícil de conduzir em políticas ou programas de saúde pública (34).

No processo avaliativo, o planeamento da intervenção e da avaliação constitui um parâmetro fundamental. É por isso necessário uma base teórica que indique de forma explícita os componentes da intervenção, do processo avaliativo e oriente tacitamente a execução operacional de ambos, permitindo aferir não só se a intervenção funciona ou não, mas também como e porquê (38). O objetivo de um modelo teórico (também designado de matriz, racional ou framewok) é o de constituir uma ferramenta visual, capaz de facilitar a compreensão do racional de uma intervenção e respetiva avaliação (13, 39). A escolha de um modelo depende do tipo de avaliação, do nível organizacional (sistemas, estabelecimentos ou serviços), dos níveis de cuidados (hospitalares, cuidados saúde primários, outras unidades funcionais), do contexto e tipo de intervenção (políticas de saúde, programas ou projetos), assim como da flexibilidade do modelo (5, 40). Não há nenhum modelo perfeito, pelo que é possível optar por um na sua íntegra, usá-lo em parte ou ainda combinar vários tipos de modelos. Há ainda quem preconize que cada intervenção deve construir o seu próprio modelo, através da observação e análise documental, através da recolha de dados junto dos grupos de interesse ou de informantes-chave sobre o tema e que, no final o mesmo deve ser validado por todos os grupos de implicados (8). Apesar de não fazer parte do âmbito do presente trabalho, importa referir que são vários os modelos passíveis de serem usados em NCSP para descrição do planeamento de intervenções de promoção da saúde. A título de exemplo, destaca-se o Modelo Lógico, o RE-AIM (acrónimo de Reach, Effectiveness, Adoption, Implementation e Maintenance) e o PRECEDE-PROCEED como frameworks genéricos, e como modelo específico para a intervenção nutricional, o SEF (Standard Evaluation Framework) para intervenções dietéticas (41).

Por último, importa distinguir avaliação, enquanto um tipo de investigação, da investigação científica (10). Na avaliação, o objetivo da investigação é contribuir para a tomada de decisão, enquanto a investigação de índole científica contribui para a evidência e conhecimento. Contudo, é possível conduzir uma avaliação enquanto um ensaio randomizado controlado, constituindo a avaliação, neste caso, uma pesquisa também científica (42).

CONCLUSÕES

A avaliação não é apenas uma das etapas da intervenção, mas também uma das mais importantes, cuja escolha do tipo, nível e métodos depende do objecto da avaliação, em todas as suas dimensões. Da reflexão participada dos resultados da avaliação resultarão dados concretos e fundamentais para consolidar a intervenção do nutricionista na área da NCSP. A prática avaliativa permite obter informação valiosa para reflectir as intervenções nutricionais, desde o seu planeamento, passando pela implementação e após a sua conclusão. Avaliar deve por isso constituir uma prática habitual entre os nutricionistas.

CONFLITO DE INTERESSES

O autor não reportou conflito de interesses.

CONTRIBUIÇÃO DE CADA AUTOR PARA O ARTIGO

LC concebeu a ideia, escreveu e reviu o artigo.

REFERÊNCIAS BIBLIOGRÁFICAS

1. Anon. Rio 2012. What next. The Rio Declaration. World Nutrition. 2012 Jun;3(6):285-8. [ Links ]

2. World Public Health Nutrition Association. Declaration of the formation of the World Public Health Nutrition Association, Inaugural Planning Meeting, 30 September. WPHNA; 2006; Barcelona, Spain. [ Links ]

3. Nnakwe EN. Part I - Overview of the Public Health Nutrition. Chapter 1 - Community Nutrition and Public Health. In: Community Nutrition. 3rd edition. Burlington, MA: Jones & Bartlett Learning: Jones & Bartlett Learning; 2017. [ Links ]

4. WHO European Working Group on Health Promotion Evaluation & World Health Organization., Regional Office for Europe. Health promotion evaluation : recommendations to policy-makers : report of the WHO European Working Group on Health Promotion Evaluation Internet Copenhagen : WHO Regional Office for Europe.: Copenhagen : WHO Regional Office for Europe; 1998 cited 2021 May 22 Report No.: EUR/ICP/IVST 05 01 03. Available from: https://apps.who.int/iris/ handle/10665/108116. [ Links ]

5. Contandriopoulos AD, Champagne F, Denis JL, Pineault R. A avaliação na área da saúde: conceitos e métodos. In: Avaliação em saúde: dos modelos conceituais à prática na análise da implantação de programas Internet. Rio de Janeiro: Fiocruz Rio de Janeiro; 1997. p. 29-47. Available from: http://books.scielo.org/id/3zcft/pdf/hartz-9788575414033-04.pdf. Links ]

6. O’Connor-Fleming ML, Parker E, Higgins H, et al. A framework for evaluating health promotion programs. Health Promot J Austr. 2006 Apr;17(1):61-6. DOI:10.1071/ he06061. [ Links ]

7. Shah HD, Adler J, Ottoson J, et al. Leaders’ Experiences in Planning, Implementing, and Evaluating Complex Public Health Nutrition Interventions. Journal of nutrition education and behavior. 2019;51(5):528-38. doi:10.1016/j.jneb.2019.02.005. [ Links ]

8. Furtado JP. Um método construtivista para a avaliação em saúde. Ciência & Saúde Coletiva. 2001;6(1):165-81. DOI: 10.1590/S1413-81232001000100014.Links ]

9. Hughes R, Black C, Kennedy N. Public Health Nutrition Intervention Management: Process evaluation. JobNut Project Internet . Trinity College Dublin; 2008 cited 2021 May 1 Available from: https://www.tcd.ie/medicine/nutrition-dietetics/assets/jobnut/3- Evaluation-module/Unit-13-Process-Evaluation-090128.pdf. [ Links ]

10. U.S. Department of Health and Human Services Centers for Disease Control and Prevention, Office of the Director, Office of Strategy and Innovation. Introduction to program evaluation for public health programs: A self-study guide. Atlanta, GA. Internet 2011 cited 2021 May 22 Available from: https://www.cdc.gov/eval/guide/ index.htm. [ Links ]

11. Oshaug A. How to evaluate nutrition education programmes. In: Nutriton education for the public Internet Food and Agriculture Organization. Rome, Italy; 1995. (Food and Nutrition Paper). Available from: http://www.fao.org/3/v9951e/v9951e.pdf.Links ]

12. Lipski U, Ignagni E. Evaluation of Nutrition Interventions Internet Ontario: Care Cancer Center Ontario; 2001. Report No.: 3. Available from: https://www.academia. edu/1373186/Evaluation_OF_Nutrition_Interventions. [ Links ]

13. Coryn CL, Noakes LA, Westine CD, et al. A systematic review of theory-driven evaluation practice from 1990 to 2009. American journal of Evaluation. 2011;32(2):199- 226. https://doi.org/10.1177/1098214010389321. [ Links ]

14. Lichfield N, Barbanente A, Borri D, et al. Evaluation in Planning: Facing the Challenge of Complexity Internet Springer Netherlands; 1998. Available from: https://books. google.pt/books?id=Dhj4YDsrv1QC. [ Links ]

15. Stufflebeam DL. The metaevaluation imperative. American journal of evaluation. 2001;22(2):183-209. https://doi.org/10.1016/S1098-2140(01)00127-8. [ Links ]

16. Hartz ZM de A. Princípios e padrões em metaavaliação: diretrizes para os programas de saúde. Ciência & Saúde Coletiva. 2006;11(3):733-8. DOI:10.1590/ S1413-81232006000300020. [ Links ]

17. Silva L. Conceitos, abordagens e estratégias para a avaliação em saúde. In: Avaliação em saúde: dos modelos conceituais à prática na análise da implantação de programas Internet Fiocruz; 1997. p. 15-39. Available from: https://static.scielo. org/scielobooks/xzdnf/pdf/hartz-9788575415160.pdf#page=14. [ Links ]

18. Edler J, Berger M, Dinges M, et al. The practice of evaluation in innovation policy in Europe. Research Evaluation. 2012;21(3):167-82. DOI: 10.2139/ssrn.1980647. [ Links ]

19. Gabrielli S, Dianti M, Maimone R, et al. Design of a Mobile App for Nutrition Education (TreC-LifeStyle) and Formative Evaluation With Families of Overweight Children. JMIR mHealth and uHealth. 2017 Apr 13;5(4):e7080. DOI:10.2196/mhealth.7080. [ Links ]

20. Brown JM, Savaglio R, Watson G, et al. Optimizing Child Nutrition Education With the Foodbot Factory Mobile Health App: Formative Evaluation and Analysis. JMIR formative research. 2020;4(4):e15534. DOI: 10.2196/15534. [ Links ]

21. Welk GJ, Chen S, Nam YH, et al. A formative evaluation of the SWITCH® obesity prevention program: print versus online programming. BMC obesity. 2015;2(1):1-9. doi: 10.1186/s40608-015-0049-1. [ Links ]

22. Williams SL, Mummery WK. We can do that! Collaborative assessment of school environments to promote healthy adolescent nutrition and physical activity behaviors. Health Education Research. 2015 Apr 1;30(2):272-84. DOI:10.1093/her/cyv007. [ Links ]

23. Mikkelsen BE, Bloch P, Reinbach HC, et al. Project SoL-A Community-Based, Multi-Component Health Promotion Intervention to Improve Healthy Eating and Physical Activity Practices among Danish Families with Young Children Part 2: Evaluation. International Journal of Environmental Research and Public Health. 2018 Jul;15(7):1513. DOI: 10.3390/ijerph15071513. [ Links ]

24. Lemay NV, Sullivan T, Jumbe B, et al. Reaching remote health workers in Malawi: baseline assessment of a pilot mHealth intervention. J Health Commun. 2012;17 Suppl 1:105-17. DOI: 10.1080/10810730.2011.649106. [ Links ]

25. Gasparini MFV, Bigoni A, Medeiros MAT de, et al. Evaluation practices in the field of Food and Nutrition. Revista de Nutrição. 2017;30(3):391-407. DOI:10.1590/1678- 98652017000300011. [ Links ]

26. Palinkas LA, Mendon SJ, Hamilton AB. Innovations in Mixed Methods Evaluations. Annual Review of Public Health. 2019;40(1):423-42. DOI: 10.1146/annurev- publhealth-040218-044215. [ Links ]

27. Stein-Erik Kruse, Zozan Kaya. Nordic Consulting Group. Evaluation of WHO’s Normative Function (Volume 1: Evaluation Report) Corporate Evaluation Commissioned by the WHO evaluation Office. WHO Evaluation Office; 2017 Jul. [ Links ]

28. Kristal AR, Ollberding NJ. Evaluation of nutrition interventions. In: Nutrition in the prevention and treatment of disease. 3rd ed. Academic Press: Coulston AM, Rock CL, Monsen ER; 2001. p. 191-205. [ Links ]

29. World Health Organization. WHO evaluation practice handbook. Geneva, Switzerland: World Health Organization; 2013. [ Links ]

30. OECD/DAC Network on Development Evaluation. Glossary of Key Terms in Evaluation and Results Based Management - OECD Internet 2010 cited 2021 May 30 Available from: https://www.oecd.org/dac/evaluation/2754804.pdf.Links ]

31. OECD/DAC Network on Development Evaluation. Better Criteria for Better Evaluation - Revised Evaluation Criteria Definitions and Principles for Use Internet 2019 ;cited 2021 May 30 Available from: https://www.oecd.org/dac/evaluation/.Links ]

32. Harris MJ. Evaluating public and community health programs. John Wiley & Sons; 2016. [ Links ]

33. International Network of Agencies for Health Technology Assessment (INAHTA), International Network of Agencies for Health Technology Assessment international (HTAi). International HTA Glossary (INAHTA - HTAi) Internet. HtaGlossary.net. cited 2021 Jun 3 Available from: http://htaglossary.net/HomePage.Links ]

34. Salazar L, Jackson S, Shiell A, Rice M. Guide to economic evaluation in health promotion Internet Washington, D.C: PAHO: Pan American Health Organization; 2007. Available from: https://www.paho.org/hq/dmdocuments/2012/EvalEcoProm-en.pdf.Links ]

35. Tran HNQ, McMahon E, Moodie M et al. A Systematic Review of Economic Evaluations of Health-Promoting Food Retail-Based Interventions. Int J Environ Res Public Health. 2021 Feb 2;18(3). DOI: 10.3390/ijerph18031356. [ Links ]

36. Gebreslassie M, Sampaio F, Nystrand Cet al. Economic evaluations of public health interventions for physical activity and healthy diet: A systematic review. Prev Med. 2020 Jul;136:106100. DOI: 10.1016/j.ypmed.2020.106100. [ Links ]

37. Ramponi F, Tafesse W, Griffin S. Economic evaluation of interventions to address undernutrition: a systematic review. Health policy and planning. 2021;36(4):533-41. https://doi.org/10.1093/heapol/czaa149. [ Links ]

38. Chen HT. Theory-driven evaluation: Conceptual framework, application and advancement. In: Strobl R, Lobermeier O, Heitmeyer W, editors. Evaluation von Programmen und Projekten für eine demokratische Kultur Internet Wiesbaden: Springer Fachmedien; 2012 cited 2021 May 22. p. 17-40. Available from: https:// doi.org/10.1007/978-3-531-19009-9_2. [ Links ]

39. Funnell SC, Rogers PJ. Purposeful program theory: Effective use of theories of change and logic models. Vol. 31. John Wiley & Sons; 2011. [ Links ]

40. Moullin JC, Dickson KS, Stadnick NA et al. Ten recommendations for using implementation frameworks in research and practice. Implementation science communications. 2020;1:1-12. https://doi.org/10.1186/s43058-020-00023-7. [ Links ]

41. Fynn JF, Hardeman W, Milton K et al. A scoping review of evaluation frameworks and their applicability to real-world physical activity and dietary change programme evaluation. BMC Public Health. 2020 Jun 26;20(1):1000. https://doi.org/10.1186/ s12889-020-09062-0. [ Links ]

42. Øvretveit J. Action evaluation of health programmes and changes: a handbook for a user-focused approach. Radcliffe Publishing; 2002. doi: 10.1136/qhc.11.4.392-a [ Links ]

Recebido: 07 de Fevereiro de 2022; Aceito: 04 de Agosto de 2022

*Endereço para correspondência: Liliane Costa URAP do ACES Loures- Odivelas, ARSLVT, IP, Rua Henrique Santos, s/n, 2620-183 Póvoa de Santo Adrião, Portugal liliane.costa@arslvt.min-saude.pt

Creative Commons License Este é um artigo publicado em acesso aberto sob uma licença Creative Commons