1.Introdução

Este estudo busca refletir sobre a temática de avaliação educacional de programas no contexto do ensino profissionalizante no Brasil. Os Institutos Federais (IFs) são instituições de ensino superior, básico e profissional, que funcionam em vários campi (multicampi) e com diversos cursos ofertados (^{Moura & Albuquerque, 2018}). Os IFs foram criados em 2008 através da Lei nº 11.892/2008 e desde sua implementação seus números têm crescido, contando atualmente com 654 unidades e 10.878 cursos espalhados pelo Brasil (^{Lei nº 11.892/2008 do Ministério da Educação, 2008}). A implementação inicial dos IFs respeitou um dos princípios basilares da lei fundadora, que previa dar acesso à educação a todos e atingir amplamente todas as regiões do país. Essa expansão foi pouco sustentada por um processo de avaliação desses programas (cursos) que, muitas vezes foram criados e reformulados sem embasamentos empíricos (^{Muller, 2017}). A avaliação de programas educacionais é um modo importante para se diagnosticar as práticas que têm sido exitosas no ambiente escolar e quais precisam ser ajustadas ou modificadas a fim de que os cursos consigam atingir os objetivos de cada formação. “No Brasil, além da pouca tradição de avaliação de programas educacionais, quando esta ocorre, muitas vezes, reveste-se de um caráter formal, não se observando a valorização de seus resultados para revisão/reformulação das propostas e ações que constituem objeto da avaliação” (^{Bauer & Sousa, 2015}, p. 260). De maneira geral os IFs têm sido avaliados de forma generalista, com ênfase na avaliação externa e por resultado, utilizando dados do Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (INEP), desempenho dos alunos no Exame Nacional do Ensino Médio (ENEM) e os dados da plataforma Nilo Peçanha. Além desse caráter formal, outra questão que chama atenção na avaliação de programas no Brasil é no âmbito da educação profissional a existência de poucos estudos com essa temática em comparação com outros itinerários formativos (^{Dutra, Dutra, Parente & Paulo, 2019}). Neste cenário, é importante identificar quais são os tipos de avaliação que têm sido mais utilizados ultimamente no ensino profissional, quais os resultados que têm sido encontrados nessas avaliações e como tem sido a utilizado os resultados obtidos nas melhorias e ajustes dos cursos. Por isso, o objetivo primordial deste trabalho foi fazer uma Revisão Sistemática da Literatura (RSL) para investigar como as pesquisas têm sido desenvolvidas e disseminadas em revistas acadêmicas nacionais e internacionais, contemplando a tríade “Avaliação, Cursos profissionalizantes e Institutos Federais do Brasil” nos últimos cinco anos. A seção I é introdução e o restante do artigo está organizado em quatro seções. A seção II apresenta uma revisão de literatura sobre avaliação de programas. Na seção III é descrito o processo de pesquisa e o método utilizado para a análise dos dados. A seção IV apresenta os resultados encontrados. Por último, na seção V são trazidas as considerações finais e sugestões de trabalhos futuros.

2.Avaliação de programas no contexto da educação profissional

Segundo ^{Bauer & Sousa (2015}, p. 259), “os programas educacionais, em uma perspectiva de consecução responsável, demandam ter a avaliação como atividade inerente à sua execução, vindo a subsidiar decisões aos seus proponentes e participantes, com vistas ao seu contínuo aprimoramento”. O impacto da avaliação de um programa está diretamente ligado ao sucesso da disseminação e utilização dos resultados, devendo-se levar em consideração os intervenientes ou pessoas envolvidas no processo educativo para que as informações selecionadas atendam aos diversos interesses e possam ser utilizadas para melhorias e ajustes desses programas (^{Sanders, 2014}). “Para que os propósitos de uma avaliação possam ser alcançados utilizam-se, em geral, avaliações sistemáticas ou formais quase sempre enquadradas por um modelo teórico. Mas também se utilizam avaliações informais e combinações de abordagens mais e menos formais” (^{Fernandes, 2011}, p.44). No Brasil o desempenho dos programas educacionais do ensino médio e profissionalizante de maneira geral se restringem as avaliações de larga escala, utilizando o ENEM e indicadores educacionais do INEP e a Plataforma Nilo Peçanha. Esses indicadores associados a finalização dos ciclos, como sucesso escolar e conclusão de curso, assim como pela verificação dos níveis de aprendizado adquirido são utilizados para determinar o desempenho das organizações de ensino (^{Dutra, Coelho & Dutra, 2019}). Entretanto, avaliar um curso apenas com dados secundários como o número indicado de matrículas, aprovados, desistências e outros indicadores, como tem sido feito no Brasil, não avalia a qualidade de um curso de forma mais aprofundada (^{Almeida & Souza, 2020}). Inserido no contexto da presença discreta da avaliação, estão os IFs, sendo que desde que foram criados foram realizadas poucas avaliações nos programas destas instituições. De maneira geral dentro dessas instituições não existe a prática sistemática e permanente para avaliar a eficácia de seus programas e cursos e quando ocorrem são preferencialmente através de órgãos oficiais com o intuito de mensurar níveis formais de conhecimento, de competências e de habilidades alcançados pelos alunos e assim averiguar o desempenho das organizações de ensino (^{Dutra, Coelho} & ^Dutra, 2019). Diante da importância da avaliação educacional de programas no contexto do ensino profissionalizante nos IFs se faz necessária a realização de estudos para verificar o que tem sido produzido no Brasil e no mundo acerca dessa temática.

3.Método

Esta pesquisa apresenta um caráter exploratório, de abordagem qualitativa, cujo objetivo é realizar um levantamento sistemático na literatura a fim de avaliar como tem sido realizada as avaliações dos cursos profissionalizantes no Brasil (^{Bordens & Abbott, 2018}). “A pesquisa qualitativa é indutiva, desenvolvem conceitos, insights e entendimentos a partir de padrões nos dados em vez de coletar dados para avaliar modelos, hipóteses ou teorias preconcebidas” (^{Taylor, Bogdan & De Vault, 2016}, p. 7). Com base nessa definição nos propomos a desenvolver este estudo quer compreender através de uma RSL sobre como tem sido desenvolvido sobre a avaliação educacional de programas no Brasil nos últimos cinco anos nos cursos profissionalizantes nos Institutos Federais. Segundo ^{Ramos, Faria & Faria (2014}, p. 6), “o propósito de uma revisão sistemática é resumir a melhor pesquisa disponível acerca de uma questão específica. Isto é feito através da síntese dos resultados de diversos estudos. Uma revisão sistemática utiliza procedimentos transparentes para encontrar, avaliar e sintetizar os resultados de pesquisas relevantes na área em estudo”. Para que fosse garantido a credibilidade da RSL, foi adotado um protocolo de pesquisa com critérios preestabelecidos, baseado na literatura e todas as etapas foram registradas e conferidas por um segundo pesquisador. A RSL foi realizada considerando publicações nacionais e internacionais em revistas acadêmicas que abordam temas relacionados à avaliação de cursos e programas de cursos profissionalizantes nos Institutos Federais do Brasil. O protocolo adotado na RSL contempla (i) um conjunto de questões de pesquisa; (ii) as bases de dados usadas (repositórios de artigos); (iii) as palavras-chave da pesquisa (strings de busca); (iv) um conjunto de critérios de inclusão e exclusão; (v) o método de extração de dados; e (vi) análise dos dados (^{Dermeval, Coelho & Bittencourt, 2020}). O escopo da pesquisa versa sobre as publicações transversais à tríade “Avaliação, Cursos profissionalizantes e Institutos Federais do Brasil”, por isso foram elaboradas às seguintes questões de pesquisa: QP01: “Como os cursos profissionalizantes têm sido avaliados? ”; QP02: “Quais os resultados obtidos através da avaliação desses programas?” E QP03: “Qual a influência dos resultados das avaliações desses programas na melhoria dos currículos destes cursos profissionalizantes? ”. Como estratégia de busca foram feitas pesquisas de artigos em bases de dados credíveis acerca da avaliação dos programas nos cursos profissionalizantes nos Institutos Federais do Brasil utilizando as plataformas Scopus, b-on e SciELO. A pesquisa foi realizada nos idiomas português e inglês. Foram utilizadas as seguintes strings de busca: em português (“avaliação e cursos técnicos” & “avaliação educacional e institutos federais”) e em inglês (“evaluation and technical courses” & “educational evaluation and federal institutes”). Como estratégia de busca optamos pelos seguintes critérios de inclusão: revistas acadêmicas com texto integral, onde foi feita a leitura dos títulos e resumos e utilizados os operadores boleanos “and” e “or”. Como critérios de exclusão, não foram selecionados textos que não fossem em formato de artigo científico na íntegra (dissertações, teses, resumos e comunicações) e estudos de avaliação de programas no contexto do ensino superior. Em ambas as etapas participaram dois pesquisadores e os conflitos foram discutidos com um terceiro pesquisador (^{Dermeval, Coelho & Bittencourt, 2020}).

Figura 1 Diagrama de pesquisa e seleção dos artigos. 

Para a extração dos dados foi feita uma pesquisa inicial nas bases de dados selecionadas, utilizando as strings de busca em português e em inglês e considerando os trabalhos publicados nos últimos 5 anos (Figura 1) (^{Dermeval, Coelho & Bittencourt, 2020}). Na etapa 1 da seleção foi realizada uma leitura dos títulos e eliminação dos artigos que não tinham correlação com a pesquisa. Na etapa 2 foram lidos os resumos dos 26 (vinte e seis artigos) previamente selecionados pelos títulos e foram retirados 2 (dois) que não estavam alinhados com o objetivo desta revisão. Na etapa 3 foi realizada a leitura na íntegra de 24 (vinte e quatro) e retirados 9 (nove) artigos com conteúdo divergente do objetivo dessa revisão. Finalmente após a seleção dos artigos considerando os critérios de inclusão e exclusão o corpus final de análise foi constituído por 15 (quinze) estudos. As informações de interesse extraídas dos artigos foram: (i) referência completa, (ii) revista ou journal; (iii) ano de publicação; (iv) nomes, (v) filiação dos autores, (vi) resumo e (vii) palavras-chave. Além disso, foram transcritas as respostas dos artigos às questões de pesquisa. Cada artigo foi associado a um ID (A01: Artigo 01), em ordem crescente de acordo com o ano de publicação. A compilação e análise dos dados são descritas na seção seguinte.

4.Resultados

O processo de busca resultou em um conjunto inicial de 1039 artigos, sendo mais numerosas as publicações indexadas na base de dados b-on com (565) artigos, com maior frequência nos meios de publicação, Scopus (437) artigos e SciELO com (37) artigos. Após a aplicação dos critérios de inclusão e exclusão, foram selecionados 15 artigos. Para a análise e discussão dos resultados obtidos na RSL foram divididos em subseções, sendo apresentado primeiro os aspectos gerais dos artigos e em seguida a sintetização das categorias criadas no webQDA referente às questões de pesquisa.

4.1 Visão Geral dos Estudos

Através do webQDA foi possível carregar os metadados e extrair as informações dos estudos selecionados para essa RSL entre ²⁰¹⁶ e 2021. No ano de 2021 não foi encontrado nenhum trabalho referente à temática da revisão. O ano com maior número de publicações foi ²⁰¹⁸ (⁴), seguido por ²⁰²⁰ (3), ²⁰¹⁹ (3), ²⁰¹⁶ (³) e 2017 (2) respectivamente. Com relação a classificação metodológica dos estudos publicados, foram identificadas três categorias, sendo elas qualitativa (67%; 10 estudos), quantitativa (20%; 3 estudos) e qualitativa e quantitativa (13%; 2). A maioria dos estudos foram publicados no Brasil na área da Educação, sendo encontrados poucos trabalhos na literatura internacional (Tabela 1).

Tabela 1 Informações sobre os selecionados e os respectivos locais e ano. 

A partir do arquivo gerado com os fragmentos codificados a partir da análise qualitativa dos artigos, empregou-se o “Questionamento” do webQDA, a ferramenta “Palavras mais Frequentes”, a partir da seguinte indagação: Quais são as 10 palavras mais frequentes contidas nos artigos pesquisados sobre avaliação de programas? (Figura 2). Nuvem de palavras dos artigos pesquisados gerada pelo software webQDA. Detectou-se que as ocorrências mais frequentes, das dez primeiras palavras, por ordem decrescente, são: trabalho (40), curso (33), formação (30), educação (28), ensino (25), resultados (23), avaliação (20), escola (18), profissional (17) e oferta (16).

Figura 2 Representação das cinquenta palavras mais frequentes, webQDA, 2022. 

4.2 QP01: Como os cursos profissionalizantes têm sido avaliados?

Das categorias de análise criadas a partir das perguntas de pesquisa, o primeiro aspecto a ser analisado foi o tipo de metodologia utilizada nas avaliações dos cursos. Na síntese dessa categoria foi possível identificar que a maioria das avaliações são realizadas internamente e utilizando como instrumentos questionários e entrevistas (7), em seguida temos a avaliação por resultados (5) e por último outros modelos (3) (Programme for the International Assessment of Adult Competencies- PAICA, Benchmarking e modelo de avaliação proposto por ^{Stufflebeam (2000})) (Figura 3).

Figura 3 Formas de Avaliação dos Programas. 

Os IFs desde sua fundação têm sofrido um processo de expansão pouco sustentada por avaliações dos seus programas (cursos), o que justifica a pouca quantidade de estudos encontrada referente a essa temática e a limitação das informações presentes (^{Muller, 2017}). Além da pouca presença das avaliações nos cursos profissionalizantes, quando elas ocorriam geralmente se utilizavam dados secundários como o número indicado de matrículas, aprovados, desistências e outros indicadores (^{Almeida & Souza, 2020}). Na RSL foi possível perceber uma mudança no perfil dessas avaliações nos cursos profissionalizantes, recorrendo em sua maioria a metodologias com intervenções internas e utilizando entrevistas e aplicação de questionários. Existem de poucas avaliações institucionais estabelecidas no âmbito do ensino profissionalizante nos IFs, por isso, como alternativa as instituições utilizam processos avaliativos mais autônomos sem existência de um padrão. Dessa forma, os autores optaram por trabalhar com instrumentos como questionários, entrevistas e outros modelos para a recolha das informações (^{Carvalho, Carneiro, Santiago & Afonso, 2020}). Segundo ^{Silvia & Ramos (2018}), deve-se levar também consideração que as avaliações externas e de larga escala nem sempre, conseguem captar as singularidades do ensino profissionalizante e também abrem mão da percepção dos envolvidos no processo de ensino ou intervenientes. A escolha de modelos de avaliação interna para os cursos profissionalizantes nos IFs demonstra uma preocupação maior em buscar metodologias que contemplem as características peculiares desta formação (^{Almeida & Souza, 2020}). O outro fator que contribui para a escolha desse modelo é o objetivo dessas avaliações que no âmbito dessas formações buscam perceber se os alunos atingem as competências necessárias, desenvolvidas ao longo dos cursos para a inserção no mercado de trabalho. Dessa forma a avaliação tem um cunho mais qualitativo e baseado nas percepções pessoais dos intervenientes (^{Fernandes, 2009}).

5.Conclusões

Ao longo da nossa investigação podemos perceber algumas limitações. Em primeiro lugar as poucas pesquisas envolvendo as avaliações de programas no ensino profissionalizante no Brasil nos Institutos Federais (^{Dutra, Coelho & Dutra, 2019}). Outro fator limitante foi o nível de detalhamento e escassez de informações nas avaliações apresentadas nos estudos, não sendo possível contemplar na íntegra todos os objetivos e perguntas de pesquisa previamente estabelecidos. Contudo, apesar destas limitações, pensamos ter contribuído em trazer uma reflexão sobre a avaliação de programas no ensino profissionalizante no Brasil nos Institutos Federais. A utilização do software webQDA constituiu um excelente apoio metodológico enquanto ferramenta para suportar a técnica de revisão sistemática da literatura. Para além de facilitar a categorização dos dados, permitiu extrair as informações dos artigos. Deste modo, o nosso grande objetivo de sintetização do conteúdo presente nos estudos sobre avaliação dos programas nos IFs foi contemplado. A pesquisa permitiu identificar uma mudança no perfil dos tipos de avaliações realizadas nos IFs, ganhando espaço as avaliações internas através de instrumentos autônomos no lugar das avaliações externas e formais focadas em dados secundários e no desempenho/indicadores de resultados. A partir da RSL foi possível identificar o que foi destacado por ^{Silvia & Ramos (2018}), que os modelos de avaliação externa e por resultados configuram um entrave ao êxito do projeto pedagógico dos cursos profissionalizantes, uma vez que desconsidera a autonomia das instituições e suas limitações internas. Os estudos analisados na RSL também mostraram, uma falta de articulação dos resultados das avaliações dos programas e a melhoria contínua do currículo e ausência de acompanhamento e monitorização ao longo do curso. Diante dos resultados extraídos da RSL, acreditamos que uma avaliação mais adequada para os cursos profissionalizantes nos IFs, deva utilizar uma metodologia da avaliação mais interna e utilize instrumentos construídos pelas Instituições e que possam ser realizadas em diversos momentos da formação e seus resultados contribuam para a sustentabilidades desses cursos (^{Almeida & Souza, 2020}). Pretende-se para trabalhos futuros a melhoria das strings de busca e identificar estudos que tenham realizado avaliações em etapas diferentes de formação dos alunos.