Português (pdf)
Artigo em XML
Referências do artigo
Tradução automática
Enviar este artigo por email
Citado por SciELO 
Similares em
SciELO 
Permalink
1. Introdução
Reformas ambiciosas pedem pesquisas sistemáticas que apoiem processos de desenvolvimento e implementação em uma variedade de contextos. E, este é o caso da temática que envolve a Avaliação do Desempenho Docente pelo Discente (ADD).
A discussão acerca da ADD vem se apresentando como uma ferramenta importante no contexto das instituições de ensino superior, tanto como mecanismo de regulação das instituições de ensino superior (IES) na forma de subcomponente da avaliação institucional e de cursos de graduação, quanto como instrumento para gestão de recursos humanos. Considerando o docente como peça fundamental para o ensino, é importante que este elemento seja continuamente avaliado. Para isso, podemos trabalhar com três tipos de avaliação docente: a autoavaliação, a avaliação por pares e a avaliação pelo discente, conforme visão de Barlow (2006).
A ADD, preconizada pelo Sistema Nacional de Avaliação da Educação Superior (Sinaes), faz parte da autoavaliação institucional e esta constitui-se em ferramenta fundamental que possibilita perceber os erros e equívocos e, a partir desses agentes vencer os obstáculos. Promove, dessa forma, o crescimento da instituição e da comunidade acadêmica envolvida, sendo vista como instrumento de melhoria e de qualidade acadêmica (Brasil, 2004).
Para Bouth (2013), a avaliação docente feita pelo discente é necessária para garantir qualidade no processo educacional. O aluno, como bem se apropria Brandalise (2012), deve se sentir sujeito da avaliação, ele não pode sentir a avaliação como algo externo.
A avaliação das atividades acadêmicas, enquanto objeto de estudo, está na base de um dos temas mais dinâmicos e, por vezes, mais polêmicos, da gestão de organizações de ensino superior. Esta constatação surge como um chamado para investir em pesquisa que visa compreender a complexidade inerente as atividades de saúde e ensino. Autores como Van den Akker (2013) e Griffioen, Groen & Nak (2019) consideram como a pesquisa promove subsídios para o desenvolvimento de temas polêmicos no ensino superior.
Vários autores compartilham da opinião que a pesquisa que promove agentes de mudança é aquela que oportuniza a reflexão crítica da realidade onde estes se inserem (Andre & Princepe, 2017; Andre, 2016; Freire, 1984; Regehr, 2010). Os princípios necessários à formação desse tipo de agente de mudança enfatizam a necessidade de envolvimento ativo do sujeito no processo de apropriação de conhecimentos, assim como a criação de coletivos colaborativos, que permitam a partilha de conhecimentos e a construção conjunta de novos conhecimentos (André, 2016).
A investigação-ação é um termo genérico para definir toda tentativa continuada, sistemática e empiricamente fundamentada de aprimorar a prática (Tripp, 2005). Os seus vários tipos de abordagens parecem responder muito bem aos propósitos de mudança da prática no ensino e na saúde, pois se caracterizam por um ciclo no qual se aprimora a prática pela oscilação sistemática entre agir no campo da prática e investigar a respeito dela. (Chen & Reeves, 2020; Oliveira & Zaidan, 2018). O ponto importante é que o tipo de investigação-ação utilizado seja adequado aos objetivos, práticas, participantes e cenário (Tripp, 2005).
A Educational design research, traduzida aqui como Pesquisa em Design Educacional (PDE), trata-se de um tipo de investigação-ação que proporciona a colaboração, entre as partes interessadas, para desenvolver, simultaneamente, entendimentos teóricos e soluções práticas possíveis aos desafios na área do ensino e da saúde. (McKenney & Reeves, 2012;2020; Van den Akker, 2013).
A abordagem tem se mostrado promissora para: desenvolver capacidades para trabalhar efetivamente em equipes de saúde cada vez mais fluidas; cultivar habilidades para se comunicar de maneira culturalmente competente com pacientes e outros profissionais de saúde; preparar os profissionais de saúde para a prática em um mundo cada vez mais complexo e digital; melhorar os protocolos de avaliação e práticas de devolutivas para promover a educação baseada em competências, e melhorar as habilidades de raciocínio clínico dos profissionais de saúde (Chen & Reeves, 2020).
Diante do exposto, colocou-se em discussão a seguinte questão: Qual a potencialidade da PDE, desde o primeiro mesociclo, para apoiar mudanças no processo de ADD, junto ao grupo gestor de uma faculdade de medicina?
Assim, o presente estudo teve como objetivo geral, conhecer a potencialidade da PDE para apoiar mudanças no processo de ADD, junto ao grupo gestor de uma faculdade de medicina.
A pesquisa partiu de uma situação concreta, para uma ação orientada, na busca de enfrentar a caminhada para a resolução de problemas efetivos detetados na instituição. O planejamento da pesquisa foi flexível, com várias preocupações a serem adaptadas em função das circunstâncias impostas pela pandemia da COVID-19 e da dinâmica interna do grupo participante.
2. Metodologia
Trata-se de um estudo do tipo pesquisa em design, descritiva, com abordagem qualitativa, sobre a validação dos princípios da PDE no apoio às mudanças na prática. A pesquisa é derivada de uma investigação mais ampla, em curso na instituição, intitulada “A avaliação de desempenho docente pelo discente: qualificando a autoavaliação institucional”. A pesquisa matricial teve a seguinte pergunta: Como desenvolver uma metodologia educacional sobre ADD, no âmbito da faculdade, buscando subsídios para o aprimoramento da autoavaliação institucional? Aqui, nesse artigo, os autores apresentaram uma sistematização da mesociclo 1 do projeto, desenvolvido ao longo de 2021, enfocando seus aspetos qualitativos. Os participantes eram membros do conselho gestor da unidade acadêmica.
O grupo gestor compreende o conselho da unidade acadêmica (CONSUA), o colegiado do Curso e o núcleo docente estruturante (NDE), totalizando 33 convidados, dos quais 18 aceitaram participar dos trabalhos. O grupo participante das oficinas contou com a representação das 3 (três) categorias que compõem a comunidade acadêmica: docentes, técnicos administrativos e discentes.
Vale ressaltar que os componentes dessas instâncias colegiadas são eleitos pela comunidade, com exceção do NDE, onde a participação é voluntária ou por indicação da gestão.
Zanella (2006) diz que a escolha da população depende de quais sejam os objetivos de pesquisa, as características que se deseja levantar e que recursos são disponíveis ao pesquisador. Portanto, considerando os objetivos do estudo, a seleção dos participantes foi realizada de forma intencional.
2.1 Desenvolvimento da pesquisa em design educacional
Este estudo seguiu o modelo genérico de abordagem da PDE (McKenney & Reeves, 2012). Na Figura 1, pode-se observar que cada mesociclo, ou sequência da pesquisa, se desenvolve em três fases principais, também chamadas de microciclos. As setas entre elas indicam que o processo é iterativo e flexível. Em todas as fases é possível haver construção do conhecimento com consequente produção científica, e produção técnica (produtos, processos ou programas) (Chen & Reeves, 2020).
Figura 1 Modelo genérico para condução de pesquisa em design educacional, adaptado de McKenney & Reeves, 2012. p.77
Para realçar uma proposta de perguntas a serem trabalhadas em cada uma das etapas, fez-se (Fig. 2) uma livre adaptação dos escritos sobre o modelo genérico da PDE (McKenney & Reeves, 2012; 2020), as recomendações para a condução da PDE na pesquisa em educação médica (CH Chen & Reeves, 2020), a proposta de validação de produto educacional (Rizzatti, Mendonça, Mattos, Rôças, Silva, Cavalcanti & Oliveira, 2020) e o guia de reflexividade na pesquisa qualitativa (Olmos-Vega, Stalmeijer, Varpio & Kahlke, 2023).
Figura 2 Sugestões de perguntas para cada uma das etapas, a partir das publicações dos autores: McKenney e Reeves (2012; 2020), Chen e Reeves (2020), Rizzatti et al. (2020) e, Olmos-Vega et al. (2023).
Fase de Análise e Exploração do Tema
Esse microciclo envolve trabalhar em estreita colaboração com outros profissionais para adquirir a compreensão do problema educacional significativo e investigar como outros o abordaram. A pesquisa, nessa fase, busca responder perguntas, como: O problema é significativo? Quais as melhores práticas? Quais as teorias aplicadas? Quem, do cenário de prática, poderia colaborar? Quem da população alvo? Quem tem experiência no problema? Qual o nosso diagnóstico? Expectativas? Desafios? (Fig. 2). Essa fase pode se valer de abordagens quantitativas, qualitativas ou mistas (Chen & Reeves, 2020; McKenney & Reeves, 2020; 2012). No caso da pesquisa em curso, foi realizada: revisão bibliográfica; questionário semiestruturado com 63 docentes para diagnóstico da existência de avaliações desse tipo no curso, bem como sua regularidade; entrevista com o coordenador da comissão permanente de avaliação (CPA) visando aprofundar o conhecimento sobre o processo de autoavaliação institucional realizado na universidade e identificar, no processo de avaliação de desempenho docente, as oportunidades de avaliação de desempenho docente pelo discente. Ainda Nessa fase, ocorreram duas oficinas virtuais com componentes do grupo gestor da faculdade. A primeira oficina teve o objetivo de analisar a compreensão do grupo sobre o tema ADD, e a segunda foi para efetuar a problematização do tema, identificando os desafios e benefícios para a implantação da ADD.
Fase de Projeto e Construção
Esse segundo momento da PDE (Fig. 1) caracteriza-se em identificar ou criar, coletivamente, princípios apropriados para desenvolver o modelo novo de intervenção ou aperfeiçoar algum existente, após ser avaliado. Foi o momento quando se indagou: quais as melhores práticas para o problema identificado? Por quê? Que princípios norteiam cada uma delas? Que princípios vamos adotar na nossa primeira intervenção? Quais os modelos que se aproximam dos nossos princípios? Qual o modelo possível (viável) de ser aplicado, no momento? Quem mais pode colaborar na intervenção? Quem serão os responsáveis? (Fig. 2).
A elaboração do plano de ação iniciou com o resgate e avaliação dos dados colhidos nas fases anteriores e, a identificação das ações viáveis a curto, médio e longo prazo. O planejamento foi produzido pelo mesmo grupo que participou das oficinas anteriores. Para tanto, aconteceram duas enquetes pelo WhatsApp sobre a escolha de modelos de intervenção, em seguida, com os resultados dos enquetes, foi realizada mais uma oficina virtual para planejamento da intervenção selecionada para o primeiro momento.
O modelo escolhido, a partir de então, deve incluir, no mínimo, três elementos-chave: objetivos de aprendizagem, materiais e atividades instrucionais e procedimentos de avaliação e devolutiva (CHEN & REEVES, 2020) que nortearão a execução da experiência.
Terceira fase - Avaliação e reflexão
Este microciclo consiste em múltiplas iterações de coleta e análise de dados para testar a intervenção e realizar a revisão das implicações dos resultados. Este momento proporciona aprendizado e avaliação, que motivam e apoiam os participantes a aprender com a devolutiva sobre a intervenção, no seu local de prática (McKenney & Reeves, 2020).
Nesse estudo, essa fase foi norteada pelas seguintes questões (Fig. 2): A intervenção funciona? Como, quando e o que funciona? Por que isso acontece? Como os participantes perceberam a relevância da intervenção? Como se deu o envolvimento dos participantes? Até que ponto a intervenção abordou os objetivos pretendidos? Ocorreu algum resultado não intencional? Qual? Por quê? Houve modificações no plano original? Por quê?
2.3 Análise dos dados
Os dados qualitativos produzidos, em todas as fases, foram armazenados em diário de bordo, gravação das videoconferências (oficinas, painel), nuvens de palavras, questionários semi-estruturados. Sistematicamente, após cada fase, foram transcritas as gravações e anotações do diário de campo, categorizados e analisados. A análise de conteúdo foi escolhida e, dentro dessa análise, utilizou-se a proposta de sistema de categorias temáticas, com o intuito de organizar e sistematizar os pontos que emergiram das respostas dos participantes. As unidades de registro usadas foram temas, porque, segundo Bardin (2011), a análise temática permite descobrir os sentidos que atravessam a comunicação e a frequência que a compõe indica significados para o objetivo analítico.
A análise temática, de cunho qualitativo, possibilitou maior ênfase à presença dos temas elaborados para responder à pergunta da pesquisa, em detrimento da frequência com que estes aparecem ao longo dos relatos. Sendo assim, observando a literatura sobre o assunto (McKenney & Reeves, 2012; 2020; Van den Akker, 2013; Andre, 2016), o material foi codificado pelas categorias temáticas que representavam as características de um processo pedagógico que busca mudança, na prática.
O estudo foi submetido ao Comitê de Ética em Pesquisa da instituição (CEP) e aprovado com o parecer nº 4.917.629 (CAAE 48689321.6.0000.5013).
3. Resultados e Discussão
A busca por estratégias para potencializar o grupo gestor é fundamental no processo de avaliação institucional, especialmente no curso que objetiva desenvolver competências médicas de forma integrada e contextual. O desenvolvimento da PDE, tendo como pano de fundo a ADD, foi estudado a partir de cinco categorias temáticas. São elas: Trabalho colaborativo; comunicação entre os participantes; preparo para a temática sobre ADD; construção de soluções (design); produção teórica (científica e técnica).
3.1 Trabalho Colaborativo
Durante a 1ª mesociclo da pesquisa, na fase 1 (Análise e Exploração do Tema) , apesar da colaboração de docentes do curso, coordenação da CPA e grupo gestor no fornecimento de dados para a elaboração dos diagnósticos, a direção dessas ações foi impressa pelas pesquisadoras responsáveis.
Nas fases 2 (Projeto e Construção) e 3 (Avaliação e reflexão), os participantes se apoiaram, buscaram atingir objetivos comuns estabelecidos pelo coletivo, estabeleceram relações que tenderam a corresponsabilidade pela condução das ações. Foram fases internacionais, porém ainda com sinais de hierarquização dentro do grupo.
Zeichner (2001), Silva & Pacca (2011) apresentou investigações que evidenciam que os professores que vivenciam projetos de investigação-ação para a mudança revelam diversos tipos de ganhos, pessoais e profissionais. Dentre os resultados pessoais destacam-se a melhoria da autoestima e da autoconfiança. E, referente aos resultados profissionais, verifica-se maior capacidade de autoanálise, melhoria das interações com outros professores, desenvolvimento de atividades de colegialidade e desenvolvimento da atenção aos problemas dos alunos e à aprendizagem centrada nos alunos.
A colaboração desenvolvida entre as partes interessadas, pode levar ao desenvolvimento profissional expresso por entendimentos teóricos e soluções práticas possíveis para desafios de ensino e aprendizagem. (McKenney & Reeves, 2012;2020; van den Akker, 2013).
3.2 Comunicação entre os participantes
A comunicação entre os participantes ocorreu de maneira competente e dialógica, ao longo de todas as fases da 1ª mesociclo. Ocorreu: construção de relação; abertura para discussão; recolhimento de informações; compreensão da perspetiva do docente, do discente e da instituição; compartilhamento de informações; estabelecimento de acordos; conclusão do diálogo; demonstração de empatia; transmissão de informações precisas.
Foram utilizadas diversas ferramentas para favorecer a comunicação do grupo, como: apresentações do projeto e dos diagnósticos ao Conselho da Unidade Acadêmica (CONSUA) e em reunião do Núcleo Docente Estruturante (NDE); construção de diálogos e enquetes, com os participantes, pelo WhatsApp; uso de questionários online utilizando a plataforma Google forms para diagnósticos e avaliações; uso da plataforma mentimeter para enquete e construção de nuvem de palavras ao longo das oficinas; apresentação de vídeo sobre avaliação institucional e, oficinas e entrevistas virtuais utilizando a plataforma Google meet, com os participantes do estudo. Todos esses momentos estiveram submetidos a um roteiro semiestruturado, construídos pelas pesquisadoras responsáveis.
3.3 Preparo para a temática sobre ADD
Para esse momento foram realizadas duas oficinas de trabalho, de forma virtual: a primeira oficina teve o objetivo de analisar a compreensão dos profissionais sobre o tema ADD e a segunda foi para efetuar a problematização do tema, identificando os desafios e benefícios para a implantação da ADD. Este preparo esteve concentrado na 1ª fase - Análise e Exploração do Tema.
O desenvolvimento dessa fase envolveu, majoritariamente, métodos e instrumentos qualitativos, mas também quantitativos. Esta mistura potencializou a qualidade do recolhimento e da análise dos dados. As técnicas qualitativas deram acesso às perceções mais detalhadas dos participantes responsáveis pelo desenho e construção da intervenção. Foi possível identificar os benefícios e os desafios esperados para os possíveis modelos de intervenção. A apreciação quantitativa teve propósitos específicos, sendo articulada para complementar o estudo. Para Minayo, Assis & Souza (2010), o uso privilegiado de uma abordagem ou uma técnica, tendo a outra como complementar, depende do que se quer com a investigação avaliativa.
Ao final do preparo, na conceção do grupo, a avaliação docente foi considerada uma estratégia para garantir a qualidade das práticas pedagógicas do professor. Portanto, essa compreensão se aproxima dos argumentos defendidos pelos autores Girardi, Mueller & Baratella (2017) quando concluem que a avaliação do docente pelo discente é de fundamental importância para a construção da qualidade de ensino de uma instituição.
3.4 Construção de soluções
Reeves, McKenney & Herrington (2011) abordaram acerca da pouca conexão existente entre a investigação e uma significativa melhoria na qualidade dos processos e desempenhos em contexto de ensino e aprendizagem. Eles defendem que abordagens como a PDE podem representar um avanço para a educação. As soluções práticas advindas da PDE, na educação, podem ser produtos educacionais, processos, programas ou políticas (McKenney & Reeves, 2020; Gruppen et al, 2018).
Nesse relato, a elaboração do plano de ação iniciou com a avaliação e reflexão dos dados colhidos na fase 1 da pesquisa e, a identificação das ações viáveis a curto, médio e longo prazo (fase 2). Vários autores compartilham da opinião que a pesquisa que promove agentes de mudança é aquela que oportuniza a reflexão crítica da realidade onde estes se inserem. (McKenney & Reeves, 2020; Gruppen et al, 2018; Andre & Princepe, 2017; Andre, 2016; Freire, 1984; Olmos-Vega et al., 2023).
O planejamento foi produzido pelo mesmo grupo que participou das oficinas anteriores, desenvolvido em dois momentos. O primeiro foi constituído por um enquete sobre o grau de prioridade, enviada pelo WhatsApp, contendo o resultado da nuvem de palavras sobre as ações necessárias para a implementação da ADD. As intervenções necessárias, do ponto de vista dos participantes, foram: a) refletir e discutir o papel da Comissão de Autoavaliação na ADD; b) Iniciar a construção do instrumento de ADD; c) momento de sensibilização sobre o tema; promover encontros para ouvir as experiências, pontuais, em curso na instituição e de escolas médicas que desenvolveram ADD; d) capacitação, oficinas sobre ADD e a Construção do instrumento de ADD. Entre todas, foi escolhido para início do programa uma ação de sensibilização - Painel acadêmico sobre a avaliação de desempenho docente pelo discente.
No segundo momento da construção da intervenção, foi realizada a terceira, e última oficina de pesquisa da 1ª mesociclo. Essa oficina, também virtual, teve o intuito de planejar o primeiro Painel sobre ADD, a partir da auscultação dos participantes e da incorporação das suas sugestões ao longo do desenvolvimento do estudo.
O sucesso de qualquer intervenção em um ambiente educacional é determinado pela interação da inovação com outros componentes do sistema. É previsto, nesse gênero de pesquisa, que, por meio de vários mesociclos com investigação da eficácia da intervenção, durante a fase de 'Avaliação e Reflexão (Fase 3), pode-se refinar o desenho e seus princípios. Idealmente, esses princípios refinados permitirão o desenho e implementação de intervenções semelhantes em novos contextos educacionais (McKenney & Reeves, 2020; Reeves, McKenney & Herrington, 2011)
Nesse estudo, a intervenção (Painel) foi avaliada e indicou a necessidade de outras intervenções a serem discutidas e construídas na segunda mesociclo do projeto, em 2023.
3.5 Produção teórica (científica e técnica)
A PDE é definida pelos autores como um gênero de pesquisa em que o desenvolvimento iterativo de soluções para problemas complexos ou desconfortáveis também é um campo para o empirismo (McKenney & Reeves, 2020; van den Akker, 2013). A abordagem encoraja os pesquisadores a buscar oportunidades para compartilhar suas descobertas de pesquisa desde os estágios iniciais do projeto (McKenney & Reeves, 2020).
Vimos, então, que nessa primeira mesociclo da pesquisa, norteada por indagações adequadas a cada uma das fases, já foi possível criar dois cenários propícios para produção teórica: um para a investigação científica e outro, para a produção técnica. Na parte científica, teve-se como resultado, até o momento: dissertação de mestrado, artigo sobre diagnóstico da instituição e artigo sobre a abordagem PDE no mestrado profissional. A produção técnica educacional foi explicitada por meio da produção de vídeo sobre avaliação institucional; elaboração de quadro de perguntas para cada fase da pesquisa; programa de ações para implementação da ADD e, a montagem e execução do “Painel acadêmico sobre a avaliação de desempenho docente pelo discente”.
O painel teve como objetivo iniciar o processo de sensibilização sobre a temática discutida (ADD). A programação abordou a política institucional de avaliação e experiências de avaliação docente pelo discente no curso.
Toda produção teórica esteve associada às duas primeiras fases da pesquisa - Análise e Exploração do Tema (Fase 1) e Projeto e Construção (Fase 2).
3.6 Limitação de estudo
Ao longo do primeiro mesociclo da pesquisa observou-se dois tipos de limitações. Uma delas relacionada ao tema e a outra, referente à abordagem.
Sobre o tema -ADD- Marins (2019) acrescenta que a complexa missão de avaliar sujeitos em posição de “mais saber” por outros em situação de “aprendizes” toca as subjetividades desses atores, e, por isso, ainda suscita debates e discussões que podem ser polêmicas e acaloradas. Portanto, foi importante entender que o foco da avaliação docente pelo discente deve ser o da participação e do aprimoramento das práticas pedagógicas, promovendo efetivamente a melhoria dos cursos.
Sobre a segunda limitação, observou-se que a abordagem do tipo PDE requer quantidades substanciais de tempo (meses ou anos), porque ela se concentra na criação de mudanças produtivas, na prática. Cada indivíduo tem um tempo e um espaço diferentes para mudanças e, estes aspetos precisam ser considerados e respeitados. Nesse estudo, isto gerou certa angústia nos participantes que gostariam de alcançar metas de médio e longo prazo no primeiro mesociclo da pesquisa. Pensando nisso, deve-se considerar estratégias que permitam aos participantes ter espaço de troca para suas angústias, bem como, tempo para organizar emocional e cognitivamente suas necessidades e possibilidades de mudança (McKenney & Reeves, 2020).
4. Considerações Finais
A pesquisa em design vem ganhando força nos últimos anos, particularmente no campo dos estudos educacionais. Esse artigo abordou o potencial da PDE para promover oportunidades de desenvolvimento do grupo gestor, visando a implementação de mudanças na ADD em um curso de medicina. Os achados direcionaram para o importante potencial da PDE e encorajou as pesquisadoras a considerar a realização dessa abordagem diante de problemas complexos relacionados ao ensino, aprendizado e desempenho. A PDE permitiu colaboração e comunicação mais estreitas com docentes, discentes e técnicos na resolução desses problemas, e possibilitou construção da intervenção e, amadurecimento teórico com produção científica e técnica. Por fim, houve a intenção de fornecer mais um itinerário para futuros pesquisadores de design educacional investigarem, documentarem e informarem a prática educacional.
