1. INTRODUÇÃO

O Teaching and Learning International Survey (TALIS) é um estudo internacional coordenado pela Organisation for Economic Co-operation and Development (OCDE) sobre ensino e aprendizagem nos 7.º, 8.º e 9.º anos de escolaridade. Foram realizadas três edições, 2008, 2013 e 2018, com a participação de países/economias a aumentar: 24 (em 2008), 34 (em 2013) e 48 (em 2018). Este estudo complementa o Programme for International Student Assessment (PISA), também da responsabilidade da OCDE, dedicado à avaliação dos alunos com 15 anos de idade e lançado em 2000 (^{Rosa et al., 2020}). O objetivo principal do TALIS é “gerar informação relevante internacionalmente comparável para desenvolver e implementar políticas voltadas para líderes escolares, professores e pedagogos, com ênfase nos aspetos que afetam a aprendizagem dos alunos” (^{OCDE, 2019}, p. 19), permitindo que cada país se identifique com outros que enfrentam desafios semelhantes e aprenda com diferentes abordagens políticas (^{Albergaria-Almeida et al., 2015}; ^{Fernández-Díaz et al., 2016}).

Os temas abordados no TALIS são: a formação de docentes e diretores e seu desenvolvimento profissional; as práticas pedagógicas e o feedback recebido; o ambiente escolar; a satisfação e as motivações de docentes e diretores; a liderança nas escolas. Em 2018, foram acrescentados dois temas transversais: a inovação e a equidade/diversidade (^{OCDE, 2019}).

O TALIS permite que os docentes e dirigentes escolares exponham as suas perspetivas sobre o estado da educação e, portanto, os seus resultados representam as suas opiniões, perceções, crenças e descrições das suas atividades (^{Sorensen & Robertson, 2020}; ^{Zakariya, 2020}). A OCDE (²⁰¹⁴, ²⁰¹⁹, ²⁰²⁰) considera que essa informação é importante, mas alerta para o facto de ela poder ser subjetiva e, portanto, poder diferir de dados recolhidos objetivamente.

Segundo o TALIS, o docente é “uma pessoa cuja atividade profissional implica a transmissão de conhecimentos, de atitudes e de competências necessárias aos estudantes inscritos num programa de educação” (^{OCDE, 2019}, p. 85). Esta definição não se enquadra na “qualificação” do docente, mas na sua atividade, profissão e respetivo programa de educação (^{Maués & Costa, 2020}). A OCDE e a UNESCO enfatizam, nos seus relatórios (^{OCDE, 2010}, ²⁰¹⁴, ²⁰¹⁹, ²⁰²⁰; ^{UNESCO, 2021}), o quanto os professores constituem o centro do sistema escolar e como as investigações mais diversas têm confirmado que a qualidade dos professores é essencial na aprendizagem dos alunos (^{Hanushek & Woessmann, 2020}; ^{Komatsu & Rappleye, 2017}; ^{Leigh, 2010}; ^{Scheerens, 2010}).

A dimensão da amostra do TALIS 2018 é de 200 escolas do equivalente ao 3.º ciclo do ensino básico (CEB), por país. Em cada escola são envolvidos 20 docentes e o respetivo diretor. Pretende-se obter uma taxa de resposta de 75 % das escolas selecionadas e uma escola é considerada como tendo respondido se 50 % dos docentes selecionados nessa escola tiverem respondido ao questionário. “Os níveis elevados de participação de registados por escolas, docentes e diretores, permitiram a atribuição a Portugal da menção ‘Bom’ (‘Good’), a mais elevada prevista” (^{Rodrigues et al., 2020}, p. 12), como tinha sucedido também em 2013. A taxa de participação das escolas foi de 100 %, estando envolvidos 200 diretores (taxa de resposta de 100 %) e 3676 docentes (taxa de resposta de 92,7 %).

Há alguns trabalhos publicados sobre a participação de Portugal no TALIS. Sobre o TALIS 2013 encontrámos dois: ^{Albergaria-Almeida et al. (2015}) e ^{Lopes et al. (2015}); sobre o TALIS 2018 deparámos com três: ^{Rodrigues et al. (2020)}, ^{Maia, Mascarenhas et al. (2022}) e ^{Maia, Rosa et al. (2022)}.

Com este artigo, pretendemos alargar o espaço de informação sobre este estudo, nomeadamente sobre o que podem significar os resultados de 2018 de Portugal. Para o efeito, partimos dos documentos publicados a nível nacional e internacional sobre o TALIS, com foco nos relatórios da ^{OCDE (2019}, ²⁰²⁰), versando o TALIS 2018, e fizemos uma análise sobre os indicadores com dados quantificados, numa linha que segue os estudos de ^{Maia, Mascarenhas et al. (2022}) e ^{Maia, Rosa et al. (2022)}. No primeiro destes dois estudos, os autores compararam os resultados dos sete países mediterrânicos da União Europeia (Portugal, Espanha, França, Itália, Malta, Eslovénia e Croácia) no TALIS 2018, segundo determinados critérios, e, no outro estudo, ^{Maia, Mascarenhas et al. (2022)} comparam os resultados de todos os países/economias que participaram no TALIS 2018 a partir de índices por eles próprios construídos. Neste nosso artigo, comparamos os resultados de Portugal com a média dos resultados dos países/economias da OCDE, verificando se, na opinião dos professores e diretores de escola/agrupamento, a qualidade da educação no 3.º CEB está num caminho positivo, negativo ou neutro.

2. OS RELATÓRIOS DA OCDE SOBRE O TALIS 2018

A OCDE publicou dois volumes, em 2019 e 2020, com os resultados do questionário preenchido em 2018 por docentes e diretores escolares que, na altura, lecionavam ou dirigiam o equivalente a instituições escolares do 3.º CEB, respetivamente, TALIS 2018 Results (Volume I): Teachers and school leaders as lifelong learners e TALIS 2018 Results (Volume II): Teachers and school leaders as valued professionals.

O primeiro volume explora a dimensão dos conhecimentos e competências profissionais de docentes e diretores. Analisa a forma como os docentes adquiriram os seus conhecimentos e competências durante a formação inicial e contínua e os aplicam na sala de aula, as práticas de ensino, a demografia de docentes e diretores, a composição sociocultural das turmas, o ambiente e o contexto das aprendizagens e como os diretores os usam nas suas lideranças (^{OCDE, 2019}).

O segundo incide sobre o status e posição, o controle de pares, a responsabilidade e a autonomia de docentes e diretores. Foca-se nas suas condições de trabalho e nos níveis de satisfação e bem-estar relacionados com a profissão. Aborda, também, a forma como as escolas promovem ambientes de trabalho produtivos e envolventes, onde prospere a aprendizagem entre pares e se fomente as discussões entre docentes sobre o que é melhor para o ensino (^{OCDE, 2020}).

Na análise que faz sobre a profissão dos agentes ligados ao ensino, a ^{OCDE (2019}, ²⁰²⁰) defende que ela é sustentada por cinco pilares:

O Volume I explora o primeiro pilar, a dimensão dos conhecimentos e competências e os contextos em mudança no ensino. Mostra como “professores e diretores escolares veem a sua prática e desenvolvem os seus conhecimentos e competências para ajudar os alunos a melhorar as suas capacidades cognitivas e socioemocionais e o conhecimento académico necessário no mundo em mudança de hoje” (^{OCDE, 2019}, p. 27).

O Volume II aborda os outros quatro pilares, centrando-se no prestígio e posição da profissão, na segurança, flexibilidade e estruturas de recompensa de carreiras, na extensão da colaboração profissional e relações dentro das escolas e no grau de autonomia e liderança que professores e diretores escolares desfrutam nos seus empregos.

Na análise desses cinco pilares, o TALIS definiu 13 objetivos no Volume I e 17 objetivos no Volume II, que se desdobram em 26 e 43 policy pointers, que, por sua vez, estão associados a 61 indicadores quantificados, agrupados em dez áreas: seis no primeiro volume e quatro no segundo, sendo 50 referentes a professores e 11 a diretores. O valor numérico de cada indicador em cada país é marcado com uma cor indicando que: a) é estatisticamente superior à média da OCDE (verde); b) é estatisticamente inferior à média da OCDE (cinzento); c) não é estatisticamente diferente dessa média (branco). A Figura 1, que é parte de uma tabela do Volume I do relatório da OCDE sobre o TALIS 2018 (^{OCDE, 2019}, p. 30), mostra as pontuações de quatro países em seis indicadores do tema Tecnologias de Informação e Comunicação (TIC) para o ensino nesse Volume, onde podemos ver as três cores referidas em consonância com as pontuações de cada país em cada indicador.

Nota: Retirado de TALIS 2018 Results (Volume I): Teachers and school leaders as lifelong learners (^{OCDE, 2019}, p. 30).

Figura 1: Pontuações de quatro países em seis indicadores de um dos temas do Volume 1 do Relatório da OCDE (2019) sobre o TALIS 2018, com as cores correspondentes ao nível da pontuação em cada indicador 

3. METODOLOGIA

Neste artigo, analisamos os resultados de Portugal em comparação com os resultados médios dos países/economias da OCDE, segundo a opinião dos professores e diretores, no que se refere à potencialidade de melhoria da qualidade da educação.

Fizemos um estudo de caráter quantitativo, de análise global e por áreas, tendo como referência os respetivos indicadores, na linha de ^{Maia, Mascarenhas et al. (2022}) e ^{Maia, Rosa et al. (2022}): organizámos os indicadores quantificados segundo dois critérios. Pelo primeiro, formámos três grupos: i) aqueles em que, em termos estatísticos, Portugal apresenta um valor significativamente superior à média dos países da OCDE; ii) aqueles em que o valor de Portugal é inferior a essa média; iii) aqueles em que o valor de Portugal é não diferente da citada média. O segundo critério baseia-se na perspetiva da ^{OCDE (2019}, ²⁰²⁰) e ^{Schleicher (2016}, ²⁰²⁰) sobre a influência de cada indicador na melhoria da qualidade da educação. A OCDE relaciona cada indicador com a aprendizagem dos estudantes, a inovação, o contexto escolar, a carreira dos profissionais ou a sua autonomia, considerando-os como fatores que influenciam a qualidade da educação. No entanto, consideram que essa influência pode ter um efeito positivo se a ação expressa pelo indicador promover a melhoria da qualidade da educação ou um efeito negativo se provocar uma regressão. Há também indicadores que não têm qualquer influência, positiva ou negativa, sobre essa qualidade. Assim, usando este critério, dividimos os indicadores em três grupos: 1) os que são favoráveis a uma melhoria do ensino; 2) os que são desfavoráveis a essa melhoria; 3) os que são neutros em relação à referida melhoria. Cruzámos os grupos e contámos, por área, os indicadores em que, numa perspetiva benigna à melhoria do ensino, Portugal estava num nível: a) superior à média dos países da OCDE; b) inferior a essa média; c) não diferente da referida média. Por fim, interpretámos os resultados referentes aos docentes e diretores portugueses.

A Tabela 1 apresenta as dez áreas referidas nos dois volumes da ^{OCDE (2019}, ²⁰²⁰), as designações que atribuímos a cada uma delas e os respetivos pilares: CC corresponde ao pilar Competências e conhecimentos básicos (Volume I) e PR corresponde aos quatro pilares (Volume II): Oportunidades de carreira; Prestígio e posição; Regulação por pares e cultura colaborativa; Responsabilidade e autonomia.

Tabela 1: Áreas de indicadores no TALIS 2018, por Volume, e respetivos pilares que a OCDE considera que sustentam a profissão de professor e diretor escolar 

Nota: Os nomes dos pilares e áreas são traduções realizadas pelos autores dos termos usados pela ^{OCDE (2019}, ²⁰²⁰) e os acrónimos das diferentes áreas são definidos pelos autores.

A Tabela 2a apresenta os indicadores relativos a docentes incluídos no Volume I, que designámos por P1 a P29, e a Tabela 2b apresenta os relativos a docentes incluídos no Volume II, que designámos por P30 a P50. A Tabela 3 apresenta os relativos a diretores (nos Volumes I e II), que designámos por D1 a D11. Estas tabelas mostram também a área em que se enquadra cada indicador. Dos 61 indicadores, dois deles apresentam valores absolutos (P29 e D8) e os restantes 59 apresentam percentagens de professores ou diretores que verificam uma dada condição. A cada um destes indicadores está associada uma letra: F se o indicador, segundo OCDE (2019, 2020) e ^{Schleicher (2016}, 2020), é favorável à melhoria da qualidade da educação, D se o indicador é desfavorável a essa melhoria ou N se é neutro em relação à qualidade da educação. Note-se que, em virtude do maior número de indicadores para professores do que para diretores, enquanto em relação aos primeiros há pelo menos três indicadores em cada área, no que respeita aos segundos (ver Tabela 3) há áreas que não têm qualquer indicador (CC2, CC4, PR1 e PR4).

Tabela 2a: Indicadores quantificados no TALIS 2018 e respetivas áreas do pilar Competências e conhecimentos básicos (Vol. I) que a OCDE considera que sustenta a profissão docente 

Nota. Os nomes dos indicadores são traduções realizadas pelos autores dos usados pela ^{OCDE (2019}, ²⁰²⁰) e as abreviaturas são definidas pelos autores. As designações das áreas correspondem às siglas definidas na Tabela 1. A letra associada a cada indicador indica que este é favorável (F), desfavorável (D) ou neutro (N) relativamente à melhoria da qualidade da educação de acordo com a ^{OCDE (2019}, ²⁰²⁰) e ^{Schleicher (2016}, ²⁰²⁰).

Tabela 2b: Indicadores quantificados no TALIS 2018 e respetivas áreas dos pilares do Volume II que a OCDE considera que sustentam a profissão docente 

Nota. Ver nota da Tabela 2a.

Tabela 3: Indicadores quantificados no TALIS 2018 e respetivas áreas dos pilares que a OCDE considera que sustentam a profissão de diretor escolar 

Nota. Ver nota da Tabela 2a.

Por exemplo, o indicador P2 - % de docentes que se sentem “bem preparados” ou “muito bem preparados” para o uso das TIC no ensino está referenciado com um F pois é positivo para qualidade da educação que os docentes se sintam com competência para usar as TIC no ensino. De facto, ^{Schleicher (2020}) afirma que “os inquéritos e estudos internacionais realizados em contextos internacionais e nacionais também sublinham que a utilização e integração eficazes das TIC na sala de aula dependem da formação de professores em TIC” (p. 23). Por outro lado, no indicador D4 - % de diretores que nunca receberam nenhuma formação de liderança escolar, está referenciado com um D, pois, segundo a OCDE, é negativo para a qualidade da educação que os diretores nunca tenham tido formação numa área da sua competência, conforme se pode constatar na frase: “para promover a melhoria ao longo da vida da base de conhecimentos e competências dos professores e dos dirigentes escolares, é imperativo que os sistemas educativos proporcionem formação pertinente e facilitem o acesso à mesma” (^{OCDE, 2019}, p. 39). Por sua vez, não é positivo nem negativo ter um valor elevado no indicador P27 - Percentagem de docentes do sexo feminino, porque a melhoria do ensino não depende do sexo do docente; portanto este indicador está classificado com N.

Assim, para a melhoria da qualidade da educação, segundo a ^{OCDE (2019}, ²⁰²⁰) e ^{Schleicher (2016}, 2020): a) é positivo para cada país/economia que haja um valor mais alto do que a média nos indicadores referenciados com F e que haja um valor mais baixo do que a média nos indicadores referenciados com D; b) é negativo para cada país/economia que haja um valor mais baixo do que a média nos indicadores referenciados com F e que haja um valor mais alto do que a média nos indicadores referenciados com D. Nos indicadores classificados com N é indiferente para a melhoria da qualidade da educação qual o valor da percentagem de docentes e diretores de cada país.

4. ANÁLISE DOS DADOS E RESULTADOS

Cruzando os dois critérios referidos, verificámos se, em cada indicador, Portugal estava numa posição positiva, negativa ou neutra em relação à média dos países da OCDE.

Se, num indicador favorável à melhoria do ensino na perspetiva da OCDE (segundo critério), Portugal apresentava um valor que era estatisticamente mais alto do que a média da OCDE (números salientados a verde na Figura 1) nas tabelas dos relatórios da OCDE sobre o TALIS 2018 (primeiro critério), classificámos esse indicador com + (positivo), e se era estatisticamente mais baixo do que a média da OCDE (números salientados a cinzento na Figura 1), classificámo-lo com - (negativo).

Se, num indicador desfavorável para melhoria do ensino (segundo critério), Portugal apresentava um valor que era estatisticamente mais alto do que a média da OCDE (números salientados a verde na Figura 1) nas tabelas dos relatórios da OCDE sobre o TALIS 2018 (primeiro critério), classificámos esse indicador com - e se era estatisticamente mais baixo do que essa média (números salientados a cinzento na Figura 1), classificámo-lo com +.

Se o indicador era neutro em relação à melhoria do ensino (segundo critério) ou apresentava um valor estatisticamente não diferente da média da OCDE (números a branco na Figura 1) nas tabelas dos relatórios da OCDE sobre o TALIS 2018 (primeiro critério), classificámo-lo com = (igual).

Isto é, em relação à melhoria da educação, um indicador classificado com + significa que, tendo em conta a opinião dos professores ou diretores, Portugal está melhor do que a média dos países da OCDE em relação ao parâmetro correspondente, um indicador classificado com - significa que Portugal está pior do que essa média no que respeita ao correspondente parâmetro e um indicador classificado com = significa que Portugal está dentro da média da OCDE relativamente a esse parâmetro ou que este é neutro em relação à melhoria do ensino.

A Tabela 4 apresenta o número de indicadores referentes a professores com +, - ou =, por área. Por exemplo, na área CC1 - Tecnologias de Informação e Comunicação (TIC) para o ensino, há cinco indicadores (ver Tabela 2a), sendo que: a) em dois deles, Portugal apresenta uma percentagem de docentes superior à média dos países/economias da OCDE em indicadores F ou uma percentagem de docentes inferior à média dos países/economias da OCDE em indicadores D, donde resulta 2 na coluna com classificação +; b) em três deles, Portugal apresenta uma percentagem de docentes superior à média dos países/economias da OCDE em indicadores D ou uma percentagem de docentes inferior à média dos países/economias da OCDE em indicadores F, donde resulta 3 na coluna com classificação -. Na área CC5 - Formação inicial e contínua, há quatro indicadores (ver Tabela 2a) e, no único indicador referenciado com D, Portugal apresenta um valor estatisticamente significativo superior à média dos países da OCDE e, nos três indicadores referenciados com F, Portugal apresenta um valor estatisticamente significativo inferior à média dos países da OCDE, donde resulta 4 na coluna com classificação -.

Tabela 4: Número de indicadores de Portugal referentes a docentes classificados com +, = ou -, por área, em relação à melhoria do ensino 

Nota. Tabela criada pelos autores.

Podemos verificar, em termos gerais, que, em Portugal e no que se refere a docentes:

Considerando os parâmetros que a OCDE considera relevantes para a melhoria do ensino e que são quantificados no TALIS, estes números indicam-nos que, na opinião dos docentes, o panorama português no 3.º CEB está claramente abaixo da média da OCDE, em qualquer dos pilares.

Num olhar mais específico para cada área, verificamos que Portugal, em relação ao pilar Competências e conhecimentos básicos, apresenta valores equilibrados relativamente à média da OCDE em duas áreas, CC1 - Tecnologias de Informação e Comunicação (TIC) para o ensino e CC6 - Perfis sociodemográficos e de experiência de professores e diretores, e valores mais fracos nas restantes quatro áreas, CC2 - Ensino em contextos multiculturais ou multilíngues, CC3 - Ensino de alunos com diversos níveis de capacidades e necessidades, CC4 - Comportamento do aluno e gestão da sala de aula e CC5 - Formação inicial e contínua. Nestas últimas três áreas, há 13 indicadores negativos para um só positivo, o que indica que, em temas diretamente ligados a práticas e contextos na sala de aula, a perceção dos professores portugueses do 3.º CEB é bastante mais desfavorável do que a que têm a generalidade dos docentes da OCDE. É de referir, no entanto, num sentido positivo, que a área CC1 - Tecnologias de Informação e Comunicação (TIC) para o ensino, embora tenha alguns indicadores negativos, é a que tem mais indicadores positivos, o que é confirmado por ^{Rosa (2020}).

A Tabela 5 apresenta os números para as mesmas áreas e níveis de classificação da Tabela 4, mas referentes a diretores escolares. De notar que, como as áreas CC2 e CC4 no Volume I e PR1 e PR4 no Volume II não tiveram qualquer indicador que fosse objeto de estudo junto dos diretores, aparece 0 (zero) em cada uma das colunas de Classificação dessas áreas.

Tabela 5: Número de indicadores de Portugal referentes a diretores escolares classificados com +, = ou -, por área, em relação à melhoria do ensino 

Nota. Tabela criada pelos autores.

Podemos verificar, em termos gerais, que, em Portugal e no que se refere a diretores escolares:

Comparando os resultados referentes a docentes (Tabela 4) e diretores (Tabela 5), verificamos que, nos primeiros, o número de indicadores positivos é 19% do número de indicadores negativos ( 7 36 ) e que essa percentagem é de 33% ( 1 3 ) nos segundos. Estes números indicam-nos que, mesmo tendo em conta que o número de indicadores referentes a diretores (11) é bem menor do que os referentes a professores (50), em relação ao panorama português no 3.º CEB, a perceção dos diretores é melhor do que a perceção dos docentes, mas ainda inferior à média dos países da OCDE.

5. CONCLUSÕES

A excelente participação de escolas, docentes e diretores escolares portugueses dá um significado forte aos resultados de Portugal no TALIS 2018. Os números apresentados não provêm de fontes administrativas, mas das opiniões, perceções, crenças ou relatos dos docentes e diretores escolares onde existe subjetividade. Porém, a ^{OCDE (2014}, ²⁰¹⁹, ²⁰²⁰) considera que essa informação é pertinente, na medida em que fornece uma visão de como os professores e diretores, os profissionais mais diretamente implicados no processo de ensino/aprendizagem, percebem os ambientes de aprendizagem em que trabalham, o que os motiva e de como as políticas são colocadas em prática.

A análise que fizemos sobre os indicadores quantificados constantes nos dois Volumes da OCDE sobre o TALIS 2018 indica-nos que, na opinião dos docentes do 3.º CEB, o número de indicadores negativos é muito superior ao de positivos e que não há área alguma em que o número de indicadores positivos seja superior ao de negativos. Indica, também, que a perceção que têm sobre os parâmetros relacionados com o seu trabalho em contextos diversificados, tanto culturais como de níveis de capacidades dos alunos, com a gestão da sala de aula e com a sua formação, é muito inferior à perceção média que têm os docentes da OCDE.

As opiniões dos diretores portugueses não são tão “pessimistas” como as dos professores, mas também não são positivas. A única área positiva (PR3 - Satisfação de professores e líderes escolares com seu trabalho) diz-nos que, apesar dos problemas existentes nas escolas e apontados por eles e docentes, os diretores estão satisfeitos com o seu trabalho. Mas é de lembrar que só 11 indicadores (contra 50 dos docentes) são dirigidos aos diretores, o que nos diz que a imagem que os seus números transmitem é, talvez, menos forte do que a traduzida pelos docentes.

Em resumo, parece-nos que a análise que fizemos aponta num sentido: segundo os profissionais da educação, em especial os docentes, a educação no 3.º CEB em Portugal precisa de mudar em qualquer das áreas referidas, quer ao nível das práticas e formação dos docentes, quer ao nível da sua valorização profissional.

Estes resultados confirmam os apresentados por ^{Maia, Rosa et al. (2022}) que referem que os professores dos países mediterrânicos da União Europeia mais ocidentais - Portugal, Espanha, França e Itália - têm uma opinião muito pior do que os dos países mais orientais - Malta, Eslovénia e Croácia (p. 11). Estes nossos resultados esclarecem também os resultados obtidos por ^{Maia, Mascarenhas et al. (2022)}. Estes afirmam que, no que respeita a professores: Portugal tem o terceiro pior resultado no índice de países/economias no conjunto de indicadores dos Volume I (depois da França e da Islândia) e o pior no conjunto de indicadores do Volume II e no total dos Volumes I e II; e que Portugal é o único país que está, simultaneamente, no quartil inferior dos países/economias, na opinião dos professores em relação aos indicadores do Volume I, na opinião dos professores quanto aos indicadores do Volume II e na opinião dos diretores relativamente ao total de indicadores dos Volumes I e II, “o que significa que os seus professores e diretores concordam numa opinião muito negativa sobre o ambiente de aprendizagem e as condições de trabalho nas suas escolas” (p. 23).