1. Introducción

El Programa para la Evaluación Internacional de Alumnos (PISA), desarrollado por la Organización para la Cooperación y el Desarrollo Económicos (OECD por sus siglas en inglés), es una de las pruebas internacionales de evaluación a gran escala que mayor impacto y repercusión ha tenido en las sociedades y en los sistemas educativos desde que se comenzó a implantar en el año 2000.

Su principal objetivo es evaluar las competencias desarrolladas por los estudiantes en tres materias básicas (comprensión lectora, matemáticas y ciencias) al finalizar la etapa de educación obligatoria, es decir, a la edad de 15 años. Se celebra con una periodicidad trienal y, en cada una de sus ediciones, se centra en una de estas tres competencias. Hasta el momento ha sido aplicado en ocho ocasiones, iniciándose en el año 2000, cuando se centró en la competencia en comprensión lectora (al igual que en 2009 y 2018). En las ediciones de 2003, 2012 y 2022, el estudio hizo hincapié en la competencia matemática, mientras que, en 2006 y 2015, el foco se puso en la competencia en ciencias (^{OECD, 2006}, ²⁰²³).

Este programa se concibió como un “recurso para ofrecer información abundante y detallada que permita a los países miembros adoptar las decisiones y políticas públicas necesarias para mejorar los niveles educativos”(^{OECD, 2006, p. 3}) mediante la evaluación de los sistemas educativos gracias a diferentes instrumentos como los cuestionarios de contexto, aplicados a alumnos, profesores, centros y padres; y los propios cuadernillos de evaluación de los alumnos.

El programa PISA ha sido empleado desde sus inicios como instrumento para la comparación internacional de los sistemas educativos, basando esta comparación en los resultados obtenidos por los alumnos de cada país en las competencias básicas y tomando como referencia aquellos países que obtenían mejores resultados. Prueba de ello son los estudios sobre el denominado “milagro finlandés” (^{Simola, 2013}) que señalan la importancia de una educación de calidad y la excelente formación del profesorado; o aquellos referidos a los buenos resultados académicos de los estudiantes asiáticos (China, Singapur, Japón, etc.) (^{OECD, 2019}). Todo esto ha tenido consecuencias a nivel político que han fomentado una serie de reformas educativas con mayor o menor éxito.

Pese a que PISA, como se ha descrito anteriormente, trata de determinar los niveles competenciales de los alumnos, desde el ámbito de la investigación es de especial relevancia también el análisis secundario y pormenorizado de todos aquellos factores relacionados con el rendimiento y la eficacia escolar.

2. Fundamentación teórica

El estudio de los factores asociados al rendimiento tiene una larga tradición investigadora, y ha producido resultados consistentes a lo largo de los años, como el gran impacto de variables contextuales (nivel socioeconómico, estatus migratorio, género, etc.) y educativas (repetición de curso, haber cursado Educación Infantil, número de cambios de centro a lo largo de la biografía educativa, etc.) en el rendimiento académico del alumnado (^{Ding & Homer, 2020}; ^{Doncel-Abad & Cabrera-Álvarez, 2020}; ^{Gamazo et al., 2018}; ^{Gómez-Fernández & Mediavilla, 2021}; ^{Hu et al., 2018}; ^{Kameshwara et al., 2020}; ^{Laukaityte & Rolfsman, 2020}; ^{Lenkeit, 2012}; ^{Martínez-Abad et al., 2020}; ^{Pomianowicz, 2021}; ^{Wu et al., 2020}; ^{Yetişir & Bati, 2021}).

Por su parte, el estudio de los factores asociados a la eficacia escolar también supone un campo relevante dentro de la investigación educativa, aunque el uso de datos procedentes de evaluaciones a gran escala para estudiar la eficacia es menos común.

La investigación sobre eficacia escolar surge como movimiento a finales de los años 60 del siglo pasado como respuesta a la publicación del llamado Informe ^{Coleman (1966)}, cuya principal conclusión fue que el predictor más fuerte y relevante del rendimiento del alumnado era su contexto socioeconómico y cultural. Con el objetivo de dotar de relevancia a los factores educativos, la investigación sobre eficacia escolar pone el foco en demostrar que las escuelas sí importan y que pueden marcar la diferencia en el desarrollo académico y social de sus estudiantes (^{Chapman et al., 2015}). De esta manera, a lo largo de las últimas décadas han surgido estudios cuyo objetivo es medir el nivel de eficacia de los centros de la manera más rigurosa posible, controlando o aislando el efecto de aquellos factores que están asociados al rendimiento, pero que caen fuera de la influencia del centro (nivel socioeconómico, género, etc.). Para ello, se han utilizado instrumentos y métodos de investigación de muy diversa naturaleza. Sin embargo, la proliferación en las últimas dos décadas de las evaluaciones a gran escala (como PISA, Estudio Internacional de Tendencias en Matemáticas y Ciencias - TIMSS, Estudio Internacional de Progreso en Comprensión Lectora - PIRLS, etc.) ha supuesto una gran oportunidad para la investigación en este campo, ya que permite utilizar grandes muestras y cantidades de variables a partir de esta recogida de datos. Por otra parte, la naturaleza de los datos procedentes de estas evaluaciones, en los que los datos se encuentran anidados (estudiantes dentro de centros educativos) tiene una gran influencia en la selección del método de análisis de datos más adecuado para su tratamiento, siendo la metodología multinivel la que más se ajusta a dicha estructura. Esta metodología, desarrollada durante la década de los años 1980 (^{Aitkin & Longford, 1986}; ^{Goldstein, 1987}; ^{Raudenbush & Bryk, 1986}), y basada en la regresión estadística, permite considerar variables explicativas a varios niveles, teniendo así en cuenta los patrones complejos de variabilidad asociados a los datos anidados.

Aunque a lo largo del desarrollo de la disciplina la definición de eficacia escolar ha ido cambiando, actualmente podemos entender una escuela eficaz como aquella que “consigue un desarrollo integral de todos y cada uno de sus alumnos mayor de lo que sería previsible, teniendo en cuenta su rendimiento previo y el nivel social, económico y cultural de las familias” (^{Murillo Torrecilla, 2005}, p. 30). Esta definición indica los tres pilares fundamentales de la eficacia escolar: el desarrollo integral; la equidad, reflejada en la búsqueda del desarrollo de todo el alumnado independientemente de sus características sociodemográficas; y el valor añadido, es decir, la idea de promover un aprendizaje superior al esperado. Por tanto, la investigación en eficacia escolar necesariamente debe tener en cuenta los factores contextuales relacionados con el rendimiento, pero ha de ir más allá, poniendo en el centro de su investigación la exploración de aquellos factores educativos y organizativos que pueden ayudar a compensar o paliar el efecto de dichos factores contextuales, que por definición no pueden modificarse desde el sistema educativo.

A lo largo de los más de 50 años de investigación sobre eficacia escolar, se han establecido numerosos modelos que tienen por objetivo determinar qué cosas pueden hacer los sistemas educativos o las escuelas para promover la equidad educativa (^{Creemers & Kyriakides, 2008}; ^{Lizasoain Hernández et al., 2015}; ^{Murillo Torrecilla, 2007}; ^{Scheerens, 1990}; ^{Stringfield & Slavin, 1992}). Aunque los modelos difieren en los factores que incluyen, se pueden encontrar algunos temas que se repiten consistentemente, relacionados fundamentalmente con los niveles de aula y centro educativo.

En cuanto a los factores de aula relacionados habitualmente con la eficacia escolar, podemos encontrar cuestiones como un buen clima del aula, tanto entre el alumnado como con el equipo docente (^{Murillo Torrecilla, 2007}), la metodología docente, planificación de las sesiones y gestión del tiempo (^{Creemers & Kyriakides, 2008}; Murillo Torrecilla, 2007), la evaluación del alumnado (Creemers & Kyriakides, 2008; ^{Lizasoain Hernández et al., 2015}), la implicación del equipo docente y la exhibición de altas expectativas con respecto al desarrollo del alumnado (Lizasoain Hernández et al., 2015), o un uso razonable de recursos TIC en el aula (^{Martínez-Abad et al., 2020}).

Algunos factores educativos y organizativos a nivel de centro que pueden tener un impacto en el nivel de eficacia escolar son la estabilidad del equipo directivo y su compromiso con el desarrollo del alumnado y del equipo docente un alto grado de distribución de responsabilidades entre el equipo directivo y el equipo docente, o un alto grado de implicación de las familias en la actividad del centro educativo (^{Lizasoain Hernández et al., 2015}; ^{Murillo Torrecilla, 2007}).

Todas estas conclusiones son de gran relevancia para la planificación de políticas y prácticas educativas, tanto a nivel de centro como a nivel de sistema educativo. Sin embargo, en general proceden de estudios con un alto coste temporal y de recursos, ya que se basan en grandes recogidas de datos en su gran mayoría cualitativos. Por este motivo, el presente artículo pretende utilizar los datos sobre los procesos educativos de aula y de centro contenidos en los cuestionarios de contexto de PISA para explorar cuáles de estos factores pueden estar asociados a la eficacia escolar, suponiendo esto una doble ventaja metodológica: por un lado, se reducen drásticamente los costes de recogida de la información, ya el estudio se basa en un análisis secundario de datos ya recogidos; por otro lado, se permite la inclusión de una gran cantidad de variables de diferente naturaleza que pueden ser diferentes de las que tradicionalmente se han incluido en estudios de esta naturaleza.

3. Metodología

El propósito planteado en esta investigación fue conocer los factores con influencia en la eficacia escolar en Portugal a partir de los resultados obtenidos en las pruebas PISA en 2015 y en 2018. Para alcanzarlo, se ha planteado un diseño no experimental siguiendo el procedimiento planteado por ^{Gamazo (2019)} que consistía en tres fases interrelacionadas.

En primer lugar se elaboró un modelo multinivel para cada una de las tres competencias básicas estudiadas en PISA - ciencias, comprensión lectora y matemáticas - con el objetivo de determinar los factores asociados al rendimiento académico de los estudiantes.

En la segunda fase, se llevó a cabo la caracterización de las escuelas portuguesas en función de su eficacia (alta y baja eficacia). Para ello se entendió el concepto de eficacia escolar como la diferencia entre el rendimiento esperado y el obtenido por los estudiantes de una escuela (^{Frade-Martínez et al., 2021}; ^{Gamazo, 2019}), con base en los modelos multinivel generados. Se podría denominar también como el “valor añadido” aportado por los centros educativos. De tal forma, aquellas escuelas que obtuviesen un resultado superior al esperado en las tres competencias fueron clasificadas como escuelas de alta eficacia. En el caso opuesto, es decir, si el resultado era negativo en todas las competencias, el centro fue etiquetado como de baja eficacia, ya que los estudiantes estarían rindiendo por debajo de lo esperado. A partir de esta clasificación, se creó una variable dicotómica que distinguía entre escuelas de alta y baja eficacia, que se utilizó en la fase posterior del análisis.

Por último, la tercera fase se centró en determinar las variables relacionadas con la eficacia escolar. Para ello se siguieron dos pasos: el primero fue correlacionar la eficacia escolar con algunos de los factores tradicionalmente relacionados con la eficacia escolar mediante un análisis de Correlación de Pearson. El segundo paso fue aplicar un modelo de regresión logística binaria para examinar con mayor precisión la influencia de aquellas variables que habían presentado previamente una relación significativa.

3.3. Procedimiento

Con el fin de alcanzar el propósito planteado, se realizaron dos análisis diferentes para comprobar la relación entre las variables seleccionadas con, por un lado, los resultados obtenidos por los estudiantes de cada escuela en cada competencia (rendimiento académico) y, por otro lado, la eficacia escolar.

El primero de los análisis fue, como se indicaba anteriormente, calcular la correlación de Pearson entre las 24 variables seleccionadas para su estudio (Tabla 2) y los residuos de cada una de las tres competencias estudiadas.

Tabla 2: Variables incluidas en la correlación y sus etiquetas en la base de datos de cada edición 

Cuando hablamos de residuos, nos referimos a la diferencia entre las puntuaciones medias obtenidas por los estudiantes de una determinada escuela y las puntuaciones medias esperadas en función de las características contextuales que resultaron ser significativas en la elaboración de los modelos estadísticos multinivel previos (fase 1 de la metodología). En cuanto a la selección de las variables, esta se hizo con base en la revisión de estudios previos similares al actual (^{Gamazo, 2019}; Gamazo et al., 2018; ^{Murillo Torrecilla, 2008}) y teniendo en cuenta que se tratase de variables que aparecieran en las bases de datos de PISA 2015 y 2018 facilitadas por la OECD.

Siguiendo un procedimiento similar al planteado en la segunda fase de la metodología, aquellas variables que mostraron correlaciones significativas con los residuos de las tres competencias estudiadas se seleccionaron para su inclusión en la fase final de este análisis.

La fase final, como se indicaba, consistía en el cálculo de una regresión logística binaria combinando las variables seleccionadas en el paso anterior con la variable de eficacia escolar generada (alta o baja eficacia) para, así, comprobar qué tipo de relación existía entre las diferentes variables y si esta se podía considerar estadísticamente significativa o no.

4. Resultados

Ya hemos visto que, para conocer las variables con influencia en la eficacia escolar de las escuelas portuguesas en 2015 y 2018, según los datos de PISA, se ha optado por combinar el análisis multinivel y la regresión logística binaria partiendo de un diseño no experimental.

Tras realizar la correlación de Pearson, cuatro variables demostraron correlacionar significativamente con los tres residuos estudiados. En 2015, fueron las referidas al feedback percibido por los estudiantes (PERFEED), el uso de las TIC en general en la escuela (USESCH) y el uso de las TIC fuera de la escuela para tareas escolares (HOMESCH). Mientras que, en 2018, tan solo una variable demostró tener influencia significativa, de acuerdo con lo expuesto anteriormente, en todos los residuos y fue la referida al clima disciplinario en las clases de lengua (DISCLIMA), puesto que esta era la competencia principal en PISA en ese año. En la siguiente tabla (Tabla 3), podemos observar los resultados del coeficiente de correlación de Pearson entre estas variables y los residuos de las diferentes competencias (RES_MATH, RES_SCI y RES_READ).

Para conocer todos los resultados del coeficiente de correlación de Pearson entre las variables seleccionadas y los residuos obtenidos en cada una de las ediciones, se pueden consultar los Anexos 1 y 2.

A continuación, se comprobó la relación entre estas variables y la eficacia escolar de cada edición mediante regresión logística binaria. En el año 2015, los resultados obtenidos fueron los siguientes (Tabla 4):

En la edición del año 2018 de PISA, en cambio, los resultados fueron estos (Tabla 5):

Como se ve en las tablas anteriores, en ninguna de las dos regresiones calculadas se obtuvieron resultados estadísticamente significativos. Esto supone que no podemos afirmar que alguna de estas variables haya tenido un impacto significativo en la eficacia escolar en Portugal.

5. Conclusión

Con este estudio pretendíamos demostrar cuáles eran las variables medidas en PISA que podrían influir positiva o negativamente en la eficacia escolar de los centros educativos portugueses, si se habían mantenido en el tiempo y cómo era esa influencia. En cambio, tras realizar los análisis planteados, se ha descubierto que, al menos estadísticamente, ninguna de las variables que seleccionamos presenta relación de algún tipo con la eficacia escolar en Portugal.

Este hecho lleva implícita una cuestión que no hemos sido capaces de responder y que, sin lugar a duda, supone una limitación a nuestro estudio: ¿qué es lo que se está haciendo bien en Portugal para que sus estudiantes obtengan mejores resultados en PISA en cada edición? Algunos autores como García Perales et al. (2017) estudiaron el aumento del rendimiento en matemáticas de los alumnos portugueses desde el inicio de su participación en esta prueba de evaluación, indicando que esa mejora en el rendimiento podría deberse a:

las políticas implementadas en la reformulación del currículum para el área de Matemáticas de las diferentes etapas educativas, a la promoción de la formación continua de los profesores, a la modernización de las infraestructuras escolares, la mejora de calidad de vida de la población y/o a un mayor acceso a diferentes fuentes de información y materiales didácticos.

Se ha comentado anteriormente que este estudio está basado en otros que, en su caso, sí arrojaban algunas respuestas sobre los factores con influencia en la eficacia escolar en determinados países. Este es el caso del estudio planteado por ^{Gamazo (2019)}, donde se confirmó la influencia de variables procesuales del nivel de estudiante agregadas a nivel de centro en la eficacia escolar en España. Algunas de estas variables presentaban una relación positiva con la variable criterio como son el clima disciplinario en el aula o la autonomía de los estudiantes en cuanto al uso de las nuevas tecnologías, relación que supone un aumento en la probabilidad de pertenecer a un centro de alta eficacia. En el lado opuesto, encontramos variables como el apoyo emocional de las familias o el apoyo prestado por los docentes durante las clases, presentando estas una mayor relación con el hecho de pertenecer a un centro considerado de baja eficacia.

En el caso del estudio presentado, ya indicábamos con anterioridad cómo en Portugal las variables con influencia en la eficacia escolar han variado con el paso del tiempo, aunque todas ellas referidas a características de los estudiantes sin que destaque la influencia del profesorado en la eficacia escolar.

A raíz de los resultados obtenidos en nuestro estudio, podríamos plantear algunas líneas de investigación que traten de arrojar luz sobre esta cuestión, como por ejemplo la realización de estudios similares al planteado en los que se incorporen otras variables no incluidas en este y que hayan demostrado tener influencia en la eficacia escolar en otros contextos relacionadas, quizás, con los aspectos planteados por ^{García Perales et al. (2017)}. En este caso, la mayor limitación nos la encontraríamos en la obtención de datos de estas variables y en su medición, ¿cómo podríamos medir el acceso a la formación continua de los profesores? Y lo que generaría mayor interés: ¿cómo podríamos medir su influencia en la eficacia escolar? Quizás estas serían algunas de las cuestiones a plantearnos para investigaciones futuras.