1. Introducción
En el ámbito de la enseñanza de las Matemáticas, la resolución de problemas se trata de una de las actividades más completas, promoviendo el interés de los estudiantes por la citada área (Arcavi & Friedlander, 2007). Según diversos autores este carácter ha propiciado que su presencia en los currículos educativos sea mayor (Castro, 2008; Santos, 2007). Sin embargo, son pocos los estudios que describen cómo el profesorado evalúa tareas enmarcadas en el área de las matemáticas (Qiquan, 2012) y, por ende, la resolución de problemas matemáticos.
Al valorar la resolución de problemas matemáticos se deben tener en cuenta herramientas que faciliten la evaluación de los alumnos, ejercicios y criterios de ejecución que guarden una mayor relación con los propósitos que se persiguen (Cáceres, Chamoso y Azcárate, 2010). Con respecto a los criterios que deben evaluarse en la resolución de problemas matemáticos, debe darse importancia al proceso que se ha seguido hasta llegar a la solución; dicho de otro modo, es necesario que se valoren conceptos, interacciones, comprensión, tablas, gráficos, métodos empleados y la capacidad del alumno para trasladar el problema de un contexto imaginario a uno real (Santos, 2007). Diversos autores evidencian la necesidad de evaluar los conocimientos, la destreza y la capacidad de resolver el problema (Berry, 2011; Suurtamm, et al., 2010). Keeley y Tobey (2011) dieron a conocer diferentes métodos para llevar a cabo las evaluaciones de los alumnos; más concretamente, propusieron la elaboración de trabajos y pruebas y la observación al discente durante el desarrollo del problema, prestando atención a las respuestas que dan a las diversas preguntas. Otros autores han propuesto que la necesidad de valorar los procesos metacognitivos que ocurren durante la resolución de problemas matemáticos utilizando para ellos sistemas cuantitativos tales como cuestionarios (por ejemplo, Sperling et al., 2002). Sin embargo, se han mostrado especialmente útiles para evaluar la metacognición sistemas cualitativos tales como los protocolos en voz alta y/o las producciones escritas del alumnado en el caso de los cursos superiores de Educación Primaria (Martínez, et al., 2020). En el estudio de Lizarazo y Nieto (2018) se observó que la evaluación de problemas matemáticos es considerada como la utilización de una serie de conceptos, es decir, los docentes no tienen en cuenta las evaluaciones sistemáticas de habilidades, heurísticas o contenidos de las resoluciones problemáticas, aunque sean consideradas fundamentales.
En relación a los recursos que se utilizan para ejecutar la evaluación de problemas matemáticos son diversos y numerosos (Cárdenas, 2014). Cabe destacar aquellos que favorecen la autorregulación de los estudiantes tales como listas de control y rúbricas (Jonsson y Svingby, 2007). Las rúbricas son herramientas que cuentan con unos criterios que pueden ser reajustados durante la práctica educativa para que se adecúe al nivel del alumnado (Alsina, 2018). Con respecto a esta última herramienta encontramos algunos antecedentes. Ross, et al. (2003) indican que las rúbricas o listas de evaluación deben contar con una serie de criterios que permitan evaluar elementos tales como el alcance del objetivo por parte del alumno, la comprensión, el método utilizado y su capacidad para trasladar el problema de contexto y convertirlo en algo más sencillo. Villa y Poblete (2007) diseñaron una rúbrica que estaba compuesta por tres criterios de evaluación. En primer lugar, la identificación y el análisis del problema para poder seleccionar el método adecuado para proceder a su resolución. En segundo lugar, se valoraba el análisis de la idoneidad de la solución. Finalmente, se evaluaba la capacidad de crear diversas soluciones por si la situación problemática ocurría en diversos ambientes; de manera que, se presentaba una visión global del mismo. Cáceres y Chamoso (2013) proponen la utilización de una escala de evaluación en la que se tienen en cuenta diversos criterios. En primer lugar, la comprensión del problema está referida a la discriminación de los datos del problema, la representación de la información a través de dibujos, diagramas, etc. En segundo lugar, la planificación está relacionada con los cálculos para resolver el problema y el uso adecuado de las unidades de medida. La solución del problema se refiere a la corrección de la solución y la adecuación de la misma a la pregunta planteada y al uso de las unidades necesarias. En cuarto lugar, el análisis del proceso y la solución se refiere a la revisión del proceso y a la generalización de la respuesta. Finalmente, la presentación exige que el problema sea resuelto con orden, limpieza, etc. Alsina, Abarca y Grabulosa (2020) han creado una rúbrica para evaluar problemas matemáticos en educación primaria compuesta por 10 criterios con 4 niveles de ejecución distribuidos en las siguientes 4 dimensiones: 1) resolución de problemas, 2) razonamiento y prueba, 3) conexiones y 4) comunicación y representación.
A pesar de la amplia variedad de recursos y criterios para evaluar la resolución de problemas matemáticos, esta se sigue realizando en la propia tarea escrita del alumno, sin utilizar un recurso de apoyo como los descritos con anterioridad que permitan visibilizar los criterios que se siguen.
Por ello, en el presente trabajo se propone como objetivo explorar la competencia del futuro profesorado de Educación Primaria en el diseño de rúbricas de evaluación de problemas matemáticos. Este propósito pretende dar respuesta a las siguientes preguntas de investigación:
¿El futuro profesorado de Educación Primaria es capaz de diseñar una rúbrica para evaluar problemas matemáticos compuesta por criterios suficientes y pertinentes?
¿Las rúbricas de evaluación de problemas matemáticos propuestas por el futuro profesorado de Educación Primaria están expresadas en un lenguaje claro?
¿Qué contenidos evaluativos (comprensión, planificación, solución, etc.) son incluidos por el futuro profesorado de Educación Primaria en el diseño de una rúbrica de evaluación de problemas matemáticos?
2. Metodología
El presente estudio se ha realizado siguiendo una metodología de enfoque mixto en el que se analiza cualitativamente, a través de un sistema de categorías, el contenido de las rúbricas de evaluación creadas por el futuro profesorado de Educación Primaria. Posteriormente, estos datos se tratan de manera cuantitativa para presentar los resultados del estudio.
2.1 Participantes
Los participantes en el estudio han sido 32 alumnos (8 hombres y 24 mujeres) del Grado en Educación Primaria de la Universidad de Extremadura, seleccionados por conveniencia. El alumnado se encuentra cursando 1º del Grado en Educación Primaria y tienen edades comprendidas entre 18 y 24 años. En las rúbricas que los citados estudiantes diseñaron se detectaron un total de 133 criterios y 531 niveles de ejecución que fueron categorizados según un sistema de categorías creado ad hoc y descrito en el apartado “Materiales”.
2.2 Materiales
A cada alumno se le proporcionó una tabla vacía que debía cumplimentar con el número de criterios y de niveles que estimase oportuno para evaluar el desempeño en la resolución de problemas matemáticos del alumnado de Educación Primaria. Se les indicó la instrucción de que como máximo deberían incluir 5 criterios y como mínimo 3. La razón fundamental es que una rúbrica compuesta por menos de 3 criterios no permitiría realizar una evaluación con suficientes indicadores (a fin de aportar una información significativa) y más de 5 criterios pueden provocar que la escala se convierta en una herramienta de difícil manejo que dificulte su adecuado uso. Además, se le facilitó una hoja de papel con 4 problemas matemáticos resueltos por una niña de 5º curso de Educación Primaria para que sirvieran de guía a la hora de lo que consideraban importante al evaluar un problema matemático y, posteriormente, comprobar que la rúbrica que habían creado permitía evaluar lo que realmente pretendían corrigiendo esos problemas propuestos.
Por otra parte, también se tuvo en cuenta la escala de apreciación creada para la evaluación de la resolución de problemas de matemáticos creados por Cáceres y Chamoso (2013). En la citada herramienta se proponen los siguientes criterios: 1) comprensión del problema, 2) planificación, 3) solución, 4) análisis del proceso y la solución y 5) presentación. Estos criterios unidos a las indicaciones de Escobar y Cuervo (2008) sobre las categorías que dan validez de contenido a los elementos de un instrumento se han tenido en cuenta a la hora de crear el sistema de categorías que se observa en la tabla 1:
2.3 Procedimiento
El proceso de creación de la rúbrica se desarrolló en una sesión de una hora y media de duración. En una primera fase de 30 minutos, se realizó un repaso del concepto de rúbrica y de los elementos que caracterizan la estructura de este sistema de representación externa. A partir de una rúbrica para evaluar textos narrativos (Montanero, Lucero y Fernández, 2014) se ejemplificó cómo deben ser los criterios y niveles de una rúbrica y el lenguaje adecuado para poder crearla. Se hizo especial hincapié en la importancia de que las categorías sean mutuamente excluyentes y exhaustivas. Durante la segunda fase, se mostraron 4 problemas matemáticos creados por una alumna de 5º curso de Educación Primaria y se pidió a los alumnos que los evaluaran siguiendo su propia manera de hacerlo. Una vez hecho, los alumnos dispusieron de unos 30 minutos para poder crear una rúbrica de evaluación de problemas matemáticos.
2.4 Análisis de los resultados
El contenido de las rúbricas creadas por los estudiantes fue analizado cualitativamente a través de la aplicación del sistema de categorías presentado en el apartado “materiales”. Las unidades de análisis fueron categorizadas en un archivo en formato SPSS (v. 21) tras un entrenamiento de dos investigadores para poder afinar el sistema creado. Se calculó el grado de acuerdo de los dos investigadores sobre una muestra de 8 rúbricas, escogidas al azar, que contenían un total de 128 niveles que categorizar. Los índices obtenidos a través de Kappa de Cohen ejecutado en el programa SPSS (v. 21) fueron superiores a 0.8 en todas las dimensiones.
3. Resultados
A continuación, se presentan los resultados obtenidos en este estudio organizados en función de las dos dimensiones de las que consta el sistema de categorías creado para realizar el análisis cualitativo. Estas dos dimensiones son: idioneidad de criterios y niveles y contenido evaluativo.
3.1 Resultados de la dimensión “idoneidad de criterios y niveles”
En relación a la suficiencia de criterios se observa que un 22% de los futuros profesores proponen 3 criterios de evaluación de problemas matemáticos, mientras que un 41% proponen 4 y el porcentaje restante redactan 5 criterios y sus respectivos niveles para el mismo fin. De los 133 criterios que han creado en total los estudiantes que han participado en la investigación, tan solo un 59% evalúan la totalidad de un aspecto concreto. Los criterios en los que se observa una mayor tendencia a estar referidos a aspectos parciales son “datos” y “solución”. En la mayoría de los casos, en los “datos” falta por indicar que el alumno represente el problema con algún dibujo (si es susceptible de ser representado) o que identifique la pregunta a la que pretende dar respuesta el problema. También existen dificultades en la “solución”, en la que bastantes alumnos olvidan evaluar en este criterio el uso adecuado de las unidades de medidas. En la figura 1 se pueden observar el porcentaje de los niveles que aluden a criterios incompletos:
Por otra parte, un 87,5% de los participantes utiliza un lenguaje adecuado para expresar los criterios y niveles. El porcentaje de futuros docentes que es capaz de crear niveles coherentes en relación al criterio que se pretende evaluar es de un 56,3%. Se observa que hay una amplia tendencia a proponer niveles que no son excluyentes; por ejemplo, una de las docentes en formación indica en el tercer nivel del criterio “presentación” que “el problema está ordenado” y en el cuarto expresa que “el problema está limpio”. Realmente, podrían darse las dos situaciones y habría que marcar ambos niveles, cuando eso no es posible. También se observa que hay algunos participantes que no indican el número de fallos y usan expresiones inespecíficas para ordenar niveles, tales como pronombres y determinantes inespecíficos (algunos, bastantes, pocos, etc.).
Finalmente, un 9% de los criterios podrían eliminarse sin que se viera afectada la evaluación de la resolución de problemas matemáticos. Estos alumnos han incluido un criterio referido a la ortografía que, en realidad, podría ser absorbido por “presentación” o directamente ser eliminado.
3.2 Resultados de la dimensión “contenido evaluativo”
Se observa que una amplia mayoría de los participantes incluye elementos relacionados con los datos, las estrategias de resolución del problema y el análisis de la solución de manera parcial o completa. Incluso hay algunos alumnos que dedican 2 criterios a datos, operaciones o a la solución del problema. Un 70% evalúan aspectos referidos a la presentación y un 30% incluye la ortografía como criterio importante. Estos resultados pueden observarse en la tabla 2:
4. Conclusiones
En este estudio se ha explorado la idoneidad de las rúbricas para evaluar problemas matemáticos creadas por el futuro profesorado de Educación Primaria. Para ello, se llevó a cabo un análisis cualitativo a través de la categorización de los 133 criterios y 531 niveles que 32 actuales estudiantes del Grado de Educación Primaria de la Universidad de Extremadura han creado para evaluar los problemas matemáticos de niños de 5º curso de Educación Primaria. Las principales conclusiones de este estudio son las siguientes:
El futuro profesorado de Educación Primaria es capaz de diseñar de forma mayoritaria rúbricas de evaluación de problemas matemáticos compuestas por criterios suficientes (en su mayoría 4 y 5 criterios).
Las rúbricas de evaluación de problemas matemáticos propuestas por el futuro profesorado de Educación Primaria están compuestas por criterios que no siempre son exhaustivos. Estos problemas de exhaustividad afectan fundamentalmente a los criterios “datos” y “solución”.
Las rúbricas de evaluación de problemas matemáticos propuestas por el futuro profesorado de Educación Primaria están expresadas en un lenguaje claro.
Los contenidos evaluativos que son incluidos por el futuro profesorado de Educación Primaria en el diseño de una rúbrica de evaluación de problemas matemáticos son principalmente: datos, presentación, estrategias de resolución del problema y análisis de la solución.
A través de este estudio, se observan coincidencias con anteriores estudios en relación a los contenidos evaluativos que deben tenerse en cuenta al crear rúbricas de evaluación. Por ejemplo, Cáceres y Chamoso (2013) también proponen evaluar la comprensión del problema, la planificación, la solución y la presentación.
No obstante, estos datos muestran algunas dificultades por parte del futuro profesorado de Educación Primaria a la hora de crear herramientas de evaluación. Se observa fundamentalmente que en algunos casos hay dificultades para que los niveles de ejecución de los citados criterios evalúen en su totalidad a los mismos, especialmente en los indicadores relacionados con los datos y la solución del problema matemático. También se ha documentado el uso de expresiones que pueden resultar demasiado subjetivas a la hora de utilizar la herramienta creada (p. e. los pronombres indefinidos). Este resultado pone de manifiesto como adelantaban Alsina, García y Torrent (2019) que la concreción de estrategias y herramientas concretas para hacer una evaluación competencial de las matemáticas es casi inexistente.
Partiendo de estos datos sería conveniente proporcionar una mayor formación al futuro profesorado de Educación Primaria y ampliar los estudios en la línea de las estrategias competenciales para crear instrumentos de evaluación, coincidiendo con la escasez de estudios en este sentido indicada por Qiquan (2012).
Del mismo modo, cabe indicar que los resultados obtenidos podrían ser más representativos si hubieran participado un mayor número de estudiantes y se hubiera podido tomar población de otras facultades de formación del profesorado. Por ello es recomendable replicar el estudio aumentando la muestra y utilizando un muestreo probabilístico para la selección de los participantes a fin de evitar algunas limitaciones que se han producido en este estudio.