1.Introducción

Desde el inicio de la pandemia causada por la enfermedad por coronavirus (COVID-19) (^{Maguiña Vargas, Gastelo Acosta, & Tequen Bernilla, 2020}), la educación, al igual que otras actividades a nivel mundial, está pasando por un momento transcendental. Es un hecho cierto que el mundo actual nunca tuvo una situación epidemiológica tan compleja como esta. Los estudios de nivel superior se han visto afectados por dicha pandemia al igual que enseñanza media y la enseñanza primaria. En esta investigación se comparan datos que hemos ido registrando desde el curso 2012-13 de la asignatura de Seguridad de la Información usando el cuestionario validado SEEQ (^{Matés & Bouzada, 2010}). Esta asignatura se imparte simultáneamente en el tercer curso de Grado en Ingeniería Informática en Tecnologías de la Información (GIITI) y en el cuarto curso del Grado de Ingeniería Telemática (GIT) del Centro Universitario de Mérida de la Universidad de Extremadura. Se trata de una asignatura con una distribución de 4,5 créditos teóricos, 1,5 prácticos y 0,3 de actividades de seguimiento, tutorías programadas o tutorías “ECTS” (European Credit Transfer System). Estas últimas se corresponden con 3 horas presenciales para cada grupo de trabajo. La proporción de créditos asignados a la actividad ECTS es pequeña, sin embargo, se debe advertir que esta cifra sólo se corresponde con las sesiones presenciales de tutorías. En estas sesiones se realiza la propuesta de trabajo a los diferentes grupos, el seguimiento de las actividades y la aclaración de las dudas que surgen durante el desarrollo. No obstante, en el ámbito de nuestra experiencia, este tiempo presencial se ha materializado elaborando un esquema de trabajo en grupo que coadyuve al desarrollo efectivo de los trabajos. La mayor parte del trabajo grupal e individual se realiza de forma no-presencial. Muy brevemente citamos qué competencias específicas son las que esta asignatura aborda y que se pueden consultar mas detalladamente en (^{Arias Masa, 2021}):

Conocimiento de la normativa y la regulación de las telecomunicaciones en los ámbitos nacional, europeo e internacional. (GIT).

Capacidad para aplicar las técnicas en que se basan las redes, servicios y aplicaciones telemáticas, tales como sistemas de gestión, señalización y conmutación, encaminamiento y enrutamiento, seguridad (protocolos criptográficos, tunelado, cortafuegos, mecanismos de cobro, de autenticación y de protección de contenidos), ingeniería de tráfico (teoría de grafos, teoría de colas y teletráfico) tarificación y fiabilidad y calidad de servicio, tanto en entornos fijos, móviles, personales, locales o a gran distancia, con diferentes anchos de banda, incluyendo telefonía y datos. (GIT).

Capacidad para comprender, aplicar y gestionar la garantía y seguridad de los sistemas informáticos. (GIITI).

Por otro lado, las competencias transversales asignadas no son menos importantes, así, para esta asignatura son:

Comunicar de forma efectiva (en expresión y comprensión) oral y escrita, conocimientos, procedimientos, resultados e ideas relacionadas con las TIC, con especial énfasis, en la redacción de documentación técnica.

Tener motivación por la calidad y la mejora continua, actuando con rigor, responsabilidad y ética profesional

Adicionalmente, la Universidad de Extremadura lleva a cabo, en cada curso académico, sus propias mediciones de calidad y encuestas de opinión a los alumnos, gestionadas desde el Vicerrectorado de calidad a través del plan estratégico que tiene puesto en marcha (^{“PlanEstrategicoUEx.pdf,” 2010}). La opinión que ofrecen los alumnos de cada profesor es procesada y utilizada para la elaboración de un informe que se facilita al profesorado y los gestores de la Universidad. No obstante, a pesar de contar ya con un sistema oficial como el descrito, este equipo docente quiere intentar que la evaluación de la asignatura sea sumativa y formativa (^{López Pastor, 2009}), el objetivo es que permita identificar los puntos fuertes y débiles del proceso enseñanza-aprendizaje seguido por un profesor, posibilitando que éste pueda reflexionar y tomar las decisiones oportunas, y así mejorar aquellas deficiencias detectadas o aspectos insuficientes dentro de las actuaciones realizadas en el aula.

2.Objetivos e hipótesis

El objetivo fundamental de esta investigación es validar si ha habido un cambio significativo en la percepción que tiene el alumnado de educación superior en el proceso de enseñanza aprendizaje a partir de la pandemia COVID-19. Este estudio se ha realizado en base a los datos que se han ido recogiendo todos los cursos académicos desde el año 2012 hasta este año 2022 con el cuestionario SEEQ pasado a los alumnos de la asignatura de Seguridad de la Información.

3.Cuestionario SEEQ

El cuestionario SEEQ¹, creado por (^{MARSH & Roche, 1970}) y actualizado posteriormente (^{Marsh, 1982}) permite analizar la eficiencia de la enseñanza utilizando una serie de factores, cada uno de ellos consta de varios ítems valorados en una escala Likert (^{Maldonado Luna, 2012}) de 5 opciones (muy en desacuerdo, en desacuerdo, ni de acuerdo ni en desacuerdo, de acuerdo y muy de acuerdo). A partir de este cuestionario han surgido muchos otros que han sido validados y utilizados para evaluar la docencia. Entre ellos queremos citar por ejemplo Course Experience Questionnaire (CEQ) desarrollado inicialmente por (^{Ramsden, 1991}) y revisado posteriormente por (^{Wilson, Lizzio, & Ramsden, 1997}); así como, también hemos analizado el posible uso deffl Student Course Experience Questionnaire (SCEQ) de (^{Ginns, Prosser, & Barrie, 2007}). En todos ellos el objetivo común era permitir al docente tener un instrumento para analizar y mejorar su práctica docente (^{Balam & Shannon, 2010}). No obstante, se ha generalizado su uso con la incorporación rutinaria para la acreditación del profesorado universitario, así como en la evaluación de los sistemas de calidad de la enseñanza universitaria. Para la elección del cuestionario SEEQ se ha partido de las ventajas que (^{Matés & Bouzada, 2010}) describen en su comunicación y que son las siguientes propiedades psicométricas (^{Marsh, 1984}), su amplia utilización en universidades de todo el mundo y la gran cantidad de material existente para el perfeccionamiento de cada una de las variables analizadas. En la adaptación realizada del SEEQ se han usado 8 categorías según se pueden ver en la Tabla 1, con un total de 35 preguntas. En las siete primeras categorías se utiliza la escala Likert, y en la octava categoría, “Visión general”, se usan preguntas abiertas. El objetivo es que los alumnos puedan manifestarse abiertamente y aporten aquellos datos que crean que no se encuentran recogidos en las preguntas precedentes, el análisis de esta última categoría no se realiza en el trabajo que aquí presenta.

Tabla 1 Categorías del cuestionario SEEQ 

4.Aplicación del cuestionario SEEQ

La aplicación del cuestionario se ha realizado siempre de forma anónima a través de “Google Formularios” (^{Lorca Montoya, Carrera, & Casanovas Català, 2016}), lo que permite que los alumnos puedan contestar cuando deseen a partir del momento en el que el cuestionario esté disponible, y con la ventaja evidente de una realimentación rápida hacia el equipo docente. El cuestionario se halla disponible, mediante un enlace directo desde el aula virtual de Moodle de la asignatura, desde el momento en el que los alumnos disponen de sus calificaciones finales, en las actas correspondientes, y hasta aproximadamente dos semanas más tarde, con el objetivo de que su reflexión acerca de las preguntas de la encuesta sea lo más aséptica posible. Este cuestionario se ha realizado desde el curso 2012-13, con el objetivo básico de mantener un historial de datos de evaluación a modo de archivo, pero también, y más importante aún, para poder contrastar la opinión de los alumnos en cada curso académico con los anteriores, y así poder comprobar cómo han ido afectando los cambios metodológicos que se han ido produciendo, principalmente en lo referente a las actividades ECTS², y de las cuales ya se han publicado estudios en distintos foros (^{Morze, Makhachashvili, & Zhyltsov, 2016}). Este cuestionario se puede realizar a partir de la segunda semana de febrero para esta asignatura de Seguridad de la Información. En (^{Arias Masa, Espada, Becerra, Vas, & Delgado, 2017}) se publicaron los resultados de la introducción del uso del Digital Storytelling en las actividades ECTS. En los siguientes cursos (al 2016-17), se ha seguido aplicando el cuestionario y guardando los resultados de cada curso académico.

5.Metodología

La metodología de la investigación consistió en la aplicación de un método de investigación mixto. El objetivo es sustentar las fortalezas de ambos métodos (cualitativo y cuantitativo) intentando que nuestros datos sean lo más ricos posibles. Aunque la investigación cualitativa no se caracterice de un análisis estadístico, consideramos nuestra investigación mixta, pues para poder llevarla acabo, hemos realizado una encuesta para poder analizar estadísticamente los datos. De ahí que consideremos a nuestra investigación un intermedio entre lo cualitativo y lo cuantitativo (^{Cedeño Viteri, 2012}). Según (^{Arias, 2006}) los pasos propios del método científico en su concepción mecanicista contempla:

Identificación de la realidad en estudio.

Formulación de hipótesis a partir de la teoría.

Medición del fenómeno, con el uso de instrumentos válidos y confiables.

Análisis de los datos, aplicación de las técnicas estadísticas para contrastar las hipótesis formuladas.

Conclusión. A partir del análisis de los datos se aprueban o rechazan las hipótesis formuladas.

Este es el esquema metodológico que hemos seguido y que estamos plasmando en este documento. Así el primer punto está definido al inicio del documento en la introducción. El punto segundo está reflejado en el apartado de objetivo e hipótesis que luego son contrastadas en el apartado de análisis de resultados donde está reflejado el punto cuarto. El punto tercero está descrito en los apartados del cuestionario SEEQ y en el apartado de aplicación del mismo. Y finalmente, el punto quinto en el correspondiente apartado de conclusiones.

6.Análisis de resultados

El análisis de resultados se ha hecho con el programa SPSS³ (^{Nie, Bent, & Hull, 1970}), el cual permite hacer un análisis efectivo de los datos con relativa facilidad de uso. En este estudio como se ha definido en el objetivo general se evalúa si ha habido un cambio en la media de la opinión de los alumnos en los cursos pos-pandémicos frente a los cursos pre-pandémicos. Para ello, los datos completos que tenemos desde el curso 2012-13 al curso 2021-22, se han seccionado en dos grupos el pre-pandémico y el pos-pandémico. El primero abarcaría desde el curso 2012-13 al curso 2019-20. El segundo grupo, pos-pandémico, tiene los datos de los cursos 2020-21 y el 2021-22. Esto se debe a que la asignatura es del primer semestre y la pandemia comenzó en España en marzo del 2020, con lo cual realmente la docencia de esta asignatura nunca tuvo lugar durante el confinamiento extremo que sufrió España desde marzo a mayo del 2020.

Figura 1 Prueba T para muestras independientes en los grupos pre-pandemia y pos-pandemia. 

Un resumen rápido de dichas medias se refleja en la Figura 1. Pero para determinar si esos cambios en las medias son o no significativos y procedentes, en los siguientes párrafos se detalla el análisis estadístico realizado. En primer lugar, se define la Hipótesis Nula (H0), que representa la afirmación de que la pandemia no mejora el proceso de enseñanza-aprendizaje, y la Hipótesis Alternativa (H1) que afirma que hay algún grado relación o dependencia de la pandemia con la mejora en el proceso de enseñanza-aprendizaje (^{Hurtado Rubio & Silvente Berlanga, 2012}). A continuación, se detallan las pruebas de homogeneidad, de varianza y de normalidad, previas a la prueba estadística.

6.1 Homogeneidad de varianzas

En SPPS, para realizar la prueba Levene de igualdad de varianzas es necesario realizar la prueba t de Student (^{Ostle, 1979}). La prueba t de Student se realiza para dos muestras independientes (^{Hurtado Rubio & Silvente Berlanga, 2012}), sobre las 7 categorías del cuestionario evaluadas con escala Likert. Las dos muestras independientes se corresponden con la media de las evaluaciones de los cursos 2020-21 y 2021- 22 frente al resto de cursos que van desde el 2012-13 al curso 2019-20, denominados el primer grupo como pre-pandémicos y pos-pandémicos el segundo grupo, ver Figura 1. Los resultados de la prueba Levene de igualdad de varianza se muestra en la Figura 2. Para que se cumpla el requisito de homocedasticidad (igualdad de varianzas) en la prueba de Levene, la significación debe ser superior a 0,05. Pero previamente hay que saber si se toma el valor de la fila superior o inferior. Esto último está en función del valor de la columna “Sig.” que determinará si se elige “se han asumido varianzas iguales”, o bien, “no se asumen varianzas iguales”. Por tanto, como aparece marcado en la columna Sig (bilateral) de la Figura 2 en todos los casos ha de rechazarse la hipótesis 0 de que la pandemia y las modificaciones docentes no han cambiado el proceso enseñanza-aprendizaje y aceptar la hipótesis alternativa H1 de que si hay cambios significativos.

Figura 2 Prueba de Levene de igual de varianzas por categorías. 

6.2 Normalidad

Para determinar la prueba estadística a aplicar, además de analizar la igualdad de varianzas de la variable dependiente, también se debe analizar si los valores de ésta siguen una distribución normal (^{Hurtado Rubio & Silvente Berlanga, 2012}). Para determinar si la variable sigue una distribución normal se puede aplicar la prueba de Kolmogorov-Smirnov (K-S) o Shapiro-Wilks (S-W), entre otras, dependiendo del tamaño muestral. En este caso el programa SPSS muestra los resultados de ambas pruebas, como se puede ver en la Figura 3. En este análisis se opta por la prueba de S-W, dado que la población es inferior a 50. En todos los casos el valor de la columna “Sig.” es menor de 0’05 en consecuencia en todos los casos los datos no siguen una distribución normal. A pesar de que existen varios autores (^{SFPIE UV, n.d}.) que indican que la prueba t de Student es suficientemente robusta para aplicarla aunque no se cumpla el supuesto de Normalidad al completo, en este estudio se va a aplicar una prueba no paramétrica, con el objetivo de paliar esta deficiencia en los datos.

Figura 3 Prueba de normalidad de K-S y S-W. 

6.3 Pruebas no paramétricas

Dado que los datos no siguen una distribución normal, tal como ha determinado la prueba de S-W y K-S, y algunas categorías no cumplen la igualdad de varianzas, debemos aplicar las pruebas no paramétricas. En este caso se aplicará la prueba de U de Mann-Whitney, que fue propuesta por ^{Wilcoxon en el año 1945} (Wilcoxon, 1945). En esta prueba la Hipótesis Nula (H0) mantiene que las esperanzas matemáticas de ambas poblaciones son iguales. Las muestras pueden ser de tamaño diferente. No requiere ningún tipo de supuesto sobre la distribución de las muestras y por ello se puede usar con variables discretas u ordinales como el resto de las pruebas no paramétricas.

Figura 4 Prueba U de Mann-Whitney. 

Los resultados de la prueba U de Mann-Whitney se muestran en la Figura 4 donde podemos ver que en todos los casos la decisión es de conservar la Hipótesis Nula, esto implica que no hay cambio significativo de las medias de los cursos pos-pandémicos respecto a los cursos pre-pandémicos. En consecuencia, la pandemia no ha influido en la opinión de los alumnos respecto a la asignatura según la evaluación que se ha ido realizando con el cuestionario SEEQ.

Figura 5 Medias de las categorías para los cursos pre-pandémicos y los cursos pos-pandémicos. 

Finalmente, en la Figura 5 se muestra un gráfico donde aparecen comparadas las medias de cada una de las categorías evaluadas para los dos grupos de datos que hemos seccionado de los cursos académicos en pre-pandémicos y pos-pandémicos. Aunque como hemos demostrado con la prueba U de Mann-Whitney la diferencia de medias no tiene un valor significativo y ha de aceptarse la hipótesis nula de que el cambio no es significativo, sí es importante mostrar que ha mejorado (insistimos, que no significativamente de forma estadística) pero que el cambio ha sido hacia la mejora.

7.Conclusiones

En este trabajo se ha analizado la opinión de los alumnos de la asignatura de Seguridad de la Información de Ingeniería Informática e Ingeniería Telemática en la Universidad de Extremadura desde el curso 2012- 13 al curso 2021-22 mediante el cuestionario validado SEEQ (^{Matés & Bouzada, 2010}). Se trata de un total de 10 cursos académicos de los cuales los 8 primeros pertenecen al periodo pre-pandémico de la pandemia por COVID-19, y los dos últimos al periodo pos-pandémico. El objetivo principal planteado fue conocer si se ha producido un cambio en la percepción que los alumnos tienen del proceso enseñanza-aprendizaje. En primer lugar, se puede concluir que sí hay cambio en la percepción. Que este cambio es positivo en todas las categorías, menos la categoría de “Interacción en el grupo” que tiene una disminución de 0’0038. No obstante, se ha demostrado que todos los cambios no tienen valor estadísticamente significativo. Por tanto, la primera conclusión es que no hay cambio significativo en la percepción que tiene el alumnado del proceso de enseñanza-aprendizaje en el periodo pos-pandémico respecto al periodo pre-pandémico. Una segunda conclusión, pero también muy importante es que la media de todas las categorías está por encima de la media de la escala de Likert cuyos valores numéricos están entre 1 y 5, por tanto, la media sería 2’5 y sin embargo todas las categorías están por encima del 3’3, incluso varias por encima del 4, valor muy alto. Así pues, estos resultados animan al equipo docente de la asignatura a seguir mejorando, y autoevaluándose con el cuestionario SEEQ, el cual nos está permitiendo medir dichas mejoras y modificaciones en la asignatura.