1. Introducción

Un aspecto recurrente cuando se analizan modelos de evaluación en educación es el concepto de calidad que se asume como referente para derivar los criterios, estándares e indicadores a considerar en las valoraciones. A partir del proyecto MAVACO -2011/14- (www.uv.es/gem), identificamos el concepto de Cohesión Social (CS) como el mejor referente de calidad para acercarnos a comprender el funcionamiento de la educación como política pública. La CS es estudiada desde hace años en sus vertientes teórica y práctica desde la amplia perspectiva (^{Fonseca et al., 2018}). Desde nuestro punto de vista, asumimos el concepto y reflexionamos sobre él como concepto de calidad de referencia en educación en Jornet-Meliá (2012). En Jornet-Meliá et al. (2014) fue realizado un análisis conceptual del modelo de evaluación de instituciones educativas pre-universitarias realizado en el proyecto SECS-EVALNEC -2014-2016- (https://www.uv.es/gem/gemeduco) para su aplicación a las instituciones universitarias. A partir de ahí, diseñamos el proyecto UNIVECS (Evaluación de titulaciones universitarias según su aportación a la Cohesión Social).

En el marco del desarrollo de este proyecto se ha venido trabajando en los últimos años, llegando a una primera aproximación del modelo sobre la que ya hemos realizado análisis empíricos con el fin de comprender mejor la eficacia, eficiencia y funcionalidad del mismo. Algunos de los estudios ya están publicados y otros están en prensa (González-Such y Jornet-Meliá -coords.- 2021; ^{Sancho-Álvarez, González-Such, Rueda-Beltrán y Jornet-Meliá -coords.- 2021}), a la vez que seguimos recabando información con objeto de su validación, entendiendo la validación como un proceso continuo de auto-revisión de los planes de evaluación con la finalidad de detectar sus fortalezas, debilidades y factores para dinamizar su mejora, para que sean realmente funcionales para las personas, las instituciones y la sociedad.

En este trabajo se presenta un análisis inicial acerca del funcionamiento del modelo UNIVECS a partir de las valoraciones del estudiantado de dos postgrados universitarios de nivel de Máster desarrollados en la Facultad de Filosofía y Ciencias de Educación de la Universitat de València. En él se puede observar la adecuación de las aportaciones cualitativas como metodología para poder validar los constructos teóricos en evaluaciones complejas.

2. Marco Teórico

Desde los años 80 del s. XX se han venido desarrollando evaluaciones nacionales e internacionales acerca de la acción universitaria. Se comenzó a evaluar docentes y posteriormente titulaciones e instituciones. Los conceptos de calidad normalmente eran construcciones teórico-prácticas acerca de los perfiles deseables que políticamente se asumía por parte de los organismos que orientaban la evaluación (^{González-Such, 1998}), sirviendo de guía para construcción de instrumentos de evaluación (por ejemplo, cuestionarios de evaluación de profesorado a partir de opiniones de estudiantes) o la selección de indicadores institucionales normalmente usados en la construcción de ordenamientos de universidades.

Los modelos habitualmente utilizados para la evaluación de titulaciones universitarias han recibido críticas (por administrativistas o burocratizados), pues ponen el énfasis en los elementos organizacionales de las titulaciones.

Por ello, entendimos necesario identificar un concepto de calidad que constituya un referente conceptual que reconozca también, al menos, la finalidad por la que se ponen en marcha las titulaciones como programas de intervención para el desarrollo personal y social.

En la Unión Europea comienza la reflexión sobre el concepto de CS en el Tratado de Maastricht (UE, 1993), aunque no se llega a plantear una definición concreta. Se asume como guía para el desarrollo de las políticas públicas en el Consejo de Europa celebrado en Lisboa en el año 2000, ratificado en la reunión de Niza también en el 2000. A partir de ese momento, se plantea monitorear el desarrollo de la CS en los países de la UE a través del Portafolios de Laeken, Consejo de Europa en 2001 y 2006. Posteriormente, se define la CS por el ^{Consejo de Europa (2005)} como: “la capacidad de la sociedad para garantizar la sostenibilidad del bienestar de todos sus miembros, incluido acceso equitativo a los recursos disponibles, la dignidad en la diversidad y la autonomía personal y colectiva y a la participación responsable” (p.23).

Los primeros antecedentes teóricos publicados sobre CS, más allá de las aportaciones de Durkheim desde la sociología a mediados del s. XX, surgieron en Canadá a partir de una reflexión en 1990 sobre el concepto (^{Stanley, 2003}), delimitando su significado como un “proceso de desarrollo de una comunidad de valores compartidos, retos comunes e igualdad de oportunidades, basada en un sentimiento de esperanza, confianza y reciprocidad” (^{Sharon, 1997}). Posteriormente, evoluciona hacia “la voluntad de los individuos para cooperar y trabajar juntos en todos los niveles de la sociedad para alcanzar metas colectivas” (^{Sharon et al., 2002}).

En América Latina y el Caribe los antecedentes sobre CS aparecen con la reflexión sobre el concepto en la Declaración de Santa Clara sobre Cohesión Social (Perú, 2004) por parte de la Comisión Económica para América Latina y el Caribe, que la define como: “la eficacia de los mecanismos instituidos de inclusión social como los comportamientos y valoraciones de los sujetos que forman parte de la sociedad” (^{CEPAL, 2007}, p. 19).

Una vez se establece un diálogo internacional sobre el concepto, en la actualidad resulta ya frecuente la relación entre CS y desarrollo local, partiendo desde un enfoque de políticas públicas centradas en el ámbito económico (^{Tassara, 2014}). En este sentido, se manifiestan instituciones y autores, tales como el ^{Banco Interamericano de Desarrollo} (BID, 2006), desde una posición más economicista, o con un sentido más social como el de ^{Cotler (2006}).

Desde el ámbito educativo también los sistemas educativos deberían perseguir una mayor CS y económica a través de la formación (^{Madrid-Izquierdo, 2007}; Jornet-Meliá, 2012). En función de esta necesidad las políticas educativas de algunos países se enfocan en este camino, surgiendo tendencias de educación superior -ES- al respecto (^{Alcántara & Navarrete, 2014}) y planteando la CS como principio ético y razón social de la universidad (^{Beltrán-Llavador et al., 2014}). Un ejemplo de este interés es el que se define en el Programa Marco Interuniversitario de Política para la Equidad y CS en la ES (RIAIPE) (^{Montané y Beltrán, 2011}).

Sin embargo, ¿se desarrollan modelos de evaluación hacia la CS en ES? A partir de una búsqueda internacional al respecto se evidencia que también es habitual la evaluación de la CS hacia las políticas públicas proponiendo indicadores sociales, aunque no se encuentran modelos específicos que midan la CS en ES -ver Figura 1-.

Figura 1: Marco metodológico a nivel internacional sobre la medición de CS (Adaptado del Consejo Nacional de Evaluación de la Política de Desarrollo Social, 2015).  

Tal y como se puede extraer de la información anterior no se evidencian modelos de evaluación enfocados directamente con la ES, por lo que planteamos un sistema de evaluación de titulaciones universitarias basado en la CS. En el trabajo anteriormente mencionado (Jornet-Meliá et al., 2014), se puede seguir el análisis de la aplicabilidad institucional del concepto y el modo en que podrían aunarse la evaluación y la intervención para el trabajo en ES desde la perspectiva de la CS. Desde ahí planteamos el modelo de evaluación institucional UNIVECS y está en desarrollo también la selección de un marco de indicadores de funcionamiento institucional al respecto que reúna, junto a otros indicadores organizacionales usuales, los derivados del enfoque de la Educación para CS.

Otros investigadores internacionales tratan la CS en relación a las universidades. Por ejemplo, ^{Heyneman (2007}) explora algunas dimensiones entre estudiantes universitarios en función de la libertad académica, la equidad de participación y la honestidad académica, otros autores relacionan sus estudios sobre CS y universidad hacia la prevención del racismo entre estudiantes, destacando en particular este tipo de procesos de investigaciones como transformadores ya que además de contribuir a las categorías de estudio, mejoran las mismas durante el propio proceso de recogida de información (^{Pattman, 2010}). No obstante, los factores que pueden afectar a la CS están muy vinculados a la cultura y momento histórico del entorno, por lo que analizarlos en un contexto específico universitario siempre es necesario, pues no todos los factores posibles se darán de igual manera y/o intensidad en todas las situaciones de ES.

2.1 Acerca del Concepto de Cohesión Social (CS) para la Evaluación de Titulaciones en Educación Superior (ES)

¿Cómo entendemos desde el modelo UNIVECS, el concepto de CS como referencia para la evaluación de titulaciones universitarias? En el proyecto entendemos por Cohesión Social la capacidad que tiene la titulación para garantizar la sostenibilidad del bienestar de todos sus miembros, incluidas la inclusión, la autonomía personal, para promover el sentido de pertenencia, confianza, la movilidad social y la participación responsable.

Esta definición permite identificar diferentes dimensiones conceptuales que actuarán como criterios de calidad para evaluar en funcionamiento de las titulaciones desde la perspectiva de CS anteriormente definida. Se muestran las dimensiones y sus definiciones como constructos teóricos de referencia en la Tabla 1.

Tabla 1: Dimensiones o constructos de CS en el modelo UNIVECS. 

NOTA: las dimensiones están ordenadas en función del orden adoptado durante la realización de grupo focal.

Fuente: Definición de las dimensiones del sistema de evaluación UNIVECS (^{Jornet-Meliá et al., 2020}).

La metodología desarrollada para la validación lógica y empírica de dimensiones y constructos ha sido y es objeto de estudios de carácter empírico, tanto cualitativos como cuantitativos y mixtos. Algunos de ellos han sido compartidos en trabajos anteriores presentados en CIAIQ en 2019 y 2020 (^{Sancho-Álvarez et al., 2021}).

3. Metodología

El proyecto de investigación en el que se integra este trabajo se ha desarrollado utilizando una aproximación basada en el enfoque de métodos mixtos (^{Castañer-Balcells et al., 2013}; ^{Sánchez-Gómez et al., 2018}a; ^{Sánchez-Gómez et al., 2018b}; ^{Martín-García et al., 2019}), de forma que la validación del Modelo de evaluación UNIVECS se realiza de forma complementaria utilizando estrategias cuantitativas (cuestionario online) y cualitativas (grupos focales y entrevistas).

En trabajos previos se ha presentado el proceso de validación del Modelo (^{González-Such & Garrido, 2019}; González-Such & Sánchez-Delgado, 2019; ^{Jornet-Meliá & Bakieva, 2019}; ^{Perales-Montolío & Sancho-Álvarez, 2019}; González-Such & Jornet-Meliá; 2021), que tiene como resultado una propuesta articulada en torno al concepto de CS, y estructurada en ocho dimensiones (autonomía personal, bienestar social, confianza, inclusión, movilidad social, sentido de pertenencia, participación y sostenibilidad).

En este trabajo se presentan los resultados del proceso de validación del modelo, a partir de grupos focales realizados con el alumnado de los dos másteres mencionados de la UV.

Se ha elegido el Grupo Focal (GF) por ser una técnica no directiva, aunque sí orientada, cuya finalidad “es obtener información coherente de la producción discursiva de un grupo de personas que, más o menos expertas, en reunión, durante un tiempo limitado y en un espacio neutral, debaten sobre un tópico” (^{Sánchez-Santamaría & González-Such, 2014}, p.48).

Se ha utilizado como elemento catalizador para la discusión y el debate una cuestión muy genérica, centrada en constructo de CS y sus dimensiones, tal como ha sido definida en el apartado anterior. La técnica de grupos focales se encuentra en auge actualmente y puede ser aplicada a diversos grupos (adultos y niños) en diversas modalidades: tanto presenciales como a distancia (^{Adler et al., 2019}).

3.2 Fases de Realización

El estudio global UNIVECS se desarrolló según las fases que se muestran en la Figura 2.

Figura 2: Fases y actividades de investigación en el proyecto UNIVECS. 

Dentro del proyecto UNIVECS, el trabajo que aquí se presenta aporta evidencias de validación del modelo a partir de GF con estudiantes pertenecientes a dos másteres de UV del área de educación. Así, los objetivos de la presente investigación se plantean tal como puede observarse en la Figura 3, así como las estrategias procedimentales utilizadas para lograrlos.

Figura 3: Esquema de análisis cualitativo utilizado en el estudio: objetivos y estrategias. 

Durante la realización de GF, con la finalidad de dinamizar la participación y a la vez encaminar el debate en la dirección adecuada, se planteó la definición de CS como constructo global y a continuación se fueron planteando las siguientes preguntas a partir de cada una de las ocho dimensiones del constructo:

• ¿Crees que la titulación favorece esta “dimensión”?

• ¿Cómo crees que puede facilitar tener mayor “dimensión”?

• ¿Qué está interviniendo en la titulación que impide que se dé la “dimensión”?

A partir de la transcripción, la codificación fue realizada con la intención de agrupar las respuestas en elementos que facilitadores del desarrollo de cada dimensión mencionada y también los elementos obstaculizadores.

3.2.1 Procedimiento de Análisis

El análisis del texto se basó en el análisis de significado. Autores como ^{Strauss & Corbin (1990}) o ^{Gibbs (2012}) hablan de teoría fundamentada utilizada ampliamente en ciencias sociales, y su foco central se pone en generar inductivamente ideas teóricas o hipótesis nuevas a partir de los datos. Estas ideas son fundamentadas en la medida en que “surgen” de los datos y éstos las apoyan. En la fase posterior estas nuevas ideas se deben relacionar con las teorías existentes. Las etapas de análisis, según Strauss & Corbin (1990) son: 1) codificación abierta, en la que se lee el texto de manera reflexiva para identificar categorías pertinentes; 2) codificación axial, en la que las categorías se precisan, se desarrollan y se relacionan o interconectan; y 3) codificación selectiva, en la que la “categoría nuclear” o central que une todas las demás en la teoría, forma una historia que se identifica y relaciona con otras categorías (Strauss & Corbin, 1990, citado por Gibbs, 2012, p. 92). En el caso de nuestra investigación, se trata de identificar todas las posibles variables que pueden ser relevantes para el alumnado de las titulaciones superiores en cuanto a la Cohesión Social.

A partir de la transcripción de los GF, se realizó la codificación de los mismos. En el proceso de codificación y análisis se utilizó el software Nvivo12 (bajo licencia particular). Para dar respuesta a los diferentes objetivos del trabajo se han utilizado estrategias complementarias de análisis de la información ofrecidas por el programa mencionado.

La codificación abierta la trabajamos a partir del Nvivo12, identificando los códigos que pueden observarse en las Figura 4 a 10. En todos los casos, junto al código aparecen entre paréntesis las frecuencias con que aparecen en los másteres A y B, respectivamente. Se presentan Figuras de síntesis para todas las dimensiones, salvo para la de Confianza que comentaremos posteriormente. En las Figura-s aparecen los códigos identificados y, entre paréntesis la frecuencia con que se dan, en el primero para el Máster A y, en el segundo, para el B.

Figura 4: Códigos y frecuencias de la D1: Autonomía personal. 

Respecto a la dimensión de Confianza, no se identificaron obstaculizadores. Y en cuanto a facilitadores, tan sólo identificamos dos: a) Reconocimiento social desde los centros de prácticas (específico con dos frecuencias para el Máster B) y Titulación genera confianza y aprendizaje (específico del A, con una sola frecuencia). Este hecho es concurrente con apreciaciones que habíamos identificado en el proceso de validación lógica, que sugerían que se solapaba en gran medida con otras dimensiones, por lo que era difícil identificar su rol específico como dimensión evaluativa de la CS.

Figura 5: Códigos y frecuencias de la D2: Bienestar social. 

Figura 6: Códigos y frecuencias de la D4: Inclusión. 

Figura 7: Códigos y frecuencias de la D5: Movilidad social. 

Figura 8: Códigos y frecuencias de la D6: Participación. 

Figura 9: Códigos y frecuencias de la D7: Sentido de pertenencia. 

Un aspecto a resaltar es que se diferencia con bastante claridad el perfil de opiniones que respecto a la CS se muestran en ambos másteres. Tal como se observa en la Figura 11, donde realizamos una síntesis de las frecuencias de códigos emitidas, diferenciando entre obstaculizadores y facilitadores y los analizamos en relación a los contenidos a que se refieren y que están especificados en las Figura-s previas, es claro que se observan claras diferencias que permiten valorar el papel de la titulación desde y para la CS.

Figura 10: Códigos y frecuencias de la D8: Sostenibilidad. 

Adicionalmente, como estrategia de validación de constructo del Modelo UNIVECS se utiliza la nube de palabras, que ofrece una síntesis significativa de los elementos más destacados por los informantes respecto a las dimensiones vinculadas con cohesión social. Se selecciona la nube de especificaciones para palabras de al menos 6 letras.

Contrastados los resultados con los coordinadores de ambos másteres y, sin indicarles cual del conjunto de códigos emitidos correspondían al Máster A y al B, resulta significativo que han identificado con facilidad cada uno de ellos el conjunto que representaba mejor su titulación. Ello no quiere decir que permitan una descripción precisa de ambos, ni que los coordinadores, en si mismos, puedan asumirse como un criterio único de referencia. No obstante, resulta un indicio que orienta a que, como enfoque metodológico, sería interesante incluir una lectura doble ciego con docentes y alumnado que no haya participado en los GF.

En la nube, la palabra “Máster” ocupa el puesto central, siendo lógicamente la más frecuente. En torno a ella, aparecen palabras significativas y frecuentes, que se pueden organizar en torno a varios tópicos:

• Elementos estructurales del máster. La palabra fundamental es “asignaturas” que, como se ha visto en la codificación abierta, aglutina buena parte de las reflexiones de las y los estudiantes: cómo son las asignaturas condiciona la aportación de la titulación a la cohesión social.

• Elementos de contenido. Los “conocimientos” adquiridos son la gran aportación del máster. Su calidad, cantidad, actualización, novedad, relevancia, aparecen en los GF como elementos clave. La “educación” es, lógicamente, el contenido central, y también su carácter “social”.

• Elementos docentes. La aportación de las titulaciones a la CS está lógicamente condicionada por el modelo docente. Para que las titulaciones contribuyan a la CS deben ponderar la cantidad de “trabajo” exigido, ofrecer “actividades” significativas, y potenciar la “participación” y la “práctica”.

• Elementos personales: Los protagonistas del máster son los “compañeros”, las “personas” que participan en él y, con menor frecuencia, el “profesorado”.

Figura 11: Síntesis gráfica de la distribución de códigos identificados en ambos másteres, diferenciando entre total, obstaculizadores y facilitadores. 

Figura 12: Nube de palabras de los GF de validación del Modelo UNIVECS. 

De forma complementaria, la estrategia de análisis de similitud de palabras, realizada a través de análisis de conglomerados, ofrece una imagen sintética acerca de cómo se relacionan entre sí las dimensiones del modelo UNIVECS, ofreciendo otra evidencia de validación. Estos conglomerados, que se presentan en la Figura. 13, se construyen a partir del cálculo de las correlaciones entre las dimensiones que, por motivos de espacio, no presentamos aquí.

Figura 13: Conglomerados de los GF de validación del Modelo UNIVECS. 

El gráfico de conglomerados muestra tres agrupaciones de dimensiones:

• Las dimensiones “Confianza” y “Pertenencia” se vinculan con comentarios aparecidos en los GF sobre la relación que los estudiantes establecen a cuatro niveles: con el grupo de estudiantes, con el título como tal, con la Facultad y con la UV, mostrando niveles decrecientes de vínculo.

• Las dimensiones “Movilidad Social” y “Participación” recogen comentarios de los estudiantes sobre elementos internos de las titulaciones (como la estructura de las asignaturas), pero también con elementos que vinculan la titulación con la realidad social, la realidad externa, como las prácticas o el desarrollo profesional posterior.

• Las dimensiones de “Bienestar Social”, “Inclusión” y, en menor medida, “Autonomía Personal” incluyen códigos más referidos al vínculo que los estudiantes establecen con la titulación, y cómo eso influye en la CS.

• Finalmente, la dimensión de “Sostenibilidad” se relaciona de una forma global con todas ellas. Es la dimensión, junto con “Bienestar Social” e “Inclusión”, en la que más códigos han aparecido, y que más tiempo ocuparon en el desarrollo de los GF. Fueron las tres primeras dimensiones abordadas. La dimensión “Sostenibilidad”, por tanto, suscitó comentarios de los estudiantes relacionados con la definición planteada pero también más globales, siendo una posible explicación de esta vinculación global con el resto de dimensiones.

Como estrategia de profundización en esta línea, a modo de una codificación axial, se reinterpretan los códigos, señalando los más frecuentes y significativos, y su relación con cada una de las ocho dimensiones, buscando confirmar estas líneas fronterizas. En este análisis se reflejan las aportaciones de los GF respecto a los elementos que facilitan o dificultan la CS en cada una de sus dimensiones. Este análisis se vincula con el tercer objetivo de ese trabajo, pues aporta una evidencia de validación vinculada con la capacidad del Modelo UNIVECS para identificar líneas para la mejora de las titulaciones. Esta aproximación se refleja en la Figura. 14.

Se confirma que las dimensiones “Sostenibilidad”, “Bienestar Social” e “Inclusión” son las que sus vínculos establecen una mayor cantidad de códigos, señalando elementos globales de mejora de las titulaciones. Las otras dimensiones recogen aportaciones vinculadas de una forma más cercana al elemento específico al que se refieren. Metodológicamente, ello nos permite un acercamiento más detallado para el análisis de las dimensiones de la CS. Así, analizar cada una de ellas en función de esta codificación.

Acrónimos: AP (Autonomía personal); BS (bienestar social); CO (Confianza); IN (Inclusión); MS (Movilidad social); PA (Participación); PE (Sentido de pertenencia); SO (Sostenibilidad). 

Por ejemplo:

• LA MOVILIDAD SOCIAL se fomenta con los conocimientos adquiridos, y con el hecho de tener el título de máster. Se obstaculiza porque el master no sea habilitante, y porque las clases sean demasiado teóricas.

• EL SENTIDO DE PERTENENCIA. Se fomenta cuando el estudiante se siente escuchado y siente que se organizan actividades para él. Se potencia cuando se desarrolla la cohesión de grupo.

• LA PARTICIPACIÓN. Se potencia con la participación del alumnado y con la participación social. También con la percepción de conocimientos adquiridos. Lo dificulta las clases muy teóricas y las asignaturas muy cortas.

Siguiendo esta pauta de trabajo, obviamente en mayor detalle, podemos estudiar la visión extraída a partir del GF en cada uno de los másteres analizados.

Complementando estos análisis con las aportaciones de otras herramientas que, por motivos de espacio, no incluimos y presentaremos en próximos trabajos.

4. Conclusiones

En este estudio hemos pretendido exponer prioritariamente el proceso de análisis, más que las consecuencias que tienen los resultados para el contenido, con la finalidad de mostrar la pertinencia del uso de grupos focales en procesos de validación de modelos de evaluación, especialmente en el contexto universitario (^{Martín-García, et al., 2019}; ^{Sancho-Álvarez et al., 2021}).

En este sentido, estimamos que los objetivos planteados se han logrado. Los análisis realizados muestran que la metodología cualitativa permite avanzar en el proceso de validación del Modelo, aportando evidencias de cómo las titulaciones universitarias tipo Máster actúan y promueven la CS. Los grupos focales, en concreto, permiten recoger información significativa de las diferentes audiencias, en este caso alumnado, e identificar los factores clave dentro de las dimensiones planteadas en el modelo de evaluación.

No obstante, es necesario completar este enfoque con:

La concurrencia de resultados y la saturación de información será, en consecuencia, clave para que este tipo de evaluaciones sea fiable y válida (^{Sánchez-Gómez et al, 2018}).

La complejidad del concepto de CS como referente de calidad así lo amerita y, en cualquier caso, es inherente a la evaluación de programas de intervención tan complejos como son las titulaciones universitarias.

La universidad es un actor relevante para construir y anticipar escenarios alternativos, encaminados a logar una mayor equidad y cohesión social (^{Alcantara y Navarrete, 2014}; ^{Beltrán-Llavador et al., 2014}). El estudio realizado muestra que el alumnado identifica claves fundamentales en ese potencial de la universidad para contribuir a la cohesión social. Sin embargo, para que la universidad sea realmente transformadora, y no meramente adaptadora, tiene que estar dispuesta a transformarse a sí misma, tiene que ser ella misma una institución abierta a la formación y al aprendizaje, para procurar lo mejor de sí misma en su función o misión de servicio a los demás. Esta misión es también una visión de la realidad social con aspiraciones universalistas, que busca conciliar la unidad de la humanidad con la diversidad de formas de vida, para una ciudadanía plena (^{Leite y Beltrán, 2012}).