Introducción

El tema relacionado con el impacto asociado a los procesos de formación de posgrado es objeto de investigación desde hace décadas, que se ha manifestado en la pedagogía, en la educación, en la empresa, en el talento humano. La Asociación Internacional de Evaluación de Impacto (IAIA), en sus principios de carácter general, asocian el impacto a diferentes tipos de procesos, siempre que genere un cambio social, es decir, procesos con consecuencias en la sociedad (Vanclay, 2004; Román, 2017).

Si se realiza la evaluación del impacto asociado a los procesos de formación de posgrado, constituye el punto de partida valorar si después de un tiempo de concluido ese programa se logra alcanzar el efecto deseado en aquellas personas que lo recibieron. También es común tener en cuenta los recursos que fueron designados por la institución formadora y los niveles alcanzados de eficacia (Toral, 2007).

Desde octubre de 1999, se crea la Junta de Acreditación Nacional (JAN). Es un órgano gubernamental que tiene alcance nacional y cuya misión es contribuir a mejorar la calidad de los diferentes procesos de la educación superior cubana, a saber: las carreras universitarias, los programas de especialidad, de maestría, de doctorado y las Instituciones de Educación Superior (IES). La JAN tiene la responsabilidad de dirigir los procesos de evaluación externa y de acreditación de los variados subsistemas del Sistema de Evaluación y Acreditación de la Educación Superior (SEAES) (Ministerio de Educación Superior [MES], 2018).

Desde la creación de la JAN, comenzó a oficializarse la evaluación externa en los programas de maestría y se constituyó el primer subsistema del SEAES: Sistema de Evaluación y Acreditación de Maestrías (SEA-M). La primera variable fue la pertinencia social y de forma indirecta, en el programa se debían considerar estratégicamente los impactos (SEA-M, Instrucción Min. No.1/1999; MES, 2019). El SEA-M no quedó estático, sino que se fue perfeccionando en la medida que se iban desarrollando las evaluaciones externas en los diferentes programas, y se acumulaban nuevas experiencias. Esto ocurrió en el año 2009, en 2014 y nuevamente en enero de 2019 mediante la Resolución 11/2019, donde la variable 1 se nombró pertinencia e impacto social. La primera forma organizativa de la formación académica con reconocimiento internacional fue la maestría (MES, 2019). En los variados SEA-M se fueron modificando los indicadores referidos a las variables y los modelos a entregar a la JAN para las evaluaciones externas. Los criterios de calidad establecidos se reconocen para cualquier condición en que se impartan (Dopico, 2007; Llanio et al., 2013).

Los cambios que ocurren en las diferentes partes interesadas (clientes externos e internos que reciben la formación académica), trascienden al egreso del programa de posgrado. Por eso, es de gran interés conocer desde las perspectivas de los graduados y sus empleadores, los cursistas, la sociedad (que recibe los beneficios de las investigaciones realizadas) y la propia Universidad; la eficiencia y eficacia lograda. Las opiniones de todos los interesados en la calidad de los procesos de formación que se evalúan, ayudan a valorar la gestión de los procesos universitarios, si son pertinentes y si demuestran una excelencia académica en su ejecución. A ello se suman las transformaciones del entorno social, expresada en estándares elaborados y establecidos previamente (Llanio et al., 2011).

Los tres programas pioneros de maestría diseñados en el Instituto de Farmacia y Alimentos (IFAL), fueron aprobados por la comisión permanente de estudios de posgrado, perteneciente al Ministerio de Educación Superior (MES), en 1994. Éstos fueron: el de Tecnología y Control de Medicamentos (TCM), el de Farmacia Clínica (FCL) y el de Química Farmacéutica. Ellos formaron parte de los diez primeros programas aprobados en la Universidad de La Habana (UH). De estas maestrías, solo se mantienen hasta la actualidad dos programas: TCM y FCL. Posteriormente se fueron incorporando otros programas académicos de maestría que tributan a la Disciplina Ciencias Farmacológicas del perfil profesional: la maestría de Farmacología (Farma) y la de Toxicología (Toxi). En la actualidad se han ido concentrando algunos programas y se incorporó un nuevo en el 2017, en el área de las Ciencias Cosméticas, que se encuentra en su segunda edición.

Hace aproximadamente nueve cursos académicos (desde 2014-15) se propuso un diseño original de metodología para evaluar impacto en los programas de maestría del IFAL. Un indicador se destina a evaluar la formación desde la perspectiva de los cursistas, una vez concluido el proceso de formación, otro se basa en la opinión de los empleadores y el resto analizan el impacto en los egresados (Joa et al., 2015). Aunque con la metodología original, el impacto social se evaluaba indirectamente a través de las contribuciones de las tesis de maestrías, ningún indicador lo medía de forma independiente. Por esto se incluyó en la etapa de perfeccionamiento, junto con otros tres indicadores de eficiencia, que tributaban a la satisfacción del cliente interno (Nieto et al., 2017; Nieto et al., 2019).

En la actualidad se cuenta con una metodología propia que incluye nueve indicadores para la evaluación de impacto en programas académicos del IFAL, que se han aplicado en cuatro casos de estudios (maestrías): TCM, FCL, Farma y Toxi. Sin embargo, estas evaluaciones se han realizado de forma aislada, sin integrar los resultados a nivel institucional, ni realizar comparaciones entre programas, que permitan identificar las mejores prácticas a generalizar como parte de la mejora y gestión a nivel de esta figura de posgrado en el IFAL, con énfasis en la formación continua del egresado de Ciencias Farmacéuticas. Teniendo en cuenta estos antecedentes, el objetivo de este trabajo fue: analizar la contribución de las evaluaciones de impacto realizadas durante un quinquenio en estas maestrías del IFAL, a la mejora de la calidad en la gestión y desarrollo de los programas.

Materiales y métodos

Se realizó una investigación retrospectiva, descriptiva, integrando elementos cuantitativos y cualitativos, técnicas de revisión bibliográfica, y el método analítico-sintético y el inductivo-deductivo. Se ejecutó en el IFAL de la UH, a partir de la combinación del trabajo en equipo y diferentes técnicas de gestión de calidad. Se conformó un equipo de trabajo de seis integrantes, liderado por las dos autoras de la metodología, sistematizada y actualizada como una guía metodológica (GMetod) para la evaluación de impacto en programas académicos de posgrado (Joa et al., 2015; Nieto et al., 2017; Nieto et al., 2019). El resto de los miembros del equipo fueron los coordinadores de cada programa evaluado en el período de investigación.

Se realizaron varias sesiones de tormenta de ideas para dar cumplimiento al objetivo previsto. Se realizó la auto preparación individual y colectiva de los participantes, respecto al procedimiento utilizado (GMetod) y los resultados de impacto que fueron previamente publicados, o están en proceso de divulgación por esa vía. En tres de las maestrías (TCM, FCL y Farma) se incluyeron muestras representativas de graduados, empleadores y cursistas de varias ediciones que se ejecutaron aproximadamente en un período de cinco años. En la maestría de Toxi, solamente se analizaron los egresados, correspondientes a la etapa evaluada; no fue posible aplicar la encuesta de los cursistas y los empleadores porque coincidió con el comienzo de la pandemia de COVID-19 y la paralización de las actividades (MES, 2020).

A continuación, se relacionan las ediciones y períodos contemplados en la investigación:

• TCM: ediciones XIV a XVII, en el período el 2009-2014.

• FCL: ediciones XI, XII y XIV, en el período 2011-2015.

• Farma: ediciones VII a IX en el período 2012 al 2019.

• Toxi: ediciones V a VII, en el período 2012 – 2019.

En la sesión inicial, se realizó una presentación de los aspectos identificados como críticos para el proyecto; así como las tareas a ejecutar. Posteriormente, se explicaron las técnicas de gestión de calidad y sus propósitos. A continuación, se relacionan las herramientas utilizadas:

• Planilla de recogida de información: se confeccionó un documento en Microsoft Office Excel, 2019; donde se compilaron los diferentes datos primarios utilizados para todos los análisis posteriores: resultados de los indicadores de impacto (según la GMetod) y otros datos de interés, por ejemplo: institución de procedencia de los egresados y empleadores evaluados; información sobre el desempeño profesional y las funciones sociales de los egresados; participación en eventos, publicaciones; cambios de categorías ocupacionales, docentes, científicas, etc.

• Estratificación: permitió agrupar los datos cuantitativos y profundizar en los análisis cualitativos, por programa, según los centros de procedencia de los egresados, comparando el grado de influencia que ejercen determinados factores en la calidad de los programas de maestría, etc.

• Gap Análisis: en el análisis de brechas (Alman, 2023) se utilizó una lista de chequeo con los requisitos reflejados en el patrón de calidad del SEA-M, con el objetivo de verificar la pertinencia de la metodología en el contexto actual, teniendo en cuenta que el diseño se realizó antes de la última actualización (MES, 2019).

• Matriz de priorización: se empleó para relacionar los resultados y los indicadores evaluados por programas, la frecuencia de los niveles de impacto en los casos de estudio y su nivel de importancia para la institución. La prioridad (P) se calculó, por cada indicador a partir de la siguiente expresión: P = M x G; donde M: Magnitud y G: Gravedad. M se estimó teniendo en cuenta el promedio de calificación de impacto en el total de programas analizados, ponderando los resultados de impacto en una escala de 4 puntos (Excelente: 4, Alto: 3, Medio: 2 y Bajo: 1). Este promedio se multiplicó por la cantidad de programas en que se alcanzaron puntuaciones de Medio y Bajo impacto (frecuencia).

G se valoró en base a los criterios de medida del patrón de calidad del SEA-M, y el consenso entre los miembros del equipo al utilizar el proceso de jerarquía analítica (Asociación española para la calidad [AEC], 2019) en tres niveles: grave (3 puntos), moderado (2 puntos) y bajo (1 punto). Los valores de P se ordenaron en sentido descendente y de esta forma se identificaron las prioridades a gestionar a nivel institucional.

• Los seis sombreros pensantes: es una metodología que apoya a los equipos de trabajo a la toma de decisiones colectivas y la resolución de conflictos; la comunicación y el razonamiento efectivo. Se asignó un “sombrero” diferente a cada integrante (Saavedra, 2021). El objetivo fue “empujar” a las personas a analizar la información desde seis perspectivas diferentes, en función del sombrero asignado, para valorar las propuestas de mejora que se identificaron como resultado de una tormenta de ideas. Esto se llevó a cabo una vez definidos los aspectos que debían ser priorizados a nivel institucional (a partir de la matriz de priorización). Como salida se obtuvo, por consenso, una lista de características de calidad a considerar como parte de las oportunidades de mejora, fortalezas y debilidades a nivel institucional, desde la perspectiva particular (por sombrero) y en general.

• Matriz funcional-disfuncional: el listado de atributos de calidad identificados (en los seis sombreros pensantes), a tener en cuenta en las acciones de mejora, sirvió de base para la confección de un cuestionario de atribución de importancia, con un número par de preguntas. El cuestionario tuvo como propósito valorar la pertinencia de estos atributos en la mejora de los programas de maestría analizados, respecto a su gestión y desarrollo. Cada pregunta se redactó en dos formas: funcional y disfuncional, dispuestas al azar, según se establece en el modelo Kano (Hernández, 2023). El cuestionario se distribuyó entre los miembros del equipo, para que valoraran en cinco opciones de respuestas, igualmente adaptadas del modelo Kano (Guerrero, 2015): 5: me gusta (totalmente de acuerdo), 4: debería incorporarlo, 3: normal (o irrelevante), 2: puedo tolerarlo (no me agrada, pero la acepto) y 1: no me gusta (me disgusta y no la acepto).

Posteriormente, se procedió a clasificar las respuestas según la matriz funcional-disfuncional de Kano (Tabla 1) en las siguientes categorías: básica (B) o requisito obligatorio, lineal (L) o requisito de desempeño y atractiva (A) o requisito no esperado. También se clasificaron las respuestas en inversa (INV), dudosa (D) e indiferente (IND), las cuales fueron descartadas.

Tabla 1
Matriz funcional-disfuncional para la clasificación de atributos de calidad

Fuente: Adaptado de Sánchez (2018).

		Requisitos disfuncionales
		1	2	3	4	5
Requisitos funcionales	1	D	A	A	A	L
	2	INV	IND	IND	IND	B
	3	INV	IND	IND	IND	B
	4	INV	IND	IND	IND	B
	5	INV	INV	INV	INV	D

Leyenda: B: básica, L: lineal, A: atractiva, INV: inversa, D: dudosa, IND: indiferente

A partir de los atributos clasificados como B, L o A por mayoría, los miembros del equipo redactaron un plan de acciones de mejora, para su implementación con alcance institucional.

Resultados y discusión

En la maestría de TCM la muestra de egresados (58) fue ampliamente representativa del universo posible (85) para un (68,2 %). De los 18 centros laborales respondieron 15 para un 83,3 %. En total se obtuvieron opiniones de 25 jefes inmediatos de los egresados, 16 de ellos fueron de la industria, seis de los centros de investigación y tres a la IES. En el caso de los cursistas, se seleccionó una muestra de 16 estudiantes que cursaron simultáneamente la maestría en sus propias instalaciones (Laboratorio Medilip, Bayamo). De esta forma se eliminaron posibles sesgos en las respuestas relacionadas con algunos cambios que pudieran tener lugar entre las diferentes ediciones de la maestría. Aunque la representatividad fue más limitada que en egresados y empleadores, se definió como estrategia adecuada para la primera prueba piloto (Nieto et al., 2018).

En la maestría de FCL, el universo de estudio fue de 40 egresados, pero solo se obtuvo información de 17, lo cual representó el 42,5 %. De ellos, 10 correspondían a centros laborales de los servicios farmacéuticos, seis a centros de la Organización Superior de Dirección Empresarial (OSDE) BioCubaFarma y un egresado a la IES. Con relación al cuestionario de evaluación académica se logró un 81,8 % de respuestas para la edición XV, en ejecución en el momento en que se realizó la investigación (Nieto-Acosta et al., 2020).

En la maestría de Farma, se encuestó el 77,7 % de egresados (21 encuestados/27 totales). Además, se encuestó el 76,9 % de sus empleadores (10/de 13 posibles) y el 63,3 % de los cursistas de la edición IX (19/ de un total de 30) (Nieto et al., 2022). En la maestría de Toxi, se encuestaron 12 egresados de 20 posibles (60 %), de las ediciones V y VI. Procedían de cuatro organismos diferentes, cuya distribución fue: un encuestado de BioCubaFarma, cinco de centros del Ministerio de Salud Pública (MINSAP), tres del Laboratorio Biológico Farmacéutico (LABIOFAM) del Ministerio de la Agricultura (MINAGRI) y tres de IES del MES (Linares, 2021).

Con el Gap análisis no se detectaron brechas respecto a los requisitos reflejados en el actual patrón de calidad del SEA-M. Los indicadores fueron apropiados para el contexto actual, ya que, entre otros aspectos de interés, midieron la capacidad de las investigaciones (tesis) de solucionar los problemas científico técnicos priorizados relativos a los territorios o al país, y con ello, su impacto social. Se evaluó la contribución de los programas de formación al crecimiento profesional, personal y al prestigio de los egresados. Otros indicadores evaluaron el impacto en otras partes interesadas: empleadores (clientes externos) y en la propia Universidad que lo ejecuta. Se conocen los beneficios relacionados con la eficacia y eficiencia del programa de formación y cómo los resultados de las investigaciones aportan a la sociedad nuevos o mejores productos y servicios, que propician la solución de diversos problemas que atañen a la sociedad.

En la Tabla 2 se muestra la matriz de priorización para valorar los resultados por indicador en función de M y G. Esta técnica multicriterio es una herramienta verbal que se recomienda para evaluar distintas opciones, puntuándolas respecto a criterios de interés para un problema, de manera que se intenta garantizar una elección más objetiva (AEC, 2019).

Tabla 2
Matriz de priorización para valorar resultados por indicador en función de magnitud y gravedad

Elaboración propia.

Indicador	Impactos por programas					Resultados generales
	TCM	FCL	Farma	Toxi	Promedio	M	G	P
IDC	3	2	4	4	3,25	3,25	2,00	6,50
SE	4	2	2	4	3,00	6,00	2,00	12,00
TCE	2	2	4	2	2,50	7,50	2,00	15,00
SEmp	4	4	4	NE	4,00	0	3,00	0
ISG	4	4	4	NE	4,00	0	3,00	0
IS	4	4	4	2	3,50	3,50	3,00	10,50
BCTDt	4	3	3	3	3,25	0	3,00	0
BCTDft	4	4	4	4	4,00	0	3,00	0
BCRP	2	1	2	2	1,75	7,00	2,00	14,00

Leyenda: IDC: Índice de desempeño científico; SE: Superación del egresado; TCE: Transferencia de conocimientos del egresado; SEmp: Satisfacción de los empleadores; ISG: Índice de satisfacción global; IS: Impacto Social; BCTDt : Balance del cumplimiento de las tesis defendidas en tiempo; BCTDft: Balance de cumplimiento de las tesis defendidas fuera de tiempo. BCRP: Balance de cumplimiento de los resultados publicados; NE: No evaluado; M: Magnitud, G: Gravedad, P: Prioridad.

Los principales resultados en el estudio de impacto, demuestran que en general los valores cuantitativos alcanzados en los distintos indicadores reflejan porcentajes o calificaciones que, en su mayoría, se encuentran entre las categorías de excelente y alto (≥ 3 puntos), con algunas diferencias entre los programas. Para los resultados calificados como de impacto medio, solo se observó mayor presencia en los programas y, por tanto, valores superiores de M, para SE, TCE y BCRP, pues en el caso de IS, solo se afectó en Toxi. El peor comportamiento fue para BCRP, donde las calificaciones se correspondieron a impactos medios o incluso, bajo en FCL (Tabla 2).

La ponderación de la G respecto a los criterios de medida del SEA-M para valorar la pertinencia e impacto de los indicadores, demuestran la elevada pertinencia de los mismos. Los miembros del equipo asignaron calificaciones de G valoradas en las categorías alto y medio. Es decir, se logran criterios apropiados durante el diseño de la matriz de priorización (AEC, 2019). Los indicadores reflejan los aspectos más relevantes a considerar en las evaluaciones externas como parte de los procesos de acreditación de las maestrías en Cuba (MES, 2019).

Con el perfeccionamiento de la metodología de evaluación de impacto (de cinco indicadores iniciales se incrementaron a nueve) (Nieto et al., 2017; Nieto et al., 2019), se recoge la información relevante para conocer la satisfacción de todas las partes interesadas, tanto de los clientes externos como del cliente interno. Fue muy importante la inclusión de las valoraciones de los recursos humanos requeridos para la ejecución del programa; y de la sociedad como receptor de los impactos de los procesos de formación: programas de maestría.

Como debilidad se puede señalar que, al no declarar explícitamente en la metodología la inclusión durante el seguimiento de egresados, de aquellos procedentes de la misma cohorte a la que se aplica el monitoreo en etapas iniciales (evaluación a corto plazo del impacto del programa en los cursistas), se asume como riesgo, la mezcla de resultados de egresados que provienen de ediciones diferentes y, por tanto, la medición del impacto se limita a los análisis transversales y no longitudinales. Los estudios de seguimiento a egresados de tipo longitudinal son muy valorados por algunos autores en los últimos tiempos (Albornoz, 2018; Tamarit et al., 2018). Solo a través de evaluaciones de tipo longitudinal se logra verdaderamente seguir a los egresados a largo plazo y valorar su trayectoria. No obstante, los análisis transversales resultan de inestimable ayuda para el perfeccionamiento continuo de los programas y constituyen una estrategia de acompañamiento académico-científico comprometido (Escobar, 2018).

A partir de la ponderación (valores de P en Tabla 2), se identifican oportunidades de mejora generales encaminadas a revertir las brechas en aquellos indicadores con mayor puntuación: TCE, BCRP, SE e IDC. Todas ellas, fueron el resultado del análisis de los miembros del equipo, desde diferentes perspectivas (seis sombreros pensantes). La técnica de los seis sombreros pensantes es una metodología diseñada por Edward de Bono. La técnica se trata de asignar seis sombreros de colores diferentes que evocan ciertas emociones, que se relacionan con el tipo de pensamiento que se vincula con cada uno de ellos. Parte de la base de las diferentes posiciones que asumen los seres humanos al pensar. La adopción de la perspectiva de un sombrero particular (color) provoca el cambio de rol, es decir, para el análisis el participante debe situarse en una forma o perspectiva específica de pensar. De ahí que, a nivel internacional, sea ampliamente reconocida como técnica que estimula la creatividad en los grupos de trabajo, después de la tormenta de ideas (Saavedra, 2021). En la presente investigación, se confirma su validez para identificar las fortalezas y debilidades asociadas a la gestión y mejora de los programas, las cuales fueron las siguientes:

Fortalezas:

• Adecuado nivel científico y experiencia del claustro.

• Infraestructura adecuada para las clases teóricas.

• Las asignaturas de los programas presentan sus temas actualizados.

• Se cuenta con libros y revistas que aportan referencias de actualidad.

• Correcto intercambio con las instituciones del país que aportan maestrandos.

• Demanda nacional e interés en otros países de los programas, lo que garantiza su pertinencia, continuidad y condiciona una mejor selección de los estudiantes.

Debilidades:

1. No todos los profesores y tutores que participan en los programas son Doctores en Ciencia.

2. Los centros laborales de los maestrandos no controlan de manera efectiva el avance de las etapas metodológicas e investigativas a cumplir.

3. Existen dificultades materiales que limitan el avance de las investigaciones programadas, tanto en los centros laborales como en la Universidad.

4. Limitado apoyo institucional en algunos centros para un efectivo egreso y transformación en el entorno laboral a partir del desarrollo del egresado.

5. No existe uniformidad de criterios entre programas de posgrado y las vías para la medición de su impacto.

6. Dificultades materiales con los medios de experimentación a utilizar como parte del proceso de formación (prácticas de laboratorio).

Las fortalezas encontradas en la dimensión aprendizaje relativas al desarrollo de los procesos de formación, revela impactos positivos para el posgrado del IFAL y su prestigio como IES. No obstante, los autores coinciden con Bezies et al. (2020) en la importancia de estas mediciones, ya que proporciona elementos clave que soportan la toma de decisiones en la revisión curricular y permiten mantener actualizados los programas de estudio.

El deficiente acompañamiento y apoyo al egresado constituye una barrera que frena el desarrollo profesional detectada de forma reiterada y desde todas las perspectivas. La mayor ventaja de la técnica de los seis sombreros para pensar, es que además de fomentar la creatividad, reduce el tiempo de las reuniones y mejora la propuesta de las soluciones, al lograr que los participantes piensen y analicen de una manera deliberada, pero objetiva (GITNUXBLOG, 2023).

En la Tabla 3, se muestra la clasificación de los nueve atributos de calidad identificados, que formaron parte del cuestionario diseñado con preguntas distribuidas al azar y redactados con los enfoques funcional y disfuncional. A su vez, se refiere si procede o no la inclusión en el plan de mejoras, a partir de la clasificación otorgada.

Tabla 3
Clasificación de las características de calidad según la matriz funcional - disfuncional del Modelo Kano y su inclusión en el plan de acción

Elaboración propia.

Característica a analizar	# de pregunta en el cuestionario		Clasificación	Incluir en las mejoras
	Funcional	Disfuncional		Si	No
Conformar paneles de empleadores	1	13	IND		X
Acompañamiento efectivo para culminar tesis en tiempo	10	2	L	X
Acompañamiento efectivo para mejor utilización del egresado	14	3	L	X
Sistematizar evaluaciones de impacto para la mejora	4	12	B	X
Mejoras en la colaboración internacional	17	7	A	X
Apoyo institucional para el éxito laboral (trayectoria)	18	6	L	X
Mejoras en la composición de Doctores en Ciencias en el claustro	11	7	B	X
Mejoras en infraestructura para extender medición de impacto	9	15	IND		X

Leyenda: IND: indiferente, A: atractiva, B: básica, L: lineal

El 75 % de las características se incluyeron en el plan de mejoras. De ellas, tres fueron L (calidad deseada) y dos B (calidad esperada). Evidentemente, los requisitos clasificados como B, son características que se exigen como parte de los procesos de acreditación, aunque no sirven para aumentar la satisfacción, porque su presencia se da por sentado. Sin embargo, su ausencia sí produce impactos negativos en la satisfacción, especialmente en las evaluaciones externas y en las IES.

Por otra parte, la calidad deseada (L), son características muy concretas, y tienen la capacidad de aumentar o disminuir la satisfacción en función de su grado de cumplimiento; cuantas más se cumplan, mayor satisfacción y viceversa. En este caso se encuentran los acompañamientos y apoyos institucionales a los egresados durante y una vez concluidas las maestrías.

Solo dos atributos se calificaron como IND (Tabla 3). Justamente, entre las ventajas de aplicar el modelo Kano se destaca la posibilidad de identificar aquellas características que no se consideran ni buenas ni malas (calidad indiferente) y que no afectan al nivel de satisfacción (Hernández, 2023). Son atributos neutros o de bajo impacto, que se excluyen del plan de acción a corto plazo.

El hecho de no encontrar atributos clasificados como D o INV, denota la calidad del cuestionario diseñado. Sáez-Blanco et al. (2020) afirman que la calidad inversa se relaciona con aquellos atributos que habría que quitar del servicio, ya que su presencia produce insatisfacción. Mientras más respuestas se clasifiquen en esta categoría, peor diseñado quedó el cuestionario. De forma similar ocurre con las respuestas D. Una elevada frecuencia de respuestas INV o D, implica un rediseño del cuestionario, para mejorar la forma de clasificar las necesidades.

El análisis integral a través de los diferentes instrumentos y métodos aplicados, permitió proponer el siguiente plan de acción:

• Mejora 1: Establecer criterios más estrictos por parte de los comités académicos, que aseguren una mejor selección de los temas de investigación que desarrollan los estudiantes como parte de sus tesis, previo a su aprobación. Se debe verificar su correspondencia con los proyectos priorizados en los centros donde laboran y exigir la aprobación y compromiso por parte de los empleadores.

• Mejora 2: Fortalecer el intercambio entre el comité académico de la maestría y las instituciones de los maestrandos para facilitar un control oportuno del avance de las etapas de trabajo durante el programa y asegurar la defensa de las tesis, así como una vez concluido, como apoyo a las variables utilización y transformación del egresado en su entorno laboral.

• Mejora 3: Lograr que la mayoría de los tutores de las tesis de maestría se correspondan con el grado científico de Doctores en Ciencias, para que, incorporados en los claustros, la suma de profesores más tutores alcancen siempre porcentajes superiores al 80 %.

• Mejora 4: Sistematizar la aplicación de esta metodología en la evaluación del impacto en todas las partes interesadas (cursistas, egresados, empleadores, sociedad y cliente interno) en sucesivas ediciones, como vía de retroalimentación para incrementar la eficacia y eficiencia de los programas.

• Mejora 5: Priorizar la gestión y materialización de intercambios con profesores e investigadores de Universidades de otros países, afines a las líneas de investigación de los programas de maestría del IFAL, que favorezcan el uso de recursos y equipos para la investigación, con los que no se cuentan en el país.

De forma similar a lo recomendado por Hernández (2023) para el diseño de productos utilizando el modelo Kano, las acciones de mejora se organizan priorizando los requisitos de calidad deseada (mejoras 1 y 2), por el efecto positivo que causan en la satisfacción, y como consecuencia, en el impacto; seguido de las acciones relacionadas con la calidad esperada (mejoras 3 y 4). Sin bien las mejoras asociadas a la calidad atractiva, son las que causan mayor satisfacción, si no están, no causan insatisfacción porque no son esperadas. Esta es la situación de la mejora 5. Debido a los cambios impuestos en los últimos años por la pandemia de COVID-19 (Asociación Internacional de Universidades, 2020), se han debilitado las relaciones de colaboración, al menos, en la modalidad presencial en Cuba, que favorecen la colaboración internacional en la ejecución de maestrías.

Conclusiones

A través de las evaluaciones de impacto de los programas de maestrías del IFAL, se comparan por primera vez los resultados de los nueve indicadores y se evidencian las prioridades a nivel institucional en función de la magnitud y gravedad otorgadas a partir del análisis integral. La combinación de varias técnicas de gestión de calidad y la conformación de un equipo competente y comprometido, resulta muy útil para conformar la lista de características de calidad a considerar como parte de las oportunidades de mejora, las fortalezas y debilidades a nivel institucional. Se identifican seis fortalezas y seis debilidades asociadas a la gestión y mejora de los programas, así como la priorización de cinco acciones de mejora que deben ser generalizadas a nivel institucional. Por último, se confirma la importancia de la sistematización de las mediciones de impacto como base para el perfeccionamiento de los programas y su gestión exitosa.

Referencias

Albornoz, L. A. (2018). Valor compartido y calidad desde la proyección social. Reflexiones.

Alman, S. (2023). Análisis de brechas para alcanzar el rendimiento ideal. Lumiformapp. https://lumiformapp.com/es/checklists-recursos/analisis-de-brechas-gap

Asociación española para la calidad (AEC). (2019). Matriz de priorización. España. https://www.aec.es/web/guest/centro-conocimiento/matriz-de-priorizacion

Asociación Internacional de Universidades (2020). COVID-19: Retos y respuestas de la educación superior. https://www.iau-aiu.net/covid-19-higher-education-challenges-and-responses#survey%20reports

Bezies, P., Macías, L. R., Pérez, J. A., González, N., Elizalde, L., Olvera, B. I., López, M. A., Ordaz, A. A., Ángeles, A., González, D., Ortiz, J., Alonso, A., & Callado, J. (2020). Resultados del estudio de egresados de la Licenciatura en Farmacia. Instituto de Ciencias de la Salud. Universidad Autónoma del Estado de Hidalgo, Sistema Institucional de Evaluación. Registro Público del Derecho de Autor 03-2014-062511300000-01. Título de registro de marca 1556919 “Sistema Institucional de evaluación UAEH”. https://www.uaeh.edu.mx/adminyserv/dir_generales/evaluacion/spitel/seguimiento_de_egresados/2020/farmacia-icsa-2020.pdf

Dopico, I. (2008). Propuesta de un sistema de meta evaluación para el aseguramiento de la calidad de los procesos de evaluación externa y acreditación de los programas de maestría en Cuba. Plaza de la Revolución, Cuba: Editorial Universitaria. ISBN 978-959-16-0788-1 http://eduniv.mes.edu.cu

Escobar, A. A. (2018). UNAN-Managua, el postgrado: retos e implicaciones. Memorias del 11no Congreso Internacional de Educación Superior Universidad 2018.

GITNUXBLOG (2023). Método de los seis sombreros para pensar: Sus colores, técnica, cómo aplicarla y más. (8/03/2023). https://blog.gitnux.com/es/seis-sombreros-para-pensar/

Guerrero, M. A.(2015). Aplicación del modelo Kano a la satisfacción de los estudiantes en los cursos de formación online. [Tesis doctoral, Universidad Politécnica de Valencia]. https://riunet.upv.es/bitstream/handle/10251/59523/Guerrero%20-%20APLICACI%D3N%20DEL%20MODELO%20DE%20KANO%20AL%20AN%C1LISIS%20DE%20LA%20SATISFACCI%D3N%20DE%20LOS%20ESTUDIANTES%20EN%20LOS....pdf?sequence=1

Hernández, J. (2023). ¿Cómo aplicar el modelo Kano en el diseño de productos? IZO. https://izo.es/como-aplicar-el-modelo-de-kano-en-el-diseno-de-productos/

https://fototeca.uh.cu/s/scriptorium/page/inicio

Joa, F. D. (2015). Evaluación del Impacto de la Maestría en Tecnología y Control de Medicamentos (Período 2009-2014). [Tesis en opción al Título de Máster en Tecnología y Control de los Medicamentos, Universidad de La Habana]. https://fototeca.uh.cu/s/scriptorium/page/inicio

Linares, B. (2021). Evaluación Preliminar del Impacto de la Maestría en Toxicología. [Tesis de Diploma, Universidad de La Habana].

Llanio, G., Lazo, J., Iñigo, E., Surós, E. & Espi, N. (2013). Una estrategia metodológica para evaluar el impacto de los procesos de evaluación y acreditación en la educación superior.Revista Congreso Universidad, 2(1),1-11. http://www.mes.edu.cu

Llanio, G., Surós, E., & Dopico, I. (2011). La evaluación del impacto de los procesos de acreditación. Variables e indicadores. Pedagogía Universitaria, 16(1), 1-13. https://go.gale.com/ps/i.do?id=GALE%7CA466940239&sid=googleScholar&v=2.1&it=r&linkaccess=abs&issn=16094808&p=IFME&sw=w&userGroupName=anon%7E51f225a7&aty=open-web-entry

MES. (2018): Resolución Ministerial No. 150/2018. Reglamento del Sistema de Evaluación y Acreditación de la Educación Superior (SEAES), La Habana.

MES. (2020). Indicaciones especiales No. 1 de 23 de marzo de 2020. La Habana. https://www.mes.gob.cu/sites/default/files/documentos/rs.sm_.470_indicaciones_especiales.pdf

Ministerio de Educación Superior (MES). (2019). Resolución Ministerial No. 11/2019. Subsistema de Evaluación y Acreditación de Maestrías de la República de Cuba (SEA-M), La Habana.

Nieto, O. M., Suárez, Y. & Joa, F. D. (2017). Metodología para la medición de impacto en Programas Académicos de Maestría y Doctorado. En J.L. Almuiñas (compilador), (RED-DEES, CEPES-UH). La gestión de la calidad en las instituciones de educación superior, Tomo. I. (pp. 359-411). Instituto Superior Tecnológico Bolivariano de Tecnología. Guayaquil. ISBN: 978-9942-17-029-3.

Nieto, O. M., Suárez, Y., & Díaz, M. (2019). Perfeccionamiento de los indicadores de medición de impacto en programas académicos de maestría. Artículo del Libro: LA GESTIÓN DE IMPACTOS EN LAS INSTITUCIONES DE EDUCACIÓN SUPERIOR (RED-DEES). Pp. 168-177. Universidad de Sotavento. 545 p. ASIN: B07Z8J948R ISBN: 978-1700-54-595-4.

Nieto, O. M., Suárez, Y., & Joa, F. D. (2018). Evaluación de impacto en la Maestría Tecnología y control de medicamentos utilizando nuevos indicadores. En J. L. Almuiñas (compilador), (RED-DEES, CEPES-UH). La gestión de la calidad en las instituciones de educación superior, Tomo. II. (pp.193-205). Instituto Superior Tecnológico Bolivariano de Tecnología. Guayaquil. ISBN: 978-9942-17-041-5.

Nieto, O. M., Suárez, Y., González, I. & Grimón, M.Y. (2022). Evaluación del impacto de la maestría en Farmacología del Instituto de Farmacia y Alimentos. Revista Cubana de Educación Superior, 41(Especial 2), 351-367. https://revistas.uh.cu/rces/article/view/194

Nieto-Acosta, O. M., Suárez-Pérez, Y., Díaz-Molina, M., & Enríquez-Laza, J. J. (2020). Evaluación del impacto de la maestría en Farmacia Clínica. Revista Cubana de Educación Superior, 39(2). http://scielo.sld.cu/scielo.php?pid=S0257-43142020000200017&script=sci_arttext&tlng=en

Román, M. (2017). La Evaluación de impacto de la formación. Una aproximación desde los modelos clásicos y las experiencias de investigación. Revista Flacso. 5(3), 62. Pp.116-129. RPNS: 2346. ISSN: 2308-0132. https://revistas.uh.cu/revflacso/article/view/5855 www.revflacso.uh.cu

Saavedra, M. (2021). Técnicas de creatividad: los seis sombreros para pensar. DESINGNTHINKING. https://designthinking.gal/tecnicas-de-creatividad-los-seis-sombreros-para-pensar

Sáenz-Blanco, F., Contento-Sepulveda, M.S., & Bautista-Mendoza, J.M. (2020). Determinación de variables y parámetros del modelo Kano aplicado al turismo en salud en Colombia. Dimensión Empresarial, 18(2), 66-94. https://doi.org/10.15665/dem.v18i2.2292

Sánchez, C. (2018). Excelencia en el servicio: aplicación del modelo de Kano a servicios de salud. [Tesis de grado, Universidad de Sevilla]. https://idus.us.es/bitstream/handle/11441/88411/Excelencia_en_el_servicio.pdf?sequence=3&isAllowed=y

Tamarit, G., Sáenz, M., & Castro, F. (2018). Observatorio de docencia universitaria como vehículo de calidad en la formación docente. Memorias del 11no Congreso Internacional de Educación Superior Universidad 2018.

Toral, S. L. (2007). Primera reunión de farmacología traslacional, 38ª reunión nacional SEF/) 9ª reunión de SEFF19-20 de junio de 2018, España. (12/09/2018). http://doi.org/10.1111/bcpt.13084

Vanclay, F. (2004). Principios internacionales de la evaluación del impacto social. Estados Unidos: Asociación Internacional de Evaluación del Impacto.

Información adicional

Cómo citar este artículo: Nieto Acosta, O., Suárez Pérez, Y., & Iraizoz Colarte, A. (2024). Aplicación de la metodología de impacto en programas académicos de posgrado: resultados de un quinquenio. Revista Estrategia y Gestión Universitaria, Número especial, (12), 87-110. https://doi.org/10.5281/zenodo.10608060