Uno de los retos que enfrenta el profesorado actualmente en la enseñanza digital es cómo diseñar materiales educativos que generen engagement en el aprendizaje a partir de una adecuada mediación tecnológica (de Pablos, 2018). Los referentes teóricos proponen que el diseño realizado debe propiciar alta interacción para favorecer el desarrollo de itinerarios de aprendizaje individualizados (Waiyakoon et al., 2015), acompañarse de retroalimentación sobre el resultado de las actividades (Rylands y Shearman, 2018), y utilizar la gamificación como método de aprendizaje activo (Hulse et al., 2019).

Resulta necesario que el recurso educativo posibilite una exploración del contenido, para ello debe plantear retos intelectuales, guiar al estudiante en la búsqueda de soluciones (Legaki et al., 2020), y generar actividades que propicien que la capacidad de aprender a aprender (Sun-Lin y Chiou, 2019). Se debe tener en cuenta la relevancia del material de estudio para desarrollar una instrucción que genere engagement, por lo que es aconsejable emplear un diseño didáctico que facilite el estudio y el aprendizaje independiente y permanente (Sombra et al., 2019), además de potenciar la contribución del contenido a la resolución de problemas de la profesión (Mavridis et al., 2017).

En este sentido, son diversas las investigaciones que abogan por el diseño de libros de texto interactivos como materiales de estudio que propicien una mayor interactividad en el aprendizaje (Choi y Lam, 2018; Weng et al., 2018). No obstante, se requieren más estudios que investiguen el diseño pedagógico de los libros de texto interactivos y una mayor evaluación de las características y funcionalidades de estos recursos para contribuir al engagement hacia el aprendizaje digital (Gueudet et al., 2016; Ragan et al., 2019). Varios autores establecen que con materiales interactivos que propicien la exploración del conocimiento y los retos intelectuales se contribuye al bienestar y la motivación de los estudiantes, propiciando una mayor implicación en el aprendizaje (Buedo-Guirado et al., 2020; Colás-Bravo et al., 2021, Lee et al., 2019).

En este sentido, con el objetivo de diseñar un libro de texto interactivo que genere engagement, asumimos (ver Figura 1) el concepto de un objeto de aprendizaje interactivo y experimental (OA-IE) y las características que se deben tener en cuenta para su diseño (García-Hernández y González-Ramírez, 2019). Se precisa de la concepción de una unidad o parte teórica bien establecida, una unidad dirigida a la experimentación y otra que contribuya a la evaluación automatizada. En nuestro caso sumamos además una unidad que promueve la exploración de nuevos conocimientos. Cabe señalar que para elaborar un libro de texto interactivo se deben seguir los criterios de calidad expuestos por Toll y Ril (2013), quienes establecen los aspectos formativos, tecnológicos y de diseño y presentación del recurso educativo.

Figura 1 Nota: García-Hernández y González-Ramírez (2019).

Esta investigación responde a un diseño cuantitativo cuasiexperimental; de tipo explicativo con un desarrollo transversal. El objetivo fundamental es evaluar los efectos del diseño de un libro de texto interactivo en el engagement hacia el aprendizaje digital. Como hipótesis inicial se plantea que el uso de materiales interactivos en el aprendizaje mejora de manera significativa el engagement y el rendimiento académico.

A partir de esta formulación se concretaron las siguientes hipótesis:

H1. El uso del libro de texto interactivo diseñado mejora el nivel de autonomía de los estudiantes.

H2. El uso del libro de texto interactivo diseñado mejora la satisfacción de los estudiantes con sus materiales de estudio.

H3. El uso del libro de texto interactivo diseñado mejora la autoeficacia estudiantil.

H4. El uso del libro de texto interactivo diseñado mejora la actividad en el aula.

H5. El uso del libro de texto interactivo diseñado mejora el nivel de retroalimentación con los estudiantes.

H6. El uso del libro de texto interactivo diseñado mejora el ambiente de aprendizaje de los estudiantes.

H7. El uso del libro de texto interactivo diseñado mejora el nivel de bienestar estudiantil.

H8. El uso del libro de texto interactivo diseñado mejora el rendimiento académico de los estudiantes.

La intervención se ejecutó a partir de un diseño de tipo cuasiexperimental, con evaluación pretest y postest. Los estudiantes se dividieron en dos grupos: 1) experimental, cuyos integrantes utilizarán el libro de texto interactivo diseñado, y 2) grupo de control, formado por los participantes que no utilizarán el material interactivo y seguirán su formación en Matemática Discreta con los materiales de estudio tradicionales (manuales de la asignatura, presentaciones del profesorado, etc.). La asignación de los participantes a los grupos no se puedo realizar de forma aleatoria debido a que el régimen docente de la universidad exige trabajar con los grupos docentes intactos constituidos según criterios propios del centro e independientes del estudio. A partir de la metodología utilizada en este tipo de diseño de investigación se recogió información de cada sujeto (grupos control y experimental) antes y después de la intervención diseñada.

La muestra quedó conformada a partir del total de 695 estudiantes matriculados en la cohorte de primer año del curso académico 2018-2019. En la realización del cuasiexperimento participaron 178 estudiantes (88 en el grupo experimental y 90 en el grupo de control) de ocho grupos de clases (cuatro en el grupo experimental y cuatro en el grupo de control). La media de edad de los alumnos es de 19.3 con una desviación estándar de 0.897. La muestra del cuasiexperimento se dividió en 68 mujeres y 110 hombres. El 17.98% de los estudiantes de la capital del país, pero hubo participación de todas las provincias.

La selección se realizó a partir de las matrículas de los estudiantes, y a quienes fueron seleccionados se les invitó a participar voluntariamente y con consentimiento informado. La matrícula fue el único elemento de identificación y los alumnos fueron informados sobre los objetivos de la intervención y de los aspectos éticos. Todos los estudiantes tuvieron el mismo profesor, se rigieron por un currículo idéntico y realizaron los mismos exámenes, elaborados por la universidad y aplicados de forma simultánea.

La investigación se realizó en dos etapas. La primera (etapa preliminar) se dedicó al diseño del libro de texto interactivo, prueba del software y validación como objeto de aprendizaje. Para la validación inicial de diseño curricular los estudiantes utilizaron el libro en formato PDF como material de estudio a partir de los elementos teóricos expuestos en esta investigación, con buena aceptación por parte de alumnos y profesores. Enseguida se procedió a la validación del diseño del libro de texto como objeto de aprendizaje interactivo y experimental a partir del criterio de siete académicos con más de 10 años de experiencia en la impartición de matemáticas, experiencia en la investigación y utilización de la Tecnología Educativa. Para esta validación se utilizó el cuestionario de Toll y Ril (2013) para la evaluación de la calidad del diseño de objetos de aprendizaje, en el que se evalúan aspectos formativos, de diseño, presentación y tecnológicos del software que permiten considerar la calidad del recurso diseñado para contribuir al engagement hacia el aprendizaje. El procedimiento descrito permitió finalizar el diseño del libro de texto interactivo para llevar a cabo la intervención final.

La intervención (desarrollo del cuasiexperimento) se dividió en dos momentos (ver Figura 4). En el primero (febrero de 2019) se pidió a los alumnos que contestaran el Cuestionario para evaluar el engagement hacia el aprendizaje de la Matemática Discreta (CEMD) (González-Ramírez y García-Hernández, 2020) y se les aplicó un examen institucional de Matemática Discreta, para conocer el nivel inicial de los estudiantes (pretest). En un segundo momento (marzo de 2019) el grupo experimental (GE) comenzó a utilizar el libro de texto interactivo para el aprendizaje de la Matemática Discreta, el grupo de control (GC) continuó con los materiales utilizados hasta el momento (intervención). Posteriormente (julio de 2019), se requirió de nuevo la respuesta a las preguntas del cuestionario y se realizó una prueba de rendimiento académico (postest). Los participantes tenían garantizados en todo momento adecuados niveles de conectividad para acceder al material interactivo, en un ambiente tecnológico de total acceso a redes sociales y comunicación móvil. La Figura 4 muestra un resumen del procedimiento de investigación expuesto.

Figura 4

Además del cuestionario de Toll y Ril (2013) mencionado, se utilizó el Cuestionario para evaluar el engagement hacia el aprendizaje de la Matemática Discreta (CEMD) ya validado (González-Ramírez y García-Hernández, 2020). Este instrumento, basado en los fundamentos teóricos de Colás-Bravo et al. (2021), se centra en explorar las variables que más influyen en el engagement de los estudiantes, con el objetivo de propiciar la toma de decisiones de cara a una mejora del rendimiento académico. La operacionalización de la variable independiente engagement hacia el aprendizaje se realizó a partir de siete escalas:

Autonomía en el aprendizaje. Evalúa las habilidades que tiene el estudiante para, de forma autónoma, enfrentar sus estudios con la ayuda del profesor, pero sin una dependencia excesiva.

Satisfacción con los materiales de estudio. Indaga en qué medida el estudiante se siente satisfecho o no con sus materiales de estudio (p. ej., libros de texto) para vencer sus objetivos académicos.

Autoeficacia estudiantil. Determina la confianza que tiene el estudiante para enfrentar con éxito sus estudios.

Actividad en el aula. Evalúa la percepción del estudiante sobre las actividades que realiza el profesor en el aula para que, con un diseño motivador y dinámico, contribuya al aprendizaje.

Retroalimentación. Mide la satisfacción con el tipo de acciones que se ejecutan en el aula para retroalimentar de forma dinámica al estudiante sobre su rendimiento académico parcial.

Ambiente de aprendizaje. Indaga sobre el grupo de acciones que el profesor realiza en el aula para lograr un entorno de aprendizaje motivador y desarrollador de las principales habilidades de la materia en cuestión.

Bienestar estudiantil. Mide el nivel de satisfacción y motivación que poseen los estudiantes con sus estudios.

Todas las escalas son de tipo Likert, excepto la última, que es un diferencial semántico. Las escalas tipo Likert utilizan el baremo 1 = Nada, 2 = Poco, 3 = Algo, 4 = Bastante y 5 = Mucho. El examen de rendimiento académico consistió en preguntas de aplicación práctica de las habilidades del tema de Teoría de Grafos. El baremo de calificación es 5 = Excelente, 4 = Bien, 3 = Regular y 2 = Mal. El aprobado se obtiene con al menos 3 puntos.

Para evaluar los efectos del libro de texto interactivo en el engagement hacia el aprendizaje digital, se utilizan los resultados obtenidos del pretest y postest, tanto para las escalas del cuestionario CEMD como para el rendimiento académico. Primero, se determina la naturaleza de las variables dependientes para comprobar si su distribución es normal; para ello se aplica la prueba de normalidad con el estadístico de Kolmogorov-Smirnov (KS) debido a que la muestra es superior a 30 sujetos. Los datos de la prueba KS permiten afirmar que no siguen una distribución normal. El resultado de significación asintótica obtenido para cada escala del cuestionario CEMD y para el rendimiento académico es menor al nivel de confianza establecido (< 0.05). Debido a los resultados de normalidad obtenidos se utiliza la prueba de contraste no paramétrica Wilcoxon Signed Ranks Tests. Finalmente se realizan correlaciones bivariadas paramétricas de Pearson para determinar la relación existente entre las escalas asociadas al engagement y el rendimiento académico.

Los expertos evaluaron cada indicador de Excelente (3 puntos), Bueno (2 puntos), Regular (1 punto) o Malo (no se otorgan puntos). Luego se procedió, con las puntuaciones otorgadas a los ítems, a evaluar cada una de las escalas de manera independiente y analizar la suma de ellas para definir la evaluación final, teniendo en cuenta los 29 ítems de la guía de evaluación. Toll y Ril (2013) establecen que para obtener la máxima evaluación (Muy Adecuado) el objeto de aprendizaje debe obtener una evaluación mínima de 78 puntos de un total de 87 posibles. Para ser evaluado como Adecuado debe obtener una puntuación entre 52 y 77 puntos. Si se obtiene una calificación menor a 52 la evaluación sería No adecuado. A continuación se exponen los resultados de cada escala.

Tabla 1

Ítems	Valoración
	Excelente		Bien		Regular		Mal
	F	%	F	%	F	%	F	%
Presentación y explicación del tema a tratar	5	71.42	1	14.29	1	14.29	0	0
Estructuración lógica de los contenidos	5	71.42	2	28.58	0	0	0	0
Exhortación del desarrollo de habilidades y competencias al estudiante	6	85.71	1	14.29	0	0	0	0
Reflexión sobre lo aprendido	7	100	0	0	0	0	0	0
Autoevaluación sobre el contenido mostrado en el e-textbook	6	85.71	1	14.29	0	0	0	0
Calidad de los contenidos	6	85.71	1	14.29	0	0	0	0
Adecuación de los objetivos de aprendizaje	6	85.71	1	14.29	0	0	0	0
Retroalimentación que proporciona el contenido mostrado	7	100	0	0	0	0	0	0
Motivación	7	100	0	0	0	0	0	0
Organización del trabajo individual y/o colaborativo de los estudiantes	4	57.14	2	28.58	1	14.29	0	0
Nivel de presentación de recursos audiovisuales	4	57.14	3	42.86	0	0	0	0
Participación activa durante el aprendizaje mediante actividades interactivas	5	71.42	2	28.58	0	0	0	0
Verificación de las fuentes de información utilizadas	4	57.14	2	28.58	1	14.29	0	0
Reusabilidad	4	57.14	2	28.58	1	14.29	0	0

Vale señalar que cada ítem sigue una distribución normal, los valores de significatividad de la prueba de normalidad Kolmogorov-Smirnov arrojaron valores mayores que 0.05. Por la importancia que tiene la puntuación otorgada en la sumatoria final, los resultados de las escalas de este cuestionario los exponemos a través de la distribución de frecuencias.

En la escala Aspectos Formativos, según los resultados observados en la Tabla 1, el 95.92% de los profesores ubicaron sus respuestas en las alternativas de Excelente y Bueno. En cuanto a la escala Aspectos de diseño y presentación, los ítems fueron evaluados por la mayoría de los profesores con Excelente. No hubo evaluaciones calificadas con Mal en ninguno de los ítems (ver Tabla 2).

Tabla 2

Ítems	Valoración
	Excelente		Bien		Regular		Mal
	F	%	F	%	F	%	F	%
Correspondencia entre los recursos audiovisuales y el contenido mostrado	4	57.14	3	42.86	0	0	0	0
Legibilidad del texto	7	100	0	0	0	0	0	0
Rapidez para cargar recursos audiovisuales	5	71.42	2	28.58	0	0	0	0
Proporción del texto respecto a la distribución de los contenidos dentro del OA	6	85.71	1	14.29	0	0	0	0
El uso de colores para los contenidos	7	100	0	0	0	0	0	0
Diversidad en la representación del contenido mostrado	4	57.14	1	14.29	2	28.58	0	0
Visibilidad de las imágenes	7	100	0	0	0	0	0	0
Usabilidad	6	85.71	1	14.29	0	0	0	0
Evaluación del nivel de organización de las imágenes y texto	4	57.14	3	42.86	0	0	0	0

De igual forma en la escala Aspectos tecnológicos ningún ítem fue evaluado Mal y la mayoría de ellos obtuvieron Excelente (ver Tabla 3).

Al analizar el resultado global de la validación realizada por expertos en Tecnología Educativa y en enseñanza de las matemáticas por cada uno de los ítems de las tres escalas, se puede observar que cinco expertos le otorgan la evaluación final de Muy Adecuado (E1, E2, E3, E5 y E7) al obtener puntuaciones por encima de 78 puntos y dos expertos otorgan la evaluación de Adecuado (E4 y E6) por obtener puntuaciones entre 52 y 77 puntos.

Tabla 3

Ítems	Valoración
	Excelente		Bien		Regular		Mal
	F	%	F	%	F	%	F	%
Accesibilidad	0	0	4	57.14	3	42.86	0	0
Compatibilidad con distintos navegadores	7	100	0	0	0	0	0	0
Calidad de las imágenes y videos	7	100	0	0	0	0	0	0
Integridad de los enlaces de navegación por la estructura didáctica	7	100	0	0	0	0	0	0
Correspondencia con la estructura didáctica	7	100	0	0	0	0	0	0
Calidad de la redacción y ortografía en la exposición del contenido	7	100	0	0	0	0	0	0

En la Tabla 4 se muestran las puntuaciones de los expertos, tanto por dimensiones como por evaluación global.

Tabla 4

Aspecto	Evaluación por Expertos							Promedio
	E1	E2	E3	E4	E5	E6	E7
Formativo	38	39	38	34	34	40	41	37.71
Diseño y presentación	25	26	26	22	23	26	27	25
Tecnológico	17	17	17	16	16	16	17	16.57
Evaluación final	80	82	81	72	73	82	85	79.29

De manera general el libro de texto interactivo tuvo un promedio de evaluación de 79.29 puntos (Muy Adecuado), esta evaluación nos permitió su utilización en el cuasiexperimento que a continuación presentamos.

A partir de las hipótesis planteadas se procedió al análisis de los ítems del cuestionario CEMD, para cada una de las sieteescalas relacionadas con las primeras seis hipótesis: autonomía en el aprendizaje, satisfacción con los materiales de estudio, autoeficacia estudiantil, actividad en el aula, retroalimentación, ambiente de aprendizaje y bienestar estudiantil. En la Tabla 5 se observan los datos obtenidos en el cuasiexperimento. Concretamente 178 estudiantes del curso de Matemática Discreta en la titulación de Ingeniería en Ciencias Informáticas. Se estableció el promedio de cada escala en el grupo control, tanto en el pretest (C-Pre) como en el postest (C-Post). De igual forma se definió dicho promedio en el grupo experimental, tanto en el pretest (E-Pre) como en el postest (E-Post). Se analizó la significación de cada una de las seis escalas considerando el pretest y el postest tanto del grupo experimental como del grupo control, para poder determinar si hay una mejora en el engagement. Los resultados son estadísticamente significativos por lo que se aceptan todas las hipótesis asociadas al engagement, excepto la relacionada con la actividad en el aula.

Tabla 5

Escala		Media	DE	Z	Sig. (2-colas)
Autonomía en el aprendizaje	C-Pre	2.15	1.32	-.581	.348
	C-Post	2.38	1.15
	E-Pre	2.06	1.23	-2.387	.002
	E-Post	3.92	0.59
Satisfacción con los materiales de estudio	C-Pre	1.93	1.07	-.587	.219
	C-Post	1.85	1.06
	E-Pre	1.78	0.78	-3.008	.000
	E-Post	4.57	0.21
Autoeficacia estudiantil	C-Pre	2.31	1.27	-.267	.214
	C-Post	2.39	1.12
	E-Pre	2.08	1.45	-2.749	.007
	E-Post	3.12	0.78
Actividad en el aula	C-Pre	2.18	1.06	-.351	.321
	C-Post	2.29	0.71
	E-Pre	2.52	1.12	-1.231	.001
	E-Post	3.98	1.07
Retroalimentación	C-Pre	2.72	1.23	-.409	.348
	C-Post	2.58	1.65
	E-Pre	2.64	1.52	-2.749	.002
	E-Post	4.15	0.47
Ambiente de aprendizaje	C-Pre	3.02	0.97	-.178	.219
	C-Post	3.17	1.12
	E-Pre	2.99	1.01	2.581	.000
	E-Post	4.15	0.21
Bienestar estudiantil	C-Pre	2.18	1.45	-.697	.214
	C-Post	2.23	1.32
	E-Pre	2.09	1.09	-2.581	.007
	E-Post	3.99	0.48

De igual forma, mediante la aplicación de un examen institucional se evaluó el rendimiento académico de los estudiantes participantes en el cuasiexperimento. Se muestran en la Tabla 6 la puntuación inicial y final en el rendimiento académico tanto del grupo de control como del grupo experimental, vale señalar que la evaluación académica universitaria en Cuba tiene un valor máximo de 5 puntos, que representa la excelencia. Para la verificación de la última hipótesis se analizó la significación en ambos grupos, para determinar si hay una mejora en el rendimiento académico de los estudiantes del grupo experimental; se evidencia que los resultados son estadísticamente significativos para aceptar la hipótesis evaluada.

Tabla 6

Escala		Media	DE	Z	Sig. (2-colas)
Rendimiento académico	C-Pre	2.78	0.54	-.389	.569
	C-Post	2.89	0.68
	E-Pre	2.81	0.51	-3.094	.000
	E-Post	3.97	1.18

De esta forma quedan demostradas las hipótesis de la investigación, constatando que el libro de texto interactivo influyó positivamente en el engagement y el rendimiento académico. Finalmente, mostramos en la Tabla 7 los resultados correlacionales entre las escalas asociadas al engagement y el rendimiento académico.

Tabla 7

Escala	Coef.	Sig. (2 colas)
Autonomía en el aprendizaje	.487	.000
Satisfacción con los materiales de estudio	.612	.000
Autoeficacia estudiantil	.407	.000
Actividad en el aula	.326	.000
Retroalimentación	.509	.000
Ambiente de aprendizaje	.471	.000
Bienestar estudiantil	.571	.000

Todas las escalas correlacionan con el rendimiento académico a un nivel de significación del 99%; destacan con los mayores niveles las escalas “Satisfacción con los materiales de estudio”, “Bienestar estudiantil” y “Retroalimentación”. Resultado que evidencia como en investigaciones previas (Attard y Holmes, 2020; González-Ramírez y García-Hernández, 2020; Hulse et al., 2019) la influencia que tiene la satisfacción con los materiales de estudio interactivos y el bienestar estudiantil en el rendimiento académico.