Revista Electrónica de Investigación Educativa

Vol. 18, Núm. 1, 2016

Evaluación de componente de los cursos en línea desde la perspectiva del estudiante

Katiuzka Flores Guerrero (*) katiuzka@cusur.udg.mx
María Cristina López de la Madrid (*) cristilm4@gmail.com
María Alicia Rodríguez Hernández (*) maria.rodriguez@cusur.udg.mx

(*) Universidad de Guadalajara

(Recibido: 19 de septiembre de 2013; Aceptado para su publicación: 29 de enero de 2015)

Resumen

Existen diversos estudios que plantean modelos de evaluación para cursos en línea desde la perspectiva de los estudiantes. Sin embargo, a pesar de tener relaciones estadísticamente significativas, dichos estudios tienen una debilidad: se da por hecho que los elementos que los componen tienen la misma importancia. A la luz de esta situación se realizó la presente investigación, que tiene por objetivo demostrar que los elementos tienen una diferencia significativa en su importancia e identificar qué elementos son los más importantes para los estudiantes. La técnica de recolección de datos utilizada fue la encuesta, la cual se aplicó a una muestra probabilística de 327 estudiantes. Para contrastar la diferencia entre las variables se efectuó la prueba de Friedman y, post hoc, el test de Nemenyi. Los principales resultados confirman la necesidad de considerar la importancia de los componentes de los cursos en línea para refinar los modelos actualmente existentes.

Palabras clave: Aprendizaje en línea, enseñanza superior, evaluación de la educación.

I. Introducción

En las últimas décadas, las Tecnologías de la Información y la Comunicación (TIC) han tenido un gran impacto en todos los ámbitos de la sociedad. En el área educativa se han observado cambios que van desde la incorporación de computadoras en actividades administrativas hasta la implementación de redes y sistemas digitales para bridar una educación completamente en línea, lo que suele llamarse también, educación virtual. En el nivel superior, las universidades incorporan las TIC con múltiples propósitos, entre los que se encuentran mejorar la calidad de la enseñanza, ofrecer a los alumnos destrezas tecnológicas, ampliar la oferta educativa y responder al imperativo tecnológico (Bates, 2001).

Sin embargo, la incorporación de las TIC en las universidades no es sólo un tema tecnológico, ya que para aprovechar todas las ventajas y posibilidades de estas herramientas, es necesario un cambio en los modelos de enseñanza y aprendizaje que permita que estos procesos se centren más en la forma en que los alumnos adquieren y procesan la información, en la flexibilidad de los tiempos y espacios para enseñar y aprender, en el trabajo colaborativo y, en general, en el desarrollo de las competencias que la sociedad actual demanda de los egresados. Una de las estrategias que las universidades han trabajado para tratar de incorporar a las TIC de una forma dinámica y efectiva es la incorporación de cursos en línea.

Una estrategia de este tipo involucra el desarrollo de una serie de elementos y componentes propios de esta modalidad, para que en su conjunto puedan atender de una forma integral, lo que representa un curso virtual para los estudiantes universitarios. En este sentido, uno de los procesos necesarios para que  estos componentes funcionen de manera adecuada y pertinente es la evaluación, que en el ámbito de los cursos en línea tiene como objetivo valorar los aspectos y procesos que los integran para que, en base a los resultados, se trabajen acciones correctivas y se puedan introducir los mecanismos adecuados para elevar su calidad.

La evaluación de los cursos en línea debe ser un proceso integral que involucre a los diversos actores institucionales que participan tanto en el diseño como en la ejecución. A su vez, y en tanto destinatario final de los cursos en línea, el estudiante es un actor idóneo para aportar su percepción acerca del diseño del curso, así como de los procesos que subyacen durante su ejecución, es decir, durante la impartición.

Existen numerosos estudios que evalúan la educación en línea desde la perspectiva de los estudiantes, ello a partir de constructos tales como calidad, satisfacción, uso y, propiamente, la evaluación, derivados de teorías pedagógicas y psicosociales, así como de estudios de usabilidad y de interacción hombre-máquina (Ozkan y Koseler, 2009; Peltier, Schibrowsky y Drago, 2007; Pituch y Lee, 2006; Siritongthaworn y Krairit, 2006; Sun et al. 2008 y Wang, 2003). Sin embargo, estos modelos, a pesar de tener relaciones estadísticamente significativas, tienen la debilidad de dar por hecho que las variables o los elementos que los componen tienen la misma importancia para los estudiantes, cuando, por ejemplo, para el estudiante A el elemento navegabilidad tiene mayor importancia que para el estudiante B, por lo que este elemento debería tener un mayor aporte en la evaluación o en la satisfacción de A, que en la de B.

Ante esta situación, se realizó esta investigación que, desde la perspectiva del estudiante, recaba la importancia que para él tienen los elementos o componentes de los cursos en línea categorizados en las dimensiones pedagógica, tecnológica, diseño de interfaz, soporte en línea, evaluación y gestión, con el fin de lograr dos objetivos: 1) demostrar que los elementos de las dimensiones tienen una diferencia significativa en su importancia para los estudiantes y 2) identificar los elementos que desde la percepción del estudiante son más importantes en cada una de las dimensiones.

El estudio se realizó en el Centro Universitario del Sur (CUSur) de la Universidad de Guadalajara (U de G), México. Se trata de un campus universitario que cuenta con 125 cursos en línea en 12 de sus 14 carreras presenciales, y tiene un total de 2,600 estudiantes en los cursos de esta modalidad, lo que representa el 42.4% del total de su población estudiantil. Es importante mencionar que en el CUSur, estos cursos son desarrollados por los profesores de las asignaturas y por personal del área de diseño de cursos en línea, y el modelo de evaluación aquí implementado se deriva de los aspectos básicos de la educación en línea y del diseño instruccional de los mismos. La mayoría de los cursos están evaluados y certificados por un comité de personas expertas en diseño instruccional integrado por la coordinación de evaluación y el Instituto de Gestión del Conocimiento y del Aprendizaje en Ambientes Virtuales del Sistema de Universidad Virtual de la U de G, que revisa que la estructura de los cursos cuente,  entre otros criterios, con la congruencia entre objetivos, contenidos y actividades; con los insumos e instrucciones detalladas para la realización de las actividades propuestas; con actividades colaborativas en general o en equipo; con indicadores explícitos para la retroalimentación de los productos; y con una agenda de fechas de entrega y de evaluación (Sistema de Universidad Virtual, 2009). Sin embargo, como ya se mencionó, el estudiante como usuario final es un actor fundamental para aportar su percepción acerca del diseño del curso y de su implementación.

La técnica de recolección de datos utilizada en el estudio fue una encuesta que se aplicó a una muestra estratificada por carrera al 95% de confianza y 5% de margen de error. Los principales resultados muestran que existe una diferencia significativa (p<.001) en los elementos de tres de las seis dimensiones de los cursos en línea, lo que da sustento a la inclusión del constructo, importante en cualquier modelo de evaluación, ya que estadísticamente se comprueba que no todos los elementos tienen el mismo peso en la percepción del estudiante.

II. Fundamentos teóricos. Modelo de evaluación de cursos en línea

Como ya se mencionó, se trabajaron seis dimensiones que se relacionan con el diseño y puesta en marcha de los cursos en línea, las cuales se describen a continuación.

Dimensión pedagógica. Esta dimensión hace referencia a aquellos aspectos que tienen que ver con enseñar o aprender mediante los cursos en línea, e incluye a los objetivos, contenidos, organización, metodología y estrategia didáctica, entre otros (Khan, 2005). Los elementos contemplados en esta dimensión son: 1) los objetivos, 2) los contenidos, 3) las actividades y 4) la estructura del curso.

Los objetivos de aprendizaje expresan las competencias que un estudiante debe ser capaz de demostrar al final del periodo de aprendizaje (Branda, 1994), por lo que una mayor claridad y concisión en éstos ayudará a que los estudiantes alcancen mayores logros de aprendizaje (Ozkan y Koseler, 2009). Los criterios evaluados en este elemento son: a) la claridad y la concisión, y b) la congruencia entre objetivos y contenidos y actividades, lo que atiende a la mención que Khan (2005) hace respecto a que además de la claridad en los objetivos los estudiantes deben tener los medios razonables para alcanzarlos.

El contenido refiere al conjunto de información dentro de un dominio de conocimiento relativo al curso que se desarrolla, mismo que se presenta dentro de una unidad de un curso y depende de los objetivos de aprendizaje. Los contenidos también pueden ayudar al diseñador instruccional a determinar qué actividades o técnicas de aprendizaje son adecuadas para que los estudiantes se los apropien (Khan, 2005). Los criterios a evaluar son los relacionados con la calidad de los contenidos mencionados por Pinto (2004) y respaldados por otros autores, estos criterios son: a) calidad representacional (Ozkan y Koseler, 2009; Pinto, 2004; Pituch y Lee, 2004 y Wang, 2003); b) calidad intrínseca, c) calidad contextual (Ozkan y Koseler, 2009; Peltier, Schibrowsky y Drago, 2007; Pituch y Lee, 2004; Shee y Wang, 2006 y Wang, 2003). Para Ozkan y Koseler (2009) el resultado de que los estudiantes se sientan cómodos con los contenidos del curso se refleja en altas tasas de retención y satisfacción.

Las actividades son las estrategias instruccionales que permiten el desarrollo de las competencias en los estudiantes, y su realización puede ser tanto individual como colaborativa. Los criterios que se evalúan en este elemento son: a) significación (Santoveña, 2005); b) diversidad (Santoveña, 2005; Sun, et al., 2008); c) independencia (Ozkan y Koseler, 2009; Peltier, Schibrowsky y Drago, 2007 y Santoveña, 2005)  y d) interactividad (Ozkan y Koseler, 2009; Peltier, Schibrowsky y Drago, 2007; Pinto, 2004; Pituch y Lee, 2004; Santoveña, 2005; Shee y Wang, 2006; Sun, et al., 2008 y Wang, 2003).

El último elemento de la dimensión pedagógica corresponde a la estructura del curso en línea, el cual requiere que se organicen sus componentes con estrategias de secuenciación para ayudar a los estudiantes a lograr sus metas y objetivos (Khan, 2005). Por su parte, Chan y Pérez (2003) señalan que la organización es la forma en que se articulan los distintos componentes del curso, de ésta depende su coherencia y, por ende, su funcionalidad. La estructura del curso es uno de los elementos que diversos autores incluyen en sus estudios (Ozkan y Koseler, 2009; Peltier, Schibrowsky y Drago, 2007); el único criterio a evaluar en este elemento está compuesto por la organización y la secuencia del curso.

Dimensión tecnológica. Esta dimensión refiere a los elementos tecnológicos que soportan los cursos en línea: por ejemplo, planeación de la infraestructura, hardware y software (Khan, 2005). Algunos estudios indican que la calidad y la confiabilidad en la tecnología y en Internet son factores que influyen significativamente en los estudiantes en línea (Sun, et al., 2008). Los elementos que se incluyeron en la dimensión tecnológica son los dos últimos: 1) hardware y 2) software, puesto que son los elementos tangibles para el estudiante.

El hardware para los cursos en línea incluye computadoras, servidores, redes y otros equipos relacionados (Khan, 2005). En este estudio sólo se indagó acerca del hardware disponible para los estudiantes: a) los equipos de cómputo y b) el servicio de Internet –que es el resultado de los servicios que prestan los servidores y equipos de telecomunicaciones. Resulta imprescindible que la infraestructura de cómputo y telecomunicaciones se encuentre en óptimas condiciones, ya que a través de ésta se brinda a los estudiantes el servicio de cursos en línea. Las instituciones educativas, al contar con equipo de cómputo disponibles para los estudiantes, se aseguran que aquellos que no cuentan con la habilitación tecnológica en el hogar puedan optar por cursos en esta modalidad accediendo a ellos desde la institución.

A su vez, el software es la parte lógica de la computadora, y puede incluir procesadores de palabra, programas de presentación, gráficos, plug-ins, hojas de cálculo, entre otros (Khan, 2005). Los programas son importantes, ya que son el medio de comunicación que se tiene con la parte física de la computadora. El no tener instalados los programas necesarios en un equipo de cómputo puede ocasionar que un estudiante no tenga acceso o visualización correcta de los materiales de su curso en línea. En ambos elementos, software y hardware, el criterio a evaluar por los estudiantes es la funcionalidad y la disponibilidad.

Dimensión de diseño de la interfaz. El diseño de interfaz se refiere a cómo se ve, se siente y responde la interfaz del curso en línea. Esta conlleva la integración de los contenidos, la estructura de curso y su organización junto con la forma de navegación y los controles de interacción que utilizan los estudiantes para trabajar en sus cursos en línea (Khan, 2005). Los elementos críticos que integran esta dimensión, y que fueron mencionadas por Lohr (citado por Khan, 2005), son: diseño del sitio web, diseño del contenido, navegación, usabilidad y accesibilidad. Los elementos considerados en este estudio para esta dimensión son: 1) diseño del sitio Web, 2) diseño del contenido y 3) respuesta de la interfaz. La accesibilidad es un elemento que no se contempla, debido a que el diseño de la interfaz de los cursos en línea del campus donde se realizó la investigación carece de éste.

El diseño del sitio web refiere a la apariencia y funcionalidad de la pantalla. Se tiene que asegurar que todas las páginas web del curso están lógicamente organizadas para que los estudiantes localicen fácilmente la información que buscan, además de que éstas resulten fáciles de navegar, de fácil acceso y puedan ser utilizables por todos los estudiantes (Khan, 2005).

Por su parte, el diseño del contenido se refiere a la presentación de las páginas web, en cuanto a claridad, estilo y legibilidad; el escrito debe ser estándar, con convenciones gramaticales, que incluyan el buen uso de mayúsculas, puntuación, ortografía, etc., así como gráficos de contenido relevante (por ejemplo, iconos, botones, cuadros, imágenes, etc.) y otros componentes multimedia (audio, video, etc.) (Khan, 2005). El formato del contenido es el criterio evaluado en este elemento (Ozkan y Koseler, 2009).

La respuesta de la interfaz está asociada con la respuesta de un curso en línea. Cuando se desarrolla una página web es útil establecerse un objetivo de tiempo de respuesta de la página; el objetivo máximo a alcanzar en la actualidad es un tiempo no mayor de 10 segundos, dado que éste es el límite de atención que tienen las personas mientras esperan (Nielsen, 2000). Asimismo, garantizar la disponibilidad del curso en línea las 24 horas, los 7 días de la semana, resulta esencial para el éxito de estos cursos, ya que se garantiza al estudiante la flexibilidad en tiempo y espacio del aprendizaje, lo que contribuye a que éstos ganen aceptación. El tiempo de respuesta para cargar las páginas web del curso en línea, así como la disponibilidad de la plataforma, son criterios considerados en este rubro por diversos autores (Ozkan y Koseler, 2009; Pituch y Lee, 2004 y Wang, 2003).

Dimensión de evaluación. Esta dimensión considera la evaluación de los aprendizajes de los estudiantes. Desde la perspectiva de los estudiantes en línea, resulta fundamental que la evaluación y la retroalimentación de las evidencias de aprendizaje sean en tiempo y forma, ya que de esta manera el estudiante puede superar las dificultades que se le van presentando a lo largo del proceso de aprendizaje. En el caso de esta modalidad, la evaluación se da a través de los recursos tecnológicos, y está centrada en las actividades que el estudiante realiza y el profesor retroalimenta a partir de sus comentarios escritos acerca del desempeño que observa. Acorde con Delgado y Oliver (2006), son tres los elementos que la evaluación de los aprendizajes debe cumplir, 1) la evaluación continua, 2) la información a los estudiantes y 3) la satisfacción con el sistema de evaluación.

Delgado y Oliver (2006) señalan que la evaluación debe ser continua, ya que por medio de ésta el estudiante tiene mayor garantía de desarrollar las competencias y cumplir con los objetivos de aprendizaje del curso, dado que recibe una retroalimentación oportuna y pertinente, por lo que es capaz de rectificar sus errores, encontrándose en condiciones de reorientar su aprendizaje. Además, la evaluación continua no sólo es significativa para el estudiante, sino también para el docente, ya que le permite intervenir y reorientar el proceso de aprendizaje (López, como se cita en Delgado y Oliver, 2006). Los criterios que se evalúan en este rubro son: a) la retroalimentación oportuna y b) la pertinencia de la evaluación (Ozkan y Koseler, 2009; Sun et al., 2008). La primera atiende a la oportunidad de la evaluación en tiempo, y la segunda a si la retroalimentación orienta el proceso de aprendizaje del estudiante.

El siguiente aspecto a considerar para una correcta evaluación es la información que sobre la misma se proporciona a los estudiantes, la cual debe incluir al menos las competencias a desarrollar, los objetivos de aprendizaje, los criterios de evaluación y la calendarización de las actividades. Una vez que al inicio del periodo escolar se dio a conocer la información de la evaluación, es necesario que el estudiante perciba durante el curso el cumplimiento de la información presentada (Delgado y Oliver, 2006). Así, el criterio a evaluar en este aspecto es el cumplimiento de la información de la evaluación.

Otro elemento importante de la evaluación es la satisfacción del estudiante. Una evaluación debe ser satisfactoria para el estudiante, ya que esto fomenta su interés y motivación a la vez que estimula su participación e implicación en su aprendizaje (Delgado y Oliver, 2006). El criterio contemplado en este elemento es, precisamente, la satisfacción de la evaluación.

Dimensión de gestión. Desde el punto de vista de Khan (2005), la gestión se concibe como el conjunto de servicios que se brindan a los alumnos en la administración de la plataforma de los cursos en línea (actualización de contenidos, claves de acceso para los alumnos). Así, gestionar en este ámbito significa realizar las diligencias necesarias para facilitar el tránsito de los aspectos administrativos del alumno y el docente en aspectos relativos al curso en línea. Los elementos que integran esta dimensión son: 1) el acceso, 2) la actualización y 3) la familiarización de los cursos en línea.

El acceso se refiere a la realización de los trámites administrativos necesarios para que el estudiante quede registrado y desde el inicio del ciclo escolar tenga acceso en tiempo y forma a sus cursos en línea. Por ello, el criterio a evaluar en este elemento es la oportunidad de acceso.

La actualización considera que los cursos en línea estén actualizados de manera oportuna, por ejemplo, los materiales de aprendizaje y las fechas de entrega de las evidencias. El criterio evaluado en este aspecto es la actualización del curso en línea.

La familiarización con el curso en línea se refiere a la introducción de los estudiantes a la plataforma y a la forma en que se encuentran organizados los propios cursos en línea, con el propósito de que el estudiante se familiarice con sus elementos y tenga el menor número de dificultades al momento de trabajar en éstos. El criterio considerado en este elemento es la introducción al curso en línea.

Dimensión de orientación en línea. Lozano y Burgos (2008, p. 423) señalan que en los cursos en línea el profesor tiene como función atender, dar seguimiento y retroalimentar los avances en el proceso de aprendizaje de sus estudiantes. Dar seguimiento no sólo significa monitorear, revisar actividades y tareas, así como participar y dar retroalimentación en las actividades de aprendizaje, también significa lograr empatía con el estudiante, comunicación continua y oportuna, así como respeto, todo esto a partir de mensajes personalizados y cálidos que orienten al estudiante y sean percibidos por él como cercanos, que perciba que el docente se preocupa por su aprendizaje.

La función que tiene el docente de dar seguimiento al estudiante atiende al aspecto social que implica mantener el interés, la motivación y el compromiso de los alumnos con el curso, así como establecer un clima propicio para el aprendizaje, entre otros. Para esta dimensión los elementos contemplados son: 1) la atención oportuna, 2) la actitud del docente y 3) la motivación que éste promueve en el estudiante durante el curso (Ozkan y Koseler, 2009). De este modo, son tres los criterios a evaluar en esta dimensión: atención oportuna, motivación al estudiante y actitud docente.

III. Metodología

Participantes. El universo del estudio se compuso de 2,206 estudiantes de las diferentes carreras  que tuvieron cursos línea en el segundo ciclo escolar del año 2011. La muestra de estudiantes fue estratificada por carrera y aleatoria con un nivel de confianza del 95% y un margen de error del 5%. El tamaño de la muestra fue de 327 estudiantes. La tabla I muestra la distribución de la muestra de los participantes por carrera y la tabla II, los hábitos de uso de la computadora e Internet por día.

Tabla I. Distribución de la muestra de los participantes por carrera

Tabla II. Hábitos de uso de la computadora e Internet por día

Instrumento. Para este estudio se elaboró un instrumento tipo encuesta con una escala estructurada en seis apartados acorde a cada una de las dimensiones: pedagógica, tecnológica, diseño de interfaz, evaluación, gestión y orientación en línea. Los reactivos del instrumento fueron diseñados en una escala Likert de cinco puntos (1=Nada importante, 5=Muy importante).

Para la validación de contenido el instrumento se sometió a un juicio de expertos integrado por el personal del área de cursos en línea. Posteriormente se realizó una prueba piloto a 30 estudiantes en línea para la recuperación de opiniones y errores en la redacción y un análisis estadístico preliminar. En cuanto a la  consistencia interna de la escala de importancia, el Alfa de Cronbach fue de 0.898, el cual indica que el nivel de  fiabilidad es bueno.

Para la validez de constructo se ejecutó un análisis de componentes principales exploratorio con los 28 ítems de la escala, se obtuvieron seis componentes con la rotación varimax. Los seis componentes explican el 56.793% de la varianza, con cargas entre 0.487 y 0.823, para Gorsuch (como se cita en Morales, 2011) una correlación ítem-factor de 0.35 es suficiente para asumir una relación ítem-factor e interpretarlo con claridad. La prueba de esfericidad de Bartlett dio como resultado un Chi cuadrado alto (3390.197) y una significación 0.000, lo que sugiere que la matriz es adecuada para ejecutar el análisis factorial. Asimismo, el Kaiser-Meyer-Olkin (KMO) dio como valor 0.877, el KMO es un indicador de la fuerza de la relación entre las variables, un valor cercano a uno  indican que el análisis factorial es posible porque indica la existencia de intercorrelación entre las variables.     

Análisis estadístico. En el análisis de datos se empleó la estadística descriptiva y la prueba de Friedman que es un test no paramétrico equivalente al ANOVA para medias repetidas (Demsar, 2006). Esta prueba nos permite contrastar si existe una diferencia estadísticamente significativa entre los criterios de cada dimensión. Sin embargo, debido a que la prueba de Friedman sólo detecta de forma global si existe una diferencia significativa, resulta necesario proceder con la prueba post hoc de Nemenyi para las comparaciones de los criterios por pareja de cada dimensión (Demsar, 2006), para conocer cuáles son las parejas que tienen diferencias significativas. El análisis de los datos se realizó los paquetes estadísticos de XLSTAT y SPSS en su versión 18.

III. Resultados

Las figuras 1, 2, 3, 4 y 5 muestran los resultados de la ejecución de la prueba de Friedman aplicada a los criterios de las dimensiones pedagógica, tecnológica, diseño de interfaz, evaluación, gestión y orientación en línea, respectivamente.

Dimensión pedagógica. En la dimensión pedagógica los resultados de la prueba de Friedman presentados en la figura 1 indican que existe una diferencia significativa (p<.001) en la importancia que tienen para los estudiantes al menos un par de criterios de esta dimensión. Los criterios más importantes son la calidad representacional de los contenidos (C.03), la independencia en las actividades (C.08)  y la calidad contextual de los contenidos (C.05).

Figura 1.  Media de rangos de los criterios de la dimensión pedagógica

Para identificar los criterios pares de la dimensión pedagógica entre los que existe diferencia significativa se ejecutó el test de Nemenyi. Los resultados revelaron que entre los tres criterios más importantes de la dimensión C.03, C.08 y C.05 no existe una diferencia significativa (p>.001), pero de éstos respecto al resto de los criterios, sí. En esta dimensión sobresale el criterio C.03 calidad representacional de los contenidos, que es el que tiene un mayor número de diferencias significativas con el resto de los criterios. Este criterio tiene diferencias significativas con: congruencia entre objetivos, claridad de los objetivos, calidad intrínseca de los contenidos, significación e importancia de las actividades, diversidad de las actividades, interactividad con el docente, interactividad entre estudiantes y organización, y secuencia en la estructura del curso.

Cabe señalar que aunque los criterios C.03, C.08 y C.05 se mostraron como los más importantes, la mediana para el resto de los criterios es de 5 (Muy importante), excepto para los criterios de diversidad de las actividades e interactividad entre estudiantes, cuya mediana es de 4 (Importante); lo que nos muestra que también son importantes para la mayoría de los estudiantes.

Dimensión tecnológica. Los resultados de la prueba de Friedman para dimensión tecnológica se muestran en la figura 2. Se puede verificar que aunque existe una pequeña diferencia entre las medias de rango de los criterios de la dimensión, esta diferencia no es significativa  (p>0.001), por lo que se puede concluir que no hay diferencia en la importancia de los criterios de esta dimensión. La mediana en todos los criterios es de 5 y la moda de 5, lo que denota que todos los criterios son muy importantes para la mayoría de los estudiantes.

Figura 2.  Media de rangos de los criterios de la dimensión tecnológica

Dimensión de diseño de la interfaz. Para esta dimensión los resultados de la prueba de  Friedman presentados en la figura 3 muestran que, efectivamente, existe una diferencia significativa en la importancia que los criterios que esta dimensión tienen para los estudiantes (p<.001). En este caso, el criterio de mayor importancia en esta dimensión es la disponibilidad de la plataforma (C.15).

Figura 3.  Media de rangos de los criterios de la dimensión de diseño de la interfaz

Los resultados del test de Nemenyi revelan que el criterio que sobresale en importancia en esta dimensión C.15, presenta diferencias significativas con los criterios de navegación y formato del contenido. Los mismos resultados muestran que los criterios C.16 tiempo de respuesta y C.17 navegación tienen una diferencia significativa con el criterio C.18 formato del contenido. La mediana y la moda de los criterios corroboran los anteriores resultados, para todos los criterios estas medidas estadísticas fueron de 5, con excepción del criterio C.18 en donde la mediana y la moda fueron de 4.

Dimensión de evaluación. Para esta dimensión los resultados presentados en la figura 4 indican que no existe diferencia significativa (p> 0.001) en la importancia que tienen para los estudiantes los criterios de pertinencia de la retroalimentación (C.19), oportunidad (C.20), cumplimiento de la información de la evaluación (C.21) y satisfacción de la evaluación (C.22). La mediana y la moda de todos los criterios fueron de 5, lo que indica que también todos estos criterios son importantes para la mayoría de estudiantes.

Figura 4. Media de rangos de los criterios de la dimensión de evaluación

Dimensión de gestión. Los resultados de esta dimensión, presentados en la figura 5, también indican que no hay diferencia significativa (p>0.001) en la importancia que los criterios tienen para los estudiantes. Asimismo, todos los criterios tuvieron una mediana y una moda de 5.

Figura 5. Media de rangos de los criterios de la dimensión de gestión

Dimensión de orientación en línea. Por último,  los datos arrojados por la prueba estadística de Friedman para la dimensión de orientación en línea muestran que también en esta dimensión existe una diferencia significativa (p<0.001) en la forma en que los estudiantes ponderan sus criterios.

Figura 6. Media de rangos de los criterios de la dimensión de orientación en línea

Los resultados del test de Nemenyi aplicado a la dimensión de orientación en línea revelan que  la diferencia que existe entre el criterio de  atención oportuna al estudiante (C.26) y los criterios de motivación (C.27) y actitud docente (C.28) es estadísticamente significativa. La mediana y la moda  de los criterios de esta dimensión fueron de 5. 

III. Discusión

La diferencia significativa mostrada en los criterios de tres de las seis dimensiones del modelo de evaluación de cursos en línea, da sustento a la inclusión del constructo de importancia en los modelos de evaluación de esta modalidad, ya que se comprueba estadísticamente que en la percepción del estudiante no todos los criterios tienen el mismo peso. Las dimensiones que tienen una diferencia significativa en la importancia de sus criterios para los estudiantes son la pedagógica, el diseño de interfaz y la orientación en línea, las cuales se discuten a continuación.

Dimensión pedagógica. En esta dimensión los resultados indicaron que el criterio significativamente más importante corresponde a la calidad representacional de los contenidos. Para los estudiantes el contar con material didáctico o lecturas cuyo contenido esté en un formato adecuado, sea claro y pertinente, es el aspecto más valorado, por lo que se sugiere que tanto el docente como el área responsable de los cursos en línea de la institución educativa presten especial cuidado en la selección y desarrollo del material propuesto al alumno. Acorde con McVay (2002), es durante los procesos de interacción que se da el aprendizaje; para ella y otros autores como Duart y Sangrà (2000) y Visser (1998), uno de los niveles en los que se lleva a cabo la interacción corresponde al del alumno-contenido. Para Moore y Kearsley (1996) el alumno tiene que construir su conocimiento a través de procesos de acomodación de la información en sus estructuras cognitivas, y es justamente en la interacción con el contenido que surgen estos cambios en el alumno. Barberá (2004) señala que la interacción entre estos dos elementos puede ser un signo negativo, tanto si es pobre en la fortaleza de la interacción –es decir, si no existe la suficiente interacción entre ellos– como si es de carácter impulsivo –es decir, si potencia al alumno a que haga demasiados clic sin pensar en los enlaces. Lo anterior lleva al docente a diseñar y seleccionar tanto materiales como actividades de aprendizaje que favorezcan este tipo de interacción; en este sentido, el material, según Guardia (2001), debe tener un tratamiento que ayude al aprendizaje, y éste puede ser multimedia y multiformato.  

El segundo criterio más ponderado se refiere a que las actividades deben ser una guía clara para la adquisición de conocimientos y habilidades para los estudiantes, quienes podrán realizarlas con independencia del docente. Peltier, Schibrowsky y Drago (2007) mencionan que los cursos en línea son más efectivos cuando se tiene claridad en las guías e instrucciones de las actividades que son provistas a los estudiantes. Esta claridad permite que el estudiante perciba cierto grado de control sobre su curso, ya que le permite avanzar al ritmo que él desee, sin necesidad de estar recurriendo al docente para que resuelva sus dudas.  La ponderación hacia este criterio indica que los estudiantes valoran el trabajo académico independiente, lo cual contribuye con la flexibilidad, tan característica de estos cursos.

El tercer criterio más importante en esta dimensión también se encuentra relacionado con los contenidos del curso, y se refiere a la calidad contextual, lo que significa que para los estudiantes es importante que los contenidos que se les proporcionan en los cursos en línea sean útiles, relevantes y de actualidad. Estudios como el de Hosapple y Lee-Post (2006) encontraron que entre los aspectos más valorados por los estudiantes estaba el entendimiento de los contenidos en línea en términos de actualidad y utilidad. Una vez más, se enfatiza el cuidado que el docente y el área de diseño de cursos en línea deben tener al diseñar y seleccionar el material de estudio.

Dimensión de diseño de interfaz. La disponibilidad de la plataforma las 24 horas y los 7 días de la semana es el criterio estadísticamente más importante de esta dimensión. Para los estudiantes resulta primordial, debido al impacto que conlleva no tener acceso a los cursos en línea. Algunas de estas consecuencias pueden ser la incertidumbre y el descontrol por no poder consultar las actividades a realizar, o bien por no poder entregarlas. Acorde con autores como Sun, Tsai, Finger, Chen y Yeh (2008), estas dificultades desmotivan a los estudiantes a tomar cursos en línea.

El segundo criterio más importante fue el de tiempo de respuesta, como se discutió anteriormente, el tiempo de respuesta puede obstaculizar el aprendizaje, ya que un retardo mayor a 10 segundos hace que las personas pierdan la concentración mientras esperan. Éste es un criterio en el que se puede trabajar en el momento del diseño del curso; asimismo, es responsabilidad del personal del área de diseño de cursos en línea asesorar al docente en la elaboración y selección de material para que éste se descargue rápido de la red.

Dimensión de orientación en línea. La atención oportuna del docente a las solicitudes del estudiante tiene mayor importancia para los estudiantes que la motivación del docente al estudiante y que la actitud del docente. Este criterio cobra mayor importancia en la educación virtual a distancia, ya que esto permite que los estudiantes no se sientan solos y sí, en cambio, acompañados por el docente, al ser atendidos oportunamente. Los estudiantes, cuando los docentes no responden a tiempo, se sienten aislados e inseguros de que sus esfuerzos vayan en la dirección correcta (McCroskey, Kovach, Ding, Miertschin y Lund O’Neil, 2011).  Estudios como el de Ozkan y Koseler (2009) soportan estos resultados, dichos autores encontraron que los estudiantes de esta modalidad se encuentran positivamente afectados cuando el instructor les responde rápidamente. Algunos comentarios de los grupos focales de dicho estudio refuerzan la importancia de la atención oportuna, un estudiante mencionó al respecto:

(…) whenever I send an e-mail to instructor or write something on forum, I more enthusiastically open my U-Link session because I wonder the answer, but if the instructor does not reply to my question, my willingness to login U-link sessions decrease dramatically (como se cita en Ozkan y Koseler, 2009, p.1291).

Indudablemente la forma en que un docente implementa un curso en línea tiene un efecto positivo o negativo en la experiencia  de los estudiantes y, por tanto, en la evaluación que ellos hacen de estos cursos.

III. Conclusiones

Este estudio ponderó la importancia que tienen los diferentes elementos de los cursos en línea para los estudiantes, agrupándolos en un modelo con seis dimensiones: pedagógica, tecnológica, diseño de la interfaz, evaluación, gestión y orientación en línea. Los resultados de la prueba de Friedman aplicada a los datos de una encuesta aplicada a 327 estudiantes mostró que efectivamente existe una diferencia significativa en la forma que los estudiantes valoran estos elementos. La prueba post hoc de Nemenyi reveló que los elementos más destacados son la calidad representacional y contextual de los contenidos, la independencia de las actividades, la disponibilidad de la plataforma y la atención oportuna que el docente brinda al alumno.

Tabla III. Dimensiones con diferencias significativas y criterios de mayor importancia para los estudiantes

A la luz de estos hallazgos, es preciso que los actores involucrados en el diseño de los cursos en línea  tomen en cuenta las siguientes consideraciones en las fases: 1) diseño, 2) implementación  y 3) evaluación de los cursos. En la primera fase si bien es importante cuidar el diseño de todos los aspectos, es necesario prestar atención especial a la elaboración y selección de los contenidos, ya que a los estudiantes les interesa en primer lugar que sus materiales sean atractivos y claros, en segundo lugar que las actividades les permitan cierto grado de flexibilidad e independencia en su realización, y en tercer lugar que los contenidos también posean características de relevancia y actualidad.

En la fase de implementación es necesario contar con docentes comprometidos con la modalidad, que tengan un buen nivel en el uso de la tecnología y disponibilidad de tiempo, así como actitudes positivas y proactivas hacia las TIC, para que busquen nuevas formas de comunicarse con los estudiantes de modo efectivo, ya que entienden la importancia que tiene para los alumnos estar en contacto con ellos. Asimismo, la institución educativa que oferta cursos en esta modalidad debe tener una infraestructura de cómputo y telecomunicaciones en óptimas condiciones, con la capacidad para prestar un servicio sin interrupciones y sin que llegue a lentificarse.

En última fase se recomienda elaborar un instrumento de evaluación con una escala que incorpore la importancia que los elementos tienen para los estudiantes, esto permitirá, además de obtener una evaluación centrada en el estudiante, información sobre aspectos que los alumnos consideran importantes, que muchas veces se dejan de lado, pero que pueden ser los detonantes para que esta modalidad tenga éxito o fracase en su intento de elevar la calidad educativa a través de las TIC.

Para futuros trabajos se sugiere abordar este objeto de investigación desde una metodología mixta, donde se recupere con mayor profundidad la experiencia de estudiantes con los cursos en línea. Esto permitirá conocer con mayor certeza no sólo los aspectos más importantes, sino también las características que más valoran de estos aspectos y el porqué.

El modelo aquí propuesto no es definitivo, ya que sólo contempla aspectos que se consideran básicos de una educación en línea y que además se apegan al diseño instruccional de los cursos en línea del Centro Universitario del Sur; futuros estudios pueden adecuar este modelo para implementarlo en otras instituciones y actualizarlo con los avances más recientes en el campo del aprendizaje en línea.

Referencias

Barberá, E. (2004). La educación en la red: actividades virtuales de enseñanza y aprendizaje. Barcelona: Paidós.

Bates, T. (2001). Cómo gestionar el cambio tecnológico. Barcelona: Gedisa.

Chan, M. y Pérez, F. (2003). Propuestas metodológicas para la evaluación de la educación en línea. México: Universidad de Guadalajara.

Delgado, A. y Oliver, R. (2006). La evaluación continua en un nuevo escenario docente. Revista de Universidad y Sociedad del Conocimiento, 3(1), 1-13. Recuperado de   http://www.uoc.edu/rusc/3/1/dt/esp/delgado_oliver.pdf

Duart, J. y Sangrà, A. (2000). Aprender en la virtualidad. Barcelona: Gedisa.

Guardia, L. (2001). Guía del formador on-line de la UOC. Manuscrito no publicado, Universidad Oberta de Catalunya, España.

Khan, B. (2005). Managing e-learning strategies. EUAInfosci

Lozano, A. y Burgos, J. (2007). Tecnología educativa en un modelo de educación a distancia centrado en la persona. México: Limusa.

McCroskey, S., Kovach, J. V., Ding, X., Miertschin, S. y Lund O’Neil, S. (2011). Quality assurance in e-learning. En S. B. Eom y J. B. Arbaugh (Eds.), Student satisfaction and learning outcomes in e-learning: an introduction to empirical research (pp. 231-248). EUA: IGI Global.

Moore, M. y Keaesley, G. (1996). Teaching and tutoring. Distance education: a systems view. Belmont, CA: Wadsworth Publishing.

Morales, P. (2011). El análisis factorial en la construcción e interpretación de test, escalas y cuestionarios. Manuscrito no publicado, Universidad Pontificia Cillas, Madrid, España. Recuperado de http://www.upcomillas.es/personal/peter/investigacion/AnalisisFactorial.pdf

Nielsen, J. (2000). Usabilidad. Madrid: Prentice Hall.

Ozkan, S. y Koseler, R. (2009). Multidimensional student’s evaluation of e-learning systems in the higher education context: an empirical investigation. Computers & Education, 53, 1285-1296. doi: 10.1016/j.compeu.2009.06.011

Peltier, J. W., Schibrowsky, J. A. y Drago, W. (2007). The interdependence of the factors influencing the perceived quality of the online learning experience: a causal model. Journal of Marketing Education, 29, 140-153. doi: 10.1177/0273475307302016

Pinto, M. (2004). Calidad y evaluación de los contenidos electrónicos. Recuperado de http://www.mariapinto.es/e-coms/eva_con_elec.htm

Pituch, K. A. y Lee, Y. (2004). The influence of system characteristics on e-learning use. Computers & Education, 47, 222-244. doi: 10.1016/j.compedu.2004.10.007

Santoveña, S. (2005). Criterios de calidad para la evaluación de los cursos virtuales. Eti@ net, 2(4), 18-36. Recuperado de http://tecnologiaedu.us.es/cuestionario/bibliovir/calidad.pdf

Shee, D. Y. y Wang, Y. (2006). Multicriteria evaluation of the web-based e-learning system: a methodology based on leaner satisfaction and its applications. Computers & Education, 50, 849-905. doi: 10.1016/j.compedu.2006.09.005

Sun, P. C., Tsai, R. J., Finger, G., Chen, Y. Y. y Yeh, D. (2008). What drives a successful e-learning? An empirical investigation of critical factors influencing learner satisfaction. Computers & Education, 50, 1183-1202. doi: 10.1016/j.compedu.2006.11.007

Visser, L. (1998). Desarrollo de la comunicación motivacional en el apoyo a la educación a distancia. Universidad de Guadalajara.

Wang, Y. (2003). Assessment of learner satisfaction with asynchronous electronic learning systems. Information & Management, 41, 75-86. doi: 10.1016/S0378-7206(03)00028-4