Tabares Morales, Duque Méndez, and Ovalle Carranza: Modelo por capas para evaluación de la calidad de Objetos de Aprendizaje en repositorios



I. Introducción

El e-learning se ha posicionado como uno de los principales esquemas de educación; ha cambiado los procesos tradicionales de enseñanza y aprendizaje, y proporcionado numerosas ventajas de carácter pedagógico y de acceso. Este esquema genera nuevas necesidades, tales como el desarrollo y mejora de materiales educativos, de donde surgen los Objetos de Aprendizaje (OAs) definidos como entidades digitales que pueden ser utilizadas es procesos de aprendizaje, generalmente entregados a través de Internet y diseñados con el fin de que sean utilizados y reutilizados en múltiples contextos educativos (Learning Technology Standards Committe, 2002; Wiley, 2001). Para facilitar su reutilización, los OAs deben ser unidades independientes con un objetivo de aprendizaje claro y un contenido autónomo que no dependa de otros objetos (Chiappe, 2006; Morales, García, Barrón, Berlanga y López, 2005).

Una característica distintiva de los OAs es que contienen metadatos que los describen, facilitando su búsqueda, evaluación, recuperación y uso, cubriendo necesidades de los alumnos para los que fueron diseñados y permitiendo su reutilización como uno de sus mayores retos (Duque, 2009; Morales et al., 2005; Vicari et al., 2010). Con el fin de facilitar la interoperabilidad entre diferentes sistemas que contengan OAs, se han propuesto estándares que definen un conjunto de campos que permiten el intercambio de información sobre los recursos que se almacenan Ochoa, 2008). Algunos de los estándares más conocidos son IEEE-LOM, Dublin Core y OBAA.

Miles de OAs son almacenados y administrados a través de Repositorios de OAs (ROAs), bibliotecas especializadas que se espera ofrezcan facilidades para la creación, mantenimiento y búsqueda de estos recursos (Rosanigo et al., 2007; Sicilia, García, Salvador y Soto, 2005); además, deben seguir estándares con el fin de incrementar su efectividad e interoperabilidad. Se cuenta también con Federaciones de Repositorios que permiten un punto único de acceso a los recursos almacenados en diferentes repositorios y se están convirtiendo en un espacio donde convergen muchas investigaciones que buscan entregar a profesores y estudiantes los mejores contenidos orientados a sus requerimientos (Academic adl, 2013; van de Sompel y Chute, 2008).

Es común que al realizar búsquedas los usuarios de un OAs encuentren largas listas de resultados, que deben revisar uno por uno para identificar los acordes a sus necesidades. Este proceso es largo y dispendioso, y en ocasiones se encuentran OAs con problemas o incluso inaccesibles. Ello puede afectar actividades en el proceso educativo, generar desinterés y que en el futuro no se vuelvan a consultar estos recursos (Ochoa, 2008; Tabares, Duque y Moreno, 2011). Esto muestra que no es suficiente con que los materiales educativos estén disponibles, se requiere que cumplan con un alto nivel de calidad, de modo que permitan mayores posibilidades de lograr los objetivos de aprendizaje esperados (McGreal, 2008).

En el dominio de los OAs la calidad es entendida como un conjunto de criterios que permite establecer su nivel de pertinencia tanto en términos pedagógicos como técnicos (Morales, Gil y García, 2007; Ruiz, Muñoz y Álvarez, 2007). Hay diversas estrategias para evaluar la calidad del OA, algunas centradas en el producto final y otras en el proceso de construcción (Vidal, Segura y Prieto, 2008). Sin embargo, a pesar de su reconocida importancia, no se ha llegado a un consenso de todos los elementos que intervienen, haciendo necesario que se generen iniciativas que permitan evaluar los oa de forma integral y dinámica, involucrando a los usuarios para garantizar mayor confianza en el ROA (Kay, Knaack y Vaidehi, 2008).

La revisión de literatura evidencia la existencia de algunas propuestas para la evaluación de los OAs siguiendo diferentes enfoques, pero la mayoría de ellos considera sólo algunas características, lo que no permite lograr una evaluación integral y genera la posibilidad de una inadecuada selección y uso de los recursos (Sanz, 2010).

En este artículo se propone un modelo para evaluación de la calidad de OAs, definiendo un conjunto de características que debería cumplir el objeto -asociadas a diferentes visiones y actores que intervienen en el proceso de análisis y evaluación. También se determina la información requerida de acuerdo a cada criterio a evaluar y la forma de realizar los respectivos cálculos. El modelo presenta un enfoque por capas, que permite su crecimiento y fácil modificación, a la vez que es posible el ajuste a los intereses y necesidades específicos de los administradores del ROA.

Para la validación de la propuesta se han evaluados OAs de la Federación de Repositorios de Objetos de Aprendizaje (FROAC), demostrando la existencia de problemas en la calidad de estos recursos y la importancia de la aplicación del modelo de evaluación no sólo como apoyo al proceso de entrega de mejores objetos, sino como herramienta de gestión de los repositorios.

II. Trabajos relacionados

La evaluación de OAs es un importante aporte para la resolución de problemas generados con el crecimiento de los ROAs y que busca asegurar la efectividad en el uso de estos recursos. A continuación se presentan algunas propuestas desarrolladas para establecer la calidad de OAs desde diferentes enfoques:

  • Massa (2012) plantea una metodología para evaluación de OAs desde el punto de vista pedagógico y técnico, inspirada en los métodos para valoración de la usabilidad, incluye elementos que permiten un mayor aseguramiento de la calidad de los recursos. Sin embargo, no tiene en cuenta los metadatos, de los que depende en gran medida la posibilidad de encontrar los recursos en los repositorios.

  • En Cechinel, Sánchez-Alonso y Sicilia (2012) se presenta una propuesta para evaluación automática de OAs, tomando como caso de estudio objetos evaluados por expertos en el repositorio Merlot. Utiliza posibles combinaciones entre las categorías y los tipos de materiales, definiendo modelos a través de Análisis Discriminante Lineal (LDA) y algoritmos de minería de datos para la clasificación, resaltando como interesante su utilización en la evaluación de OAs.

  • Sanz (2010) propone un modelo que permite estimar, a través de los metadatos, la capacidad de reutilización de los OAs. Utiliza un conjunto de métricas que se calculan de forma semiautomática y están basadas en la reusabilidad de software, por lo que podrían aplicarse a una mayor cantidad de OAs, pero su limitante es que sólo se basa en los metadatos y no toma en cuenta otros factores importantes.

  • Yen, Shih, Member, Chao y Jin (2010) proponen el cálculo de métricas usando el impacto de citaciones, consideradas como las descargas realizadas de un recurso. Permite la clasificación de todos los OAs para mejorar la visualización de resultados, pero no son evaluados otros aspectos que intervienen en la calidad de los OAs.

  • Ochoa (2008) propone un conjunto de métricas para determinar la calidad de los metadatos, basadas en parámetros para revisiones humanas que pueden ser calculadas automáticamente, lo que es una de las principales fortalezas, ya que se garantiza su aplicación a grandes cantidades de OAs; sin embargo, la percepción de usuarios y expertos no es tenida en cuenta de forma directa.

  • Kay et al. (2008) proponen el modelo de evaluación Learning Object Evaluation Metric (LOEM) enfocado principalmente a la revisión por parte de usuarios, y en Nesbit, Belfer y Leacock (2003) se presenta un instrumento denominado Learning Object Review Instrument (LORI) para la valoración de OAs por parte de expertos, de forma individual o colaborativa. Ambas propuestas requieren de un trabajo manual por parte de usuarios y expertos, pero evalúan los OAs en varias dimensiones.

Existen varios enfoques para evaluación de OAs, su clasificación se muestra en la tabla I. Resalta, según la revisión realizada, que los más empleados son los orientados a la Evaluación por Expertos, Evaluación por Usuarios y Evaluación de Metadatos; sin embargo, no se identificó su integración en un solo trabajo, lo que es una limitación para obtener una percepción desde diferentes visiones, además no se cuenta con modelos de evaluación generalizados que permitan identificar el nivel de calidad de los OAs integrando diferentes dimensiones. A partir de las conclusiones de esta revisión se propone en la sección siguiente un modelo integrado, que aprovecha los espacios encontrados y concreta en métricas la posibilidad de calificar la calidad de OAs en repositorios.

Tabla I

Trabajos revisados y tipo de evaluación de OAs que realizan

Trabajos Revisados Evaluación
de Expertos
Evaluación
de Usuarios
Evaluación
Metadatos
Ranking
según
el Uso
Métricas
Ing. de
Software
Massa (2012) X X
Cechinel, Sánchez-Alonso y Sicilia (2012) X
Sanz (2010) X
Yen, Shih, Member, Chao y Jin (2010) X
Ochoa (2008) X X
Kay et al. (2008) X
Nesbit, Belfer y Leacock (2003) X

III. Modelo propuesto

El modelo de evaluación propuesto está orientado hacia el producto y es entendido como un conjunto de características que se analizan del OA y pueden estar asociadas a diferentes visiones y desde diferentes actores o usuarios, estableciendo cómo realizar el proceso, qué tipo de información se requiere y la forma en que se realizarán los cálculos. Tiene un enfoque de capas, las cuales son definidas de acuerdo a los actores o fuentes de información que intervienen, y pueden agregarse o eliminarse de acuerdo a las posibilidades e intereses de quien realice el proceso de evaluación. Las dimensiones son otro componente, el cual define las características generales que pueden ser evaluadas para cada OA, son transversales a las capas y están compuestas por una serie de métricas que permiten establecer un valor cuantitativo para cada variable.

En la figura 1 se muestra el Modelo Genérico, el cual no está sujeto a un estándar de metadatos o tipo de repositorio, ni predefine ponderaciones. Su enfoque por capas hace que pueda seguir creciendo o modificar algunos cálculos sin afectar los demás.

Figura 1

Modelo Genérico propuesto

1607-4041-redie-19-03-00033-gf1.png

La Administración del ROA donde se realizará la evaluación puede establecer las capas, dimensiones y métricas que se incluirán. Dependiendo de esta selección se indican las ponderaciones y pesos correspondientes, además de la mecánica utilizada para suministrar la información para realizar los cálculos y su estructura. Un elemento importante es la integración y visualización de los resultados, que deben estar organizados para que sean un insumo fundamental para la toma de decisiones administrativas en el marco de los repositorios y federaciones de OAs. Como se mencionó, el modelo genérico puede adaptarse de acuerdo a intereses particulares, pero a partir de la revisión hecha y de la experiencia en trabajos previos, en la figura 2 se muestra un modelo concreto en el que se proponen tres capas en las que se evalúan variables asociadas a las siguientes seis dimensiones:

  • La dimensión Educativa evalúa aspectos relacionados con el proceso de enseñanza y aprendizaje, analizando si el material es de interés para los posibles estudiantes, si tiene clara orientación educativa y si pedagógicamente está bien construido.

  • Se propone una dimensión de Contenido, en la que se analizan aspectos temáticos y disciplinares con el fin de identificar la claridad y rigurosidad de los contenidos.

  • Con la dimensión Estética se evalúan aspectos relacionados con la parte visual del contenido de los OAs, con el fin de establecer si la forma en que son mostrados los diferentes elementos es adecuada y no interfiere en el proceso de aprendizaje.

  • Aspectos como la disponibilidad y acceso a los contenidos, la forma en que los usuarios pueden interactuar con los recursos, y la posibilidad de que los OAs puedan ser utilizados en diferentes contextos son evaluados con la dimensión Funcional.

  • Estos recursos educativos requieren de datos que los describan correctamente, lo cual es evaluado en la dimensión de Metadatos. Se analiza qué tan completos y bien estructurados están los metadatos, ya que de esto depende en gran medida la calidad y posibilidad de que los OAs puedan ser recuperados en repositorios.

  • En la dimensión Contextual se analizan los OAs respecto a los demás objetos en el repositorio de acuerdo a diferentes métricas, identificando los que tienen mejores características frente a este contexto.

Figura 2

Modelo de Concreto propuesto

1607-4041-redie-19-03-00033-gf2.png

A continuación se presentan las capas con las respectivas métricas que al final arrojarán un valor entre 0 y 1 para cada OA evaluado, que corresponderá al porcentaje de cumplimiento de ese criterio. Para todas las métricas debe hacerse un proceso de parametrización inicial y deberían calcularse con cierta periodicidad, ya que los ROAs son dinámicos y se espera tener siempre resultados actualizados. En cada métrica se indica la dimensión a la que pertenece.

3.1 Capa de Gestión

Trabaja con información suministrada por el Administrador del ROA, que se encarga de la gestión de los OAs, de la definición de políticas asociadas y hace un seguimiento al uso que se les da. Las métricas de esta capa están orientadas al cálculo automático.

Métrica Reusabilidad (Dimensión Funcional): Este criterio es entendido como la posibilidad que tiene el OA de ser utilizado de forma efectiva en diferentes entornos, por lo que debería ser autocontenido, poder combinarse con otros OAs y tener un nivel de granularidad bajo (Sanz, 2010). Se definen reglas que permiten evaluar los valores que tienen algunos metadatos y su nivel de influencia en la reusabilidad. A continuación se presenta una corta descripción de cada uno de ellos y un ejemplo específico para el estándar IEEE-LOM. Se resalta que es el administrador del ROA quien debe definir cuáles metadatos tener en cuenta, los posibles valores y el peso para cada valor.

  • Densidad Semántica: Indica qué tan conciso es el OA y puede estimarse de acuerdo al tamaño, ámbito y duración, independiente de la dificultad del recurso. (If Educational.SemanticDensity is very_low=1, low=0.8, medium=0.6, high=0.4, very_high=0.2).

  • Nivel de Agregación o Granularidad: Indica el tamaño del OA y la forma en que los elementos se unen. Así, los OAs con menor granularidad son los que tienen mayor posibilidad de reutilización. (If General.AggregationLevel is 1=1, 2=0.75, 3=0.5, 4=0.25).

  • Estructura: Establece cómo se organizan los elementos que contiene el OA, indicando el tipo de relación, si tienen alguna jerarquía o si tienen igual importancia. (If General.Structure is atomic=1, collection=0.25, networked= 0.25, hierarchical=0.25, linear=0.25).

  • Contexto: Se indican los posibles contextos educativos en los que puede ser utilizado, ya que entre más contextos, mayor es la posibilidad de su reutilización. (If Educational.Contexto is ‘3 o más instancias’=1, ‘2 instancias’= 0.6, ‘1 instancia’=0.2).

Se evalúa cada regla determinando si el metadato tiene alguno de los valores permitidos y se asigna el peso correspondiente. En caso de que no presente valores válidos se establece que la regla no aplica y no se tiene en cuenta para el cálculo final. Si ninguna regla se pudo evaluar (R=0), entonces se define que no es posible calcular la métrica. La ecuación (1) muestra el cálculo respectivo, donde Mi es el peso correspondiente dentro de la regla evaluada, y R es el número de reglas analizadas.

(1)
M_Reusabilidad=i=1nMi/R

Métrica Disponibilidad del OA (Dimensión Funcional): Se refiere a la posibilidad que tiene un OA de ser usado en cualquier momento. Esta métrica se centra en el metadato donde se indica la ubicación del objeto. Por ejemplo, para el estándar IEEE-LOM es el metadato “Localización” que hace parte de la categoría “Técnica”. Para su cálculo, se asigna un valor de 1 a los enlaces asociados activos. Debido a que el OA podría tener varias instancias de este metadato, se divide por la cantidad de enlaces encontrados. Si no se tiene el metadato de localización (L=0), la métrica toma valor de 0. La ecuación (2) presenta su cálculo, donde Mi es el valor binario que indica si el metadato i está disponible y L es el número de campos de localización encontrados.

(2)
M_Disponibilidad=i=1nMi/L

Métrica Completitud (Dimensión Metadatos): Esta variable permite determinar si los metadatos describen un OA tanto como sea posible, lo cual es directamente proporcional a la posibilidad de que sea encontrado en un roa (Park y Tosaka, 2010). Los estándares definen cuáles son los metadatos a ser llenados y su obligatoriedad, pero es necesario verificar si efectivamente se cumplen esas condiciones, revisando la existencia de cada uno y si contiene valor válido (Menéndez, Castellanos, Vidal y Segura, 2012). Dado que no todos los metadatos tienen la misma importancia, en la parametrización inicial se indican los metadatos a analizar y su respectivo peso, que debe ser un valor entre 0 y 1, y la suma final de estos pesos debe ser igual a 1. Para el cálculo de esta métrica se revisa metadato por metadato, dando un valor de 1 si tiene algún valor o instancia. Estos valores se multiplican por el peso correspondiente y el resultado final corresponde a su sumatoria. Esto es presentado en la ecuación (3), donde ki es el peso del metadato i, y Mi es el valor binario que indica si el metadato i tiene algún valor o instancia.

(3)
M_Completitud=i=1nki*Mi

Con el fin de que se tenga una guía para establecer los metadatos y pesos a ser utilizados, se hizo un análisis en 12 repositorios o federaciones para ver cuáles metadatos son usados en las búsquedas avanzadas y cuáles exhibidos a los usuarios en los resultados obtenidos, con lo que se calcularon los pesos presentados en la tabla II.

Tabla II

Metadatos más usados y sus respectivos pesos

Metadato i Pesos ki Metadato i Pesos ki
Título 0.15 Tipo de Interactividad 0.04
vPalabras Clave 0.14 Rango de Edad Típico 0.03
Descripción 0.12 Nivel de Agregación 0.03
Autor 0.11 Localización 0.03
Tipo de Recurso Educativo 0.09 Costo 0.03
Formato 0.08 Estado 0.02
Contexto 0.06 Copyright y otras restricciones 0.02
Copyright y otras restricciones 0.02 Total 1

Métrica Consistencia (Dimensión Metadatos): Permite determinar el nivel de cumplimiento que tienen los metadatos respecto al estándar, asegurando que todos los recursos estén descritos bajo el mismo dominio (Ochoa, 2008; Park y Tosaka, 2010), a partir de la especificación de reglas para los campos con lista de valores posibles. Se revisa su cumplimiento asignando un 1 y la sumatoria de estos valores es dividida por la cantidad de reglas, que en caso de no poderse evaluar ninguna (R=0) toma un valor de “No Aplica”. En la ecuación (4) se formaliza este cálculo donde: Mi es el valor binario que indica si el metadato i cumple con la regla, y R es el número de reglas analizadas.

(4)
M_Consistencia=i=1nMi/R

Métrica Coherencia (Dimensión Metadatos): Un OA es coherente si todos sus metadatos describen el mismo recurso (Ochoa, 2008). Tanto desde el punto de vista conceptual como de la definición de los estándares, existen metadatos que tienen una alta correlación y este hecho determina su coherencia. El cálculo se realiza en dos partes. En primer lugar se contemplan los metadatos que tienen valores posibles y su relación, definiendo reglas del tipo “Sí… Entonces”. Se indica si un campo tiene determinado valor, cuáles valores debería tener otro campo relacionado, dando una ponderación a cada combinación. La sumatoria de los resultados de las reglas es dividida por la cantidad de reglas aplicadas. Si no es posible evaluar ninguna regla (R=0), la coherencia toma un valor de “No Aplica”. La ecuación (5) muestra el cálculo, donde Mi es el valor asignado a la combinación según la regla aplicada, R es el número de reglas analizadas.

(5)
Coherencia1=i=1nMi/R

La segunda parte se analiza sobre metadatos de texto libre, estimando su distancia semántica a través de la Medida del Coseno. Este proceso se presenta en la ecuación (6), donde k es la cantidad de metadatos analizados, Pi es la frecuencia del término i en el campo 1, y Qi es la frecuencia del término i en el campo 2. Dado que el resultado sólo podría ser igual a 1 si todos los campos son iguales, lo que no debería ocurrir, un valor igual o mayor a 0.7 se toma como 1 y los otros se calculan proporcionalmente.

(6)
Coherencia2=1ki=1nPi*Qi/i=1nPi2*i=1nQi2k

Finalmente para realizar el cálculo completo de la métrica de coherencia, se aplica la ecuación (7) donde se combinan los dos valores para arrojar un resultado entre 0 y 1.

(7)
M_Coherencia=Coherencia1+Coherencia(2)2

Al igual que en las métricas anteriores, en la tabla III se presenta una guía que puede ser utilizada en caso de trabajar con el estándar IEEE LOM, sobre cuáles podrían ser las comparaciones a analizar en la primera parte del cálculo de la coherencia.

Tabla III

Comparaciones para evaluar la coherencia

# Metadatos y Valores Valor




1
General.Structure General.AgregationLevel
atomic 1 1
atomic 2 0.5
atomic 3 0.25
atomic 4 0.125
collection, networked, hierarchical, linear 1 0.5
collection, networked, hierarchical, linear 2, 3, 4 1



2
Educational.InteractivityType Educational.InteractivityLevel
active, mixed very high, high, medium, low, very low 1
expositive very high, high 0
expositive medium 0.5
expositive low, very low 1






3
Educational.InteractivityType Educational.Learning Resource Type
active exercise, simulation, questionnaire, exam,
experiment, problem statement, self assessment.
1
active diagram, figure, graph, index, slide, table,
narrative text, lecture.
0
expositive exercise, simulation, questionnaire, exam,
experiment, problem statement, self assessment.
0
expositive diagram, figure, graph, index, slide, table,
narrative text, lecture.
1
mixed exercise, simulation, questionnaire, exam,
experiment, problem statement, self assessment,
diagram, figure, graph, index, slide, table,
narrative text, lecture.
1

Métrica de Visibilidad del OA (Dimensión Contextual): Esta característica está asociada con la relación entre las visitas del OA y el total de visitas a todos los objetos en el ROA. Permite identificar si el OA presenta mejores características, asumiéndose que al ser más usado es más relevante para el usuario. Se toma para cada OA la cantidad de visitas y/o descargas, y se comparan respecto a los totales. El cálculo se presenta en la ecuación (8), donde V es la cantidad de visitas del OA, D es la cantidad de descargas del OA, y T es la cantidad total de descargas y visitas en el ROA.

(8)
M_Visibilidad=V+DT

3.2 Capa de Revisión de Expertos

En esta capa quienes suministran la información son expertos, que con su experiencia, capacidad y competencia pueden realizar un análisis frente a los criterios planteados y emitir una valoración. Es la institución propietaria del ROA quien debe definir el perfil de los expertos y el momento de la evaluación. En la tabla IV se presenta el instrumento propuesto con las variables evaluadas, las preguntas y su respectiva codificación, que servirá para entender el cálculo de las métricas, el cual se basa en propuestas de diferentes autores (Bruce y Hillmann, 2004; Massa, 2012; Morales et al., 2007; Nesbit et al., 2003; Vidal, Segura, Campos y Sánchez-Alonso, 2010).

Tabla IV

Instrumento para Revisión de Expertos

Dimensión Métrica Cód. Pregunta
Educativa
(NE1)
Efectividad
Potencial
E11 En qué nivel se logran identificar los objetivos educativos que pretende
cubrir el OA.
E12 En qué nivel la estructura y contenido apoyan el aprendizaje del tema.
Contenido
(NE2)
Pertinencia
y Rigurosidad
E21 En qué nivel el contenido presentado es claro, coherente, no
discriminatorio, respeta derechos de autor y se presenta sin sesgos u
omisiones.
E22 En qué nivel el OA se encuentra libre de errores ortográficos y gramaticales.
Estética
(NE3)
Diseño Visual E31 La distribución y tamaño de elementos, la jerarquía visual, el diseño
tipográfico y contraste de los colores es adecuado.
E32 La elección de los textos, imágenes, sonidos u otros elementos multimedia
aportan a los objetivos de aprendizaje.
Funcional
(NE4)
Reusabilidad E41 Cuál es la posibilidad que ofrece el OA para que sea utilizado en varios
escenarios educativos.
E42 En qué grado el OA es auto contenido y no presenta dependencias.
Facilidad
de Uso
E51 Cuál es el nivel de claridad respecto a lo que debe hacer el usuario para
utilizar el OA.
E52 Califique la relación entre la necesidad y la ayuda provista.
Facilidad
de Acceso
E61 En qué nivel no se requiere de software o dispositivos adicionales al
momento de acceder al OA.
E62 En qué medida el recurso funciona correctamente y es fácil para el usuario
visualizarlo desde diferentes plataformas.
Metadatos
(NE5)
Completitud E71 Qué tanto los metadatos que tiene el OA lo describen completamente.
Precisión E81 En qué nivel los metadatos describen realmente el contenido encontrado.

La calificación dada por el experto a cada pregunta debe ser entre 0 y 5, donde 0 es el nivel más bajo y 5 el más alto. Retomando enfoques de evaluación de productos académicos y dado que no todos los expertos tienen el mismo perfil, se pide que se indique para cada dimensión el nivel de experticia que considera el experto tiene frente a esos criterios (entre 1 y 5). En caso de no especificarse, todas las respuestas tendrían el mismo nivel de importancia. Para calcular las métricas de esta capa se usa la ecuación (9), donde n es la cantidad de preguntas asociadas con la métrica, k es la cantidad de respuestas que tiene la pregunta i, E ij es la respuesta a la pregunt i a dada por el experto j, y NE j es el nivel de experticia de la dimensión asociada dada por el experto j.

(9)
Métricas_CapaExpertos=15ni=1nj=1kEij*NEjj=1kNEj

Métrica Efectividad Potencial del OA (Dimensión Educativa): Se evalúa para determinar el nivel de validez que puede llegar a tener el OA como herramienta educativa, analizando si es claro su objetivo y si está orientado a su cumplimiento.

Métrica Pertinencia y Rigurosidad (Dimensión Contenido): Se evalúa si se identifican elementos que puedan confundir al estudiante o algún tipo de información discriminatoria. También su exactitud, nivel de detalle, rigurosidad y coherencia.

Métrica Diseño Visual (Dimensión Estética): Se deben revisar elementos como gráficos, tablas y recursos multimedia, analizando su distribución, jerarquía, tamaño y que no interfieran con los objetivos de aprendizaje.

Métrica Reusabilidad (Dimensión Funcional): Se analiza que el OA pueda ser utilizado en diferentes contextos, determinando en qué nivel es independiente y puede ser fácilmente reutilizado sin modificaciones.

Métrica Facilidad de Uso (Dimensión Funcional): Está relacionada con el nivel de complejidad del recurso evaluando que la navegación a través del objeto sea fácil, intuitiva, predecible y sin excesiva demora.

Métrica Facilidad de Acceso (Dimensión Funcional): Se evalúa si para usar el oa se requiere de algún tipo de software especializado de difícil acceso, lo que impediría una buena experiencia para el usuario.

Métrica Completitud de los Metadatos (Dimensión Metadatos): Se revisa si los metadatos tienen valores válidos, si la información que presentan es suficiente para entender el contenido del OA y para que sea encontrado en las búsquedas.

Métrica Precisión de los Metadatos (Dimensión Metadatos): Se determina si los metadatos realmente describen el contenido asociado, ya que este es su principal objetivo y una diferencia sería un problema que afectaría la calidad de los recursos.

3.3 Capa de Percepción de Usuarios

A través de esta capa se evalúan los OAs tomando en cuenta el punto de vista de los usuarios, que perciben la calidad por la utilidad y pertinencia del OA en su proceso de aprendizaje. La propuesta está orientada a que sea evaluado cada recurso después de la interacción con el usuario, solicitándole responder una corta encuesta que debería ser opcional, evaluando los OAs en sí y no los algoritmos de búsqueda y recuperación de los repositorios donde se encuentran almacenados los recursos. Se propone un instrumento, que se presenta en la tabla V, donde se plantean las preguntas que podrían hacerse al usuario y que están asociadas con una dimensión. Las respuestas deben darse en escala de 0 a 5, donde 0 es el nivel más bajo y 5 el más alto.

Tabla V

Instrumento para captura de la percepción de los usuarios

Dimensión Métrica Cód. Pregunta
Educativa Motivación U11 En qué nivel el OA lo motivó a seguir consultando sobre el tema.
Efectividad U21 En qué nivel el contenido encontrado le permitió aprender sobre el
tema.
Estética Diseño Visual U31 En qué nivel el tamaño, color y distribución de los elementos que
contiene el OA le parece adecuado.
U32 En qué nivel los textos, imágenes, sonidos y otros elementos
multimedia del OA le aportaron en el aprendizaje del tema.
Funcional Disponibilidad U41 Pudo acceder al contenido del OA (No=0; Sí=5).
Facilidad de Uso U51 Califique la facilidad y claridad a la hora de interactuar con el OA.
Metadatos Precisión U61 En qué grado los metadatos describen el contenido que realmente
encontró.
Contextual Relevancia U71 En qué nivel este oa fue importante para usted y estaba relacionado
con lo que esperaba encontrar.

Las métricas que se describen a continuación se calculan con la ecuación (10), donde, n es la cantidad de preguntas asociadas con la métrica, k es la cantidad de respuestas que tiene la pregunta i, y U ij es la respuesta a la pregunta i, dada por el usuario j.

(10)
Méticas_CapaUsuarios=15ni=1nj=1kUijk

Métrica Motivación (Dimensión Educativa): Pregunta sobre el nivel de motivación que produce y la posibilidad de cumplir su objetivo de apoyar procesos educativos.

Métrica Efectividad del OA (Dimensión Educativa): Se busca determinar si el OA cumple su principal objetivo que es aportar en el proceso educativo, y para esto se le pregunta al usuario cuál es su opinión al respecto.

Métrica Diseño Visual (Dimensión Estética): El diseño visual está orientado a mejorar la experiencia del usuario a través del uso, distribución y tamaño adecuado de los elementos, haciendo que el usuario se sienta cómodo al interactuando con el OA.

Métrica Disponibilidad del OA (Dimensión Funcional): Se evalúa este criterio para determinar si efectivamente el usuario pudo acceder al recurso.

Métrica Facilidad de Uso (Dimensión Funcional): Determina qué tan complejo le pareció al usuario interactuar con el recurso y si en caso de requerir algún tipo de explicación la encontró sin problema.

Métrica Precisión de los Metadatos (Dimensión Metadatos): Pregunta al usuario si encontró relación entre los metadatos y el contenido presentado, ya que la falta de coherencia entre estos dos elementos genera problemas que afectan la calidad del OA.

Métrica Relevancia (Dimensión Contextual): Se pregunta si el OA fue importante dentro del contexto de búsqueda, identificando la capacidad que tiene para que sea recuperado de acuerdo a los temas para los que fue creado.

3.4 Integración de Resultados

La estructura del modelo propuesto permite realizar diferentes integraciones con el fin de apoyar la gestión de la calidad de los OAs. Se propone generar un indicador por cada capa, asignando una ponderación a las dimensiones que tienen métricas calculadas. En la ecuación (11) se muestra cómo se calcularía, donde n es la cantidad de dimensiones que se tiene en la capa, k es la cantidad de métricas para la dimension i, M j es el valor de la métrica j en la dimensión i, y D i es el peso asignado a la dimensión i. Finalmente, se podrá realizar una integración total de las capas definiendo un índice para cada OA. En este caso también se define el nivel de importancia de cada capa, lo que se muestra en la ecuación (12), donde: n es la cantidad de capas, IC i es el índice calculado para la capa i, y C i es el peso asignado a la capa i. Análogamente se podría generar índices por dimensiones asignando pesos a cada capa y un índice total indicando una ponderación para cada dimensión.

(11)
ÍndiceCapaX=i=1nj=1kMjk*Di

(12)
ÍndiceTotalCapas=i=1nICi*Ci

Estos índices podrían servir como criterio de ordenamiento en los resultados de las búsquedas, para definir una estrategia de visualización de los resultados (por ejemplo, según los colores del semáforo) o para disparar alarmar que reporten condiciones desfavorables de los recursos almacenados de acuerdo a ciertos umbrales.

IV. Validación

Con el fin de validar el modelo propuesto se realizó la evaluación de OAs de la FROAC configurando las tres capas, con todas las métricas disponibles. Ya que el estándar de metadatos utilizado es LOM, para la Capa de Gestión se utilizaron las reglas y pesos planteados como ejemplos en la explicación de las métricas. Para las Capas de Revisión de Expertos y Percepción de Usuarios se utilizaron los instrumentos presentados en las tablas IV y V, con un grupo de profesores y estudiantes de posgrado de la Universidad Nacional de Colombia (Sede Manizales) como expertos en diferentes áreas, y con un grupo de 27 estudiantes de pregrado de la misma universidad. Se les pidió que realizaran la evaluación de los primeros 10 OAs que aparecían en la FROAC como resultado de los términos de búsqueda: software, algoritmo, auditoría y sistemas. Se obtuvieron las respuestas para 46 OAs, por lo que el cálculo de las métricas asociadas a la Capa de Gestión se hizo para estos objetos. Los resultados para la Capa de Gestión se muestran en la figura 3.

Figura 3

Resultados obtenidos para la Capa de Gestión

1607-4041-redie-19-03-00033-gf3.png

Para los resultados de la Capa de Gestión se resalta que la Dimensión Contextual mantiene valores similares para todos los OAs, mientras que se notan bajos niveles de calificación para la Dimensión Funcional, donde se requieren algunas alternativas de mejora porque es un aspecto fundamental asociado a su calidad.

Los resultados de la Capa de Revisión de Expertos se presentan en la figura 4 , donde se resalta que la Dimensión Estética es la que presenta los menores valores, contrario a esto la Dimensión Educativa es la que presenta los valores más altos.

Figura 4

Resultados obtenidos para la Capa Revisión de Expertos

1607-4041-redie-19-03-00033-gf4.png

La Percepción de Usuarios se muestra en la figura 5 y en términos generales demuestra que es necesario mejorar principalmente aspectos relacionados con la Dimensión Educativa y con la Dimensión de Metadatos.

Figura 5

Resultados obtenidos para la Capa Percepción de Usuarios

1607-4041-redie-19-03-00033-gf5.png

En las figuras 3, 4 y 5 se resalta un caso concreto que llama la atención: Uno de los OAs presenta buenos resultados para las métricas evaluadas en la Capa de Gestión, lo que llevaría a pensar que es un recurso de calidad. Sin embargo, para la Capa de Revisión de Expertos y la Capa de Percepción de Usuarios los resultados son muy bajos para todas las dimensiones. Esta situación refleja la importancia de evaluar los OAs desde diferentes visiones, ya que podría concluirse que este objeto tiene un conjunto de metadatos adecuado, pero un contenido que no está ocorde con las expectativas ni de los expertos, ni de los usuarios.

V. Conclusiones

El modelo propuesto atiende varios de los vacíos encontrados en la revisión del estado del arte, su enfoque permite su implementación en situaciones reales y se perfila como una herramienta de gestión de la calidad de OAs en repositorios y federaciones, ya que está orientado a que sea el administrador del roa, quien defina cuáles métricas calcular y las ponderaciones necesarias para la integración de los resultados.

Tanto en el proceso de construcción del modelo como en su validación, se corroboraron los problemas de calidad de los OAs, lo que demuestra que es necesario realizar procesos de evaluación. Además, una evaluación por capas como la propuesta permitió aprovechar las valoraciones manuales y cálculos automáticos, definiendo métricas a partir de las cuales se pueden obtener diferentes índices.

Como trabajo futuro se plantea el crecimiento del modelo con capas que evalúe desde otros enfoques y ampliar la cantidad de métricas. Además, se está creando un mecanismo para que en la práctica cualquier repositorio pueda usarlo como servicio.

Agradecimientos

El trabajo de investigación presentado en este artículo se enmarca en el proyecto “RAIM: Implementación de un framework apoyado en tecnologías móviles y de realidad aumentada para entornos educativos ubicuos, adaptativos, accesibles e interactivos para todos”, financiado por Colciencias y el Ministerio de Educación con código 111956934172.

Referencias

1 

Academic ADL Colab. (2013). Finding and sharing elearning objects. Standards based interoperability and federated repositories. Recuperado de http://www.academiccolab.org/?page_id=22.

Academic ADL Colab 2013Finding and sharing elearning objects. Standards based interoperability and federated repositorieshttp://www.academiccolab.org/?page_id=22

2 

Bruce, T. R. y Hillmann, D. I. (2004). The continuum of metadata quality: defining, expressing, exploiting. In metadata in practice. Recuperado de https://ecommons.cornell.edu/handle/1813/7895.

T. R. Bruce D. I. Hillmann 2004The continuum of metadata quality: defining, expressing, exploiting. In metadata in practicehttps://ecommons.cornell.edu/handle/1813/7895

3 

Cechinel, C., Sánchez-Alonso, S., y Sicilia, M.-Á. (2012). Avaliação automática da qualidade de objetos de aprendizagem dentro de repositórios [Evaluación automática de la calidad de los objetos de aprendizaje dentro de los repositories]. Revista Brasileira de Informática na Educação, 20(03), 43-59.

C. Cechinel S. Sánchez-Alonso M.-Á. Sicilia 2012Avaliação automática da qualidade de objetos de aprendizagem dentro de repositórios[Evaluación automática de la calidad de los objetos de aprendizaje dentro de los repositories]Revista Brasileira de Informática na Educação20034359

4 

Chiappe, A. (2006). Modelo de diseño instruccional basado en Objetos de Aprendizaje: aspectos relevantes. Colombia: Universidad de La Sabana.

A. Chiappe 2006Modelo de diseño instruccional basado en Objetos de Aprendizaje: aspectos relevantesColombiaUniversidad de La Sabana

5 

Duque M. N. (2009). Modelo adaptativo multi-agente para la planificación y ejecución de cursos virtuales personalizados. Universidad Nacional de Colombia-Sede Medellín.

M. N. Duque 2009Modelo adaptativo multi-agente para la planificación y ejecución de cursos virtuales personalizadosUniversidad Nacional de ColombiaMedellín

6 

Kay, R. H., Knaack, L. y Vaidehi, V. (2008). A multi-component Model for Assessing Learning Objects: LOEM. Australasian Journal of Educational Technology, 24(5), 574-591.

R. H. Kay L. Knaack V. Vaidehi 2008A multi-component Model for Assessing Learning Objects: LOEMAustralasian Journal of Educational Technology245574591

7 

Learning Technology Standards Committee. (2002). IEEE standard for learning object metadata. Nueva York: Institute of Electrical and Electronics Engineers.

Learning Technology Standards Committee 2002IEEE standard for learning object metadataNueva YorkInstitute of Electrical and Electronics Engineers

8 

Massa, S. M. (2012). Objetos de aprendizaje: metodología de desarrollo y evaluación de la calidad. Argentina: Universidad Nacional de La Plata.

S. M. Massa 2012Objetos de aprendizaje: metodología de desarrollo y evaluación de la calidadArgentinaUniversidad Nacional de La Plata

9 

McGreal, R. (2008). A Typology of learning object repositories. In Handbook on Information Technologies for Education and Training (pp. 5-28). Recuperado de https://link.springer.com/chapter/10.1007%2F978-3-540-74155-8_1.

R. McGreal 2008A Typology of learning object repositoriesHandbook on Information Technologies for Education and Training528https://link.springer.com/chapter/10.1007%2F978-3-540-74155-8_1

10 

Menéndez, V. H., Castellanos, M. E., Vidal, C. y Segura, A. (2012). Un modelo de calidad de Objetos de Aprendizaje basado en la semántica de sus metadatos. Séptima Conferencia Latinoamericana de Objetos y Tecnologías de Aprendizaje. Recuperado de http://laclo.org/papers/index.php/laclo/article/viewFile/51/46.

V. H. Menéndez M. E. Castellanos C. Vidal A. Segura 2012Un modelo de calidad de Objetos de Aprendizaje basado en la semántica de sus metadatosSéptima Conferencia Latinoamericana de Objetos y Tecnologías de Aprendizajehttp://laclo.org/papers/index.php/laclo/article/viewFile/51/46

11 

Morales, E., García, F. J., Barrón, Á., Berlanga, A. J. y López, C. (2005). Propuesta de evaluación de Objetos de Aprendizaje. Documento presentado en el II Simposio Pluridisciplinar sobre Diseño, Evaluación y Descripción de Contenidos Educativos (SPDECE). Barcelona.

E. Morales F. J. García Á. Barrón A. J. Berlanga C. López 2005Propuesta de evaluación de Objetos de AprendizajeIISimposio Pluridisciplinar sobre Diseño, Evaluación y Descripción de Contenidos Educativos (SPDECE)Barcelona

12 

Morales, E. , Gil, A. y García, F. (2007). Arquitectura para la recuperación de Objetos de Aprendizaje de calidad en repositorios distribuidos. SCHA: Sistemas Hipermedia Colaborativos Y Adaptativos. II Congreso Español de Informática CEDI.

E. Morales A. Gil F. García 2007Arquitectura para la recuperación de Objetos de Aprendizaje de calidad en repositorios distribuidos. SCHA: Sistemas Hipermedia Colaborativos Y AdaptativosIICongreso Español de Informática CEDI

13 

Nesbit, J., Belfer, K. y Leacock, T. (2003). Learning Object Review Instrument (LORI). Recuperado de http://www.transplantedgoose.net/gradstudies/educ892/LORI1.5.pdf.

J. Nesbit K. Belfer T. Leacock 2003Learning Object Review Instrument (LORI)http://www.transplantedgoose.net/gradstudies/educ892/LORI1.5.pdf

14 

Ochoa, X. (2008). Learnometrics: Metrics for Learning Objects. Bélgica: Katholieke Universiteit Leuven.

X. Ochoa 2008Learnometrics: Metrics for Learning ObjectsBélgicaKatholieke Universiteit Leuven

15 

Park, J. R. y Tosaka, Y. (2010). Metadata quality control in digital repositories and collections: criteria, semantics, and mechanisms. Cataloging y Classification Quarterly, 48(8), 696-715.

J. R. Park Y. Tosaka 2010Metadata quality control in digital repositories and collections: criteria, semantics, and mechanismsCataloging y Classification Quarterly488696715

16 

Rosanigo, Z., Bianchi, G., Bramati, P., Paur, A., Living, E. y Saenz, M. (2007). Hacia un repositorio de objetos de aprendizaje. In Memorias IX WICC, Trelew, Chubut, Argentina.

Z. Rosanigo G. Bianchi P. Bramati A. Paur E. Living M. Saenz 2007Hacia un repositorio de objetos de aprendizajeMemorias IX WICCTrelew, Chubut, Argentina

17 

Ruiz G, R. E., Muñoz A, J., y Álvarez R, F. J. (2007). Evaluación de Objetos de Aprendizaje a través del aseguramiento de competencias educativas. Recuperado de http://e-spacio.uned.es/fez/eserv/bibliuned:19233/n03ruizgonz07.pdf.

R. E. Ruiz G J. Muñoz A F. J. Álvarez R 2007Evaluación de Objetos de Aprendizaje a través del aseguramiento de competencias educativashttp://e-spacio.uned.es/fez/eserv/bibliuned:19233/n03ruizgonz07.pdf

18 

Sanz, J. (2010). Evaluación apriorística de la reusabilidad de los Objetos de Aprendizaje. España: Universidad de Alcalá de Henares.

J. Sanz 2010Evaluación apriorística de la reusabilidad de los Objetos de AprendizajeEspañaUniversidad de Alcalá de Henares

19 

Sicilia, M. A., García, E., Salvador, A. y Soto, J. (2005). A semantic lifecycle approach to Learning Object Repositories. Recuperado de https://pdfs.semanticscholar.org/5b6a/cf40b27283f0c490c0ec9e7376783efdf82a.pdf.

M. A. Sicilia E. García A. Salvador J. Soto 2005A semantic lifecycle approach to Learning Object Repositorieshttps://pdfs.semanticscholar.org/5b6a/cf40b27283f0c490c0ec9e7376783efdf82a.pdf

20 

Tabares, V., Duque, N. y Moreno, J. (2011). Análisis experimental de la utilidad en la recuperación de objetos de aprendizaje desde repositorios remotos. In Congreso Internacional en Ambientes Virtuales de Aprendizajes Accesibles y Adaptativos-CAVA. Universidad Nacional de Tucumán, Argentina.

V. Tabares N. Duque J. Moreno 2011Análisis experimental de la utilidad en la recuperación de objetos de aprendizaje desde repositorios remotosCongreso Internacional en Ambientes Virtuales de Aprendizajes Accesibles y Adaptativos-CAVAUniversidad Nacional de TucumánArgentina

21 

Van de Sompel, H. y Chute, R. (2008). The aDORe federation architecture : digital repositories at scale. International Journal of Digital Libraries, 9(2), 83-100. doi:10.1007/s00799-008-0048-7.

H. Van de Sompel R. Chute 2008The aDORe federation architecture : digital repositories at scaleInternational Journal of Digital Libraries928310010.1007/s00799-008-0048-7

22 

Vicari, R. M., Bez, M., Marques, J., da Silva, C., Ribeiro, A., Gluz, J. C., Passerino, L., Santos, E. et al. (2010). Proposta Brasileira de Metadados para Objetos de Aprendizagem Baseados em Agentes (OBAA). Novas Tecnologias Na Educação, 8(2). Recuperado de http://obaa.unisinos.br/drupal7/sites/default/files/doc_files/publicacoes/15257-53544-1-PB.pdf.

R. M. Vicari M. Bez J., da Silva, C. Marques A. Ribeiro J. C. Gluz L. Passerino E. Santos 2010Proposta Brasileira de Metadados para Objetos de Aprendizagem Baseados em Agentes (OBAA)Novas Tecnologias Na Educação82http://obaa.unisinos.br/drupal7/sites/default/files/doc_files/publicacoes/15257-53544-1-PB.pdf

23 

Vidal, C. , Segura, A. , Campos, P., y Sánchez-Alonso, S. (2010). Quality in Learning Objects: evaluating compliance with metadata standards. Metadata and semantic research. Communications in Computer and Information Science, 108, 342-353.

C. Vidal A. Segura P. Campos S. Sánchez-Alonso 2010Quality in Learning Objects: evaluating compliance with metadata standardsMetadata and semantic researchCommunications in Computer and Information Science108342353

24 

Vidal, C. , Segura, A. , y Prieto, M. (2008). Calidad en Objetos de Aprendizaje. V Simposio Pluridisciplinar Sobre Diseño y Evaluación de Contenidos Educativos Reutilizables (SPEDECE08), Salamanca, España.

C. Vidal A. Segura M. Prieto 2008Calidad en Objetos de AprendizajeVSimposio Pluridisciplinar Sobre Diseño y Evaluación de Contenidos Educativos Reutilizables (SPEDECE08)Salamanca, España

25 

Wiley, D. A. (2001). Connecting learning objects to instructional design theory: A definition, a metaphor, and a taxonomy. Recuperado de http://wesrac.usc.edu/wired/bldg-7_file/wiley.pdf.

D. A. Wiley 2001Connecting learning objects to instructional design theory: A definition, a metaphor, and a taxonomyhttp://wesrac.usc.edu/wired/bldg-7_file/wiley.pdf

26 

Yen, N., Shih, T., Member, S., Chao, L. y Jin, Q. (2010). Ranking metrics and search guidance for learning object repository. IEEE Transactions on Learning Technologies, 3(3), 250-264.

N. Yen T. Shih S. Member L. Chao Q. Jin 2010Ranking metrics and search guidance for learning object repositoryIEEE Transactions on Learning Technologies33250264

Notes

[1] Tabares, V., Duque, N. D. y Ovalle, D. U. (2017). Modelo por capas para evaluación de la calidad de Objetos de Aprendizaje en repositorios. Revista Electrónica de Investigación Educativa, 19(3), 33-50. https://doi.org/10.24320/redie.2017.19.3.1128.



This display is generated from NISO JATS XML with jats-html.xsl. The XSLT engine is libxslt.



Licencia


Copyright (c) 2019 Revista Electrónica de Investigación Educativa

Licencia de Creative Commons
Este obra está bajo una licencia de Creative Commons Reconocimiento-NoComercial 4.0 Internacional.