Revista Electrónica de Investigación Educativa

Vol. 19, Núm. 3, 2017

Modelo por capas para evaluación de la calidad de Objetos
de Aprendizaje en repositorios

Valentina Tabares Morales (*) vtabaresm@unal.edu.co
Néstor Darío Duque Méndez (*) ndduqueme@unal.edu.co
Demetrio Arturo Ovalle Carranza (*) dovalle@unal.edu.co

(*) Universidad Nacional de Colombia

(Recibido: 28 de marzo de 2015; Aceptado para su publicación: 15 de febrero de 2016)

Resumen

Los Objetos de Aprendizaje (OAs) son recursos digitales utilizados para apoyar los procesos de enseñanza y aprendizaje almacenados en Repositorios de OAs (ROAs), facilitando su búsqueda y recuperación. Sin embargo, en la mayoría de los casos es difícil determinar la calidad de estos recursos, por ello en este trabajo se presenta un modelo por capas para la evaluación de la calidad de OAs que identifica las principales características que deben cumplir estos recursos y la forma de determinar su cumplimiento a través de la especificación de diferentes métricas. Los resultados de la aplicación de la propuesta en la evaluación de los OAs de la Federación de Repositorios de Objetos de Aprendizaje (FROAC) demostraron la existencia de problemas en la calidad de estos recursos educativos, la importancia de la aplicación del modelo para apoyar el proceso de entrega de mejores objetos a partir de las búsquedas y su utilidad como herramienta de gestión en los ROAs.

Palabras clave: Objetos de Aprendizaje, Repositorios de Objetos de Aprendizaje, Evaluación de Objetos de Aprendizaje, Tecnología educativa.

I. Introducción

El e-learning se ha posicionado como uno de los principales esquemas de educación; ha cambiado los procesos tradicionales de enseñanza y aprendizaje, y proporcionado numerosas ventajas de carácter pedagógico y de acceso. Este esquema genera nuevas necesidades, tales como el desarrollo y mejora de materiales educativos, de donde surgen los Objetos de Aprendizaje (OAs) definidos como entidades digitales que pueden ser utilizadas es procesos de aprendizaje, generalmente entregados a través de Internet y diseñados con el fin de que sean utilizados y reutilizados en múltiples contextos educativos (Learning Technology Standards Committe, 2002; Wiley, 2001). Para facilitar su reutilización, los OAs deben ser unidades independientes con un objetivo de aprendizaje claro y un contenido autónomo que no dependa de otros objetos (Chiappe, 2006; Morales, García, Barrón, Berlanga y López, 2005).

Una característica distintiva de los OAs es que contienen metadatos que los describen, facilitando su búsqueda, evaluación, recuperación y uso, cubriendo necesidades de los alumnos para los que fueron diseñados y permitiendo su reutilización como uno de sus mayores retos (Duque, 2009; Morales et al., 2005; Vicari et al., 2010). Con el fin de facilitar la interoperabilidad entre diferentes sistemas que contengan OAs, se han propuesto estándares que definen un conjunto de campos que permiten el intercambio de información sobre los recursos que se almacenan (Ochoa, 2008). Algunos de los estándares más conocidos son IEEE-LOM, Dublin Core y OBAA.  

Miles de OAs son almacenados y administrados a través de Repositorios de OAs (ROAs), bibliotecas especializadas que se espera ofrezcan facilidades para la creación, mantenimiento y búsqueda de estos recursos (Rosanigo et al., 2007; Sicilia, García, Salvador y Soto, 2005); además, deben seguir estándares con el fin de incrementar su efectividad e interoperabilidad. Se cuenta también con Federaciones de Repositorios que permiten un punto único de acceso a los recursos almacenados en diferentes repositorios y se están convirtiendo en un espacio donde convergen muchas investigaciones que buscan entregar a profesores y estudiantes los mejores contenidos orientados a sus requerimientos (Academic ADL, 2013; van de Sompel y Chute, 2008).

Es común que al realizar búsquedas los usuarios de un OAs encuentren largas listas de resultados, que deben revisar uno por uno para identificar los acordes a sus necesidades. Este proceso es largo y dispendioso, y en ocasiones se encuentran OAs con problemas o incluso inaccesibles. Ello puede afectar actividades en el proceso educativo, generar desinterés y que en el futuro no se vuelvan a consultar estos recursos (Ochoa, 2008; Tabares, Duque y Moreno, 2011). Esto muestra que no es suficiente con que los materiales educativos estén disponibles, se requiere que cumplan con un alto nivel de calidad, de modo que permitan mayores posibilidades de lograr los objetivos de aprendizaje esperados (McGreal, 2008).

En el dominio de los OAs la calidad es entendida como un conjunto de criterios que permite establecer su nivel de pertinencia tanto en términos pedagógicos como técnicos (Morales, Gil y García, 2007; Ruiz, Muñoz y Álvarez, 2007). Hay diversas estrategias para evaluar la calidad del OA, algunas centradas en el producto final y otras en el proceso de construcción (Vidal, Segura y Prieto, 2008). Sin embargo, a pesar de su reconocida importancia, no se ha llegado a un consenso de todos los elementos que intervienen, haciendo necesario que se generen iniciativas que permitan evaluar los OA de forma integral y dinámica, involucrando a los usuarios para garantizar mayor confianza en el ROA (Kay, Knaack y Vaidehi, 2008).

La revisión de literatura evidencia la existencia de algunas propuestas para la evaluación de los OAs siguiendo diferentes enfoques, pero la mayoría de ellos considera sólo algunas características, lo que no permite lograr una evaluación integral y genera la posibilidad de una inadecuada selección y uso de los recursos (Sanz, 2010).

En este artículo se propone un modelo para evaluación de la calidad de OAs, definiendo un conjunto de características que debería cumplir el objeto –asociadas a diferentes visiones y actores que intervienen en el proceso de análisis y evaluación. También se determina la información requerida de acuerdo a cada criterio a evaluar y la forma de realizar los respectivos cálculos. El modelo presenta un enfoque por capas, que permite su crecimiento y fácil modificación, a la vez que es posible el ajuste a los intereses y necesidades específicos de los administradores del ROA.

Para la validación de la propuesta se han evaluados OAs de la Federación de Repositorios de Objetos de Aprendizaje (FROAC), demostrando la existencia de problemas en la calidad de estos recursos y la importancia de la aplicación del modelo de evaluación no sólo como apoyo al proceso de entrega de mejores objetos, sino como herramienta de gestión de los repositorios.

II. Trabajos relacionados

La evaluación de OAs es un importante aporte para la resolución de problemas generados con el crecimiento de los ROAs y que busca asegurar la efectividad en el uso de estos recursos. A continuación se presentan algunas propuestas desarrolladas para establecer la calidad de OAs desde diferentes enfoques:

• Massa (2012) plantea una metodología para evaluación de OAs desde el punto de vista pedagógico y técnico, inspirada en los métodos para valoración de la usabilidad, incluye elementos que permiten un mayor aseguramiento de la calidad de los recursos. Sin embargo, no tiene en cuenta los metadatos, de los que depende en gran medida la posibilidad de encontrar los recursos en los repositorios.
• En Cechinel, Sánchez-Alonso y Sicilia (2012) se presenta una propuesta para evaluación automática de OAs, tomando como caso de estudio objetos evaluados por expertos en el repositorio Merlot. Utiliza posibles combinaciones entre las categorías y los tipos de materiales, definiendo modelos a través de Análisis Discriminante Lineal (LDA) y algoritmos de minería de datos para la clasificación, resaltando como interesante su utilización en la evaluación de OAs.
• Sanz (2010) propone un modelo que permite estimar, a través de los metadatos, la capacidad de reutilización de los OAs. Utiliza un conjunto de métricas que se calculan de forma semiautomática y están basadas en la reusabilidad de software, por lo que podrían aplicarse a una mayor cantidad de OAs, pero su limitante es que sólo se basa en los metadatos y no toma en cuenta otros factores importantes. 
• Yen, Shih, Member, Chao y Jin (2010) proponen el cálculo de métricas usando el impacto de citaciones, consideradas como las descargas realizadas de un recurso. Permite la clasificación de todos los OAs para mejorar la visualización de resultados, pero no son evaluados otros aspectos que intervienen en la calidad de los OAs.
• Ochoa (2008) propone un conjunto de métricas para determinar la calidad de los metadatos, basadas en parámetros para revisiones humanas que pueden ser calculadas automáticamente, lo que es una de las principales fortalezas, ya que se garantiza su aplicación a grandes cantidades de OAs; sin embargo, la percepción de usuarios y expertos no es tenida en cuenta de forma directa.
• Kay et al. (2008) proponen el modelo de evaluación Learning Object Evaluation Metric) enfocado principalmente a la revisión por parte de usuarios, y en Nesbit, Belfer y Leacock (2003) se presenta un instrumento denominado Learning Object Review Instrument) para la valoración de OAs por parte de expertos, de forma individual o colaborativa. Ambas propuestas requieren de un trabajo manual por parte de usuarios y expertos, pero evalúan los OAs en varias dimensiones.

Existen varios enfoques para evaluación de OAs, su clasificación se muestra en la tabla I. Resalta, según la revisión realizada, que los más empleados son los orientados a la Evaluación por Expertos, Evaluación por Usuarios y Evaluación de Metadatos; sin embargo, no se identificó su integración en un solo trabajo, lo que es una limitación para obtener una percepción desde diferentes visiones, además no se cuenta con modelos de evaluación generalizados que permitan identificar el nivel de calidad de los OAs integrando diferentes dimensiones. A partir de las conclusiones de esta revisión se propone en la sección siguiente un modelo integrado, que aprovecha los espacios encontrados y concreta en métricas la posibilidad de calificar la calidad de OAs en repositorios.

Tabla I. Trabajos revisados y tipo de evaluación de OAs que realizan

III. Modelo propuesto

El modelo de evaluación propuesto está orientado hacia el producto y es entendido como un conjunto de características que se analizan del OA y pueden estar asociadas a diferentes visiones y desde diferentes actores o usuarios, estableciendo cómo realizar el proceso, qué tipo de información se requiere y la forma en que se realizarán los cálculos. Tiene un enfoque de capas, las cuales son definidas de acuerdo a los actores o fuentes de información que intervienen, y pueden agregarse o eliminarse de acuerdo a las posibilidades e intereses de quien realice el proceso de evaluación. Las dimensiones son otro componente, el cual define las características generales que pueden ser evaluadas para cada OA, son transversales a las capas y están compuestas por una serie de métricas que permiten establecer un valor cuantitativo para cada variable.

En la figura 1 se muestra el Modelo Genérico, el cual no está sujeto a un estándar de metadatos o tipo de repositorio, ni predefine ponderaciones. Su enfoque por capas hace que pueda seguir creciendo o modificar algunos cálculos sin afectar los demás.

Figura 1. Modelo Genérico propuesto

La Administración del ROA donde se realizará la evaluación puede establecer las capas, dimensiones y métricas que se incluirán. Dependiendo de esta selección se indican las ponderaciones y pesos correspondientes, además de la mecánica utilizada para suministrar la información para realizar los cálculos y su estructura. Un elemento importante es la integración y visualización de los resultados, que deben estar organizados para que sean un insumo fundamental para la toma de decisiones administrativas en el marco de los repositorios y federaciones de OAs. Como se mencionó, el modelo genérico puede adaptarse de acuerdo a intereses particulares, pero a partir de la revisión hecha y de la experiencia en trabajos previos, en la figura 2 se muestra un modelo concreto en el que se proponen tres capas en las que se evalúan variables asociadas a las siguientes seis dimensiones:

• La dimensión Educativa evalúa aspectos relacionados con el proceso de enseñanza y aprendizaje, analizando si el material es de interés para los posibles estudiantes, si tiene clara orientación educativa y si pedagógicamente está bien construido.
• Se propone una dimensión de Contenido, en la que se analizan aspectos temáticos y disciplinares con el fin de identificar la claridad y rigurosidad de los contenidos.
• Con la dimensión Estética se evalúan aspectos relacionados con la parte visual del contenido de los OAs, con el fin de establecer si la forma en que son mostrados los diferentes elementos es adecuada y no interfiere en el proceso de aprendizaje.
• Aspectos como la disponibilidad y acceso a los contenidos, la forma en que los usuarios pueden interactuar con los recursos, y la posibilidad de que los OAs puedan ser utilizados en diferentes contextos son evaluados con la dimensión Funcional.
• Estos recursos educativos requieren de datos que los describan correctamente, lo cual es evaluado en la dimensión de Metadatos. Se analiza qué tan completos y bien estructurados están los metadatos, ya que de esto depende en gran medida la calidad y posibilidad de que los OAs puedan ser recuperados en repositorios.
• En la dimensión Contextual se analizan los OAs respecto a los demás objetos en el repositorio de acuerdo a diferentes métricas, identificando los que tienen mejores características frente a este contexto.

Figura 2. Modelo de Concreto propuesto

A continuación se presentan las capas con las respectivas métricas que al final arrojarán un valor entre 0 y 1 para cada OA evaluado, que corresponderá al porcentaje de cumplimiento de ese criterio. Para todas las métricas debe hacerse un proceso de parametrización inicial y deberían calcularse con cierta periodicidad, ya que los ROAs son dinámicos y se espera tener siempre resultados actualizados. En cada métrica se indica la dimensión a la que pertenece.

3.1 Capa de Gestión

Trabaja con información suministrada por el Administrador del ROA, que se encarga de la gestión de los OAs, de la definición de políticas asociadas y hace un seguimiento al uso que se les da. Las métricas de esta capa están orientadas al cálculo automático.

Métrica Reusabilidad (Dimensión Funcional): Este criterio es entendido como la posibilidad que tiene el OA de ser utilizado de forma efectiva en diferentes entornos, por lo que debería ser autocontenido, poder combinarse con otros OAs y tener un nivel de granularidad bajo (Sanz, 2010). Se definen reglas que permiten evaluar los valores que tienen algunos metadatos y su nivel de influencia en la reusabilidad. A continuación se presenta una corta descripción de cada uno de ellos y un ejemplo específico para el estándar IEEE-LOM. Se resalta que es el administrador del ROA quien debe definir cuáles metadatos tener en cuenta, los posibles valores y el peso para cada valor.

• Densidad Semántica: Indica qué tan conciso es el OA y puede estimarse de acuerdo al tamaño, ámbito y duración, independiente de la dificultad del recurso. (If Educational.SemanticDensity is very_low=1, low=0.8, medium=0.6, high=0.4, very_high=0.2).
• Nivel de Agregación o Granularidad: Indica el tamaño del OA y la forma en que los elementos se unen. Así, los OAs con menor granularidad son los que tienen mayor posibilidad de reutilización. (If General.AggregationLevel is  1=1, 2=0.75, 3=0.5, 4=0.25).
• Estructura: Establece cómo se organizan los elementos que contiene el OA, indicando el tipo de relación, si tienen alguna jerarquía o si tienen igual importancia. (If General.Structure is atomic=1, collection=0.25, networked= 0.25, hierarchical=0.25, linear=0.25).
• Contexto: Se indican los posibles contextos educativos en los que puede ser utilizado, ya que entre más contextos, mayor es la posibilidad de su reutilización. (If Educational.Contexto is ‘3 o más instancias’=1, ‘2 instancias’= 0.6, ‘1 instancia’=0.2).

Se evalúa cada regla determinando si el metadato tiene alguno de los valores permitidos y se as;igna el peso correspondiente. En caso de que no presente valores válidos se establece que la regla no aplica y no se tiene en cuenta para el cálculo final. Si ninguna regla se pudo evaluar (R=0), entonces se define que no es posible calcular la métrica. La ecuación (1) muestra el cálculo respectivo, donde Mi es el peso correspondiente dentro de la regla evaluada, y R es el número de reglas analizadas.

Métrica Disponibilidad del OA (Dimensión Funcional): Se refiere a la posibilidad que tiene un OA de ser usado en cualquier momento. Esta métrica se centra en el metadato donde se indica la ubicación del objeto. Por ejemplo, para el estándar IEEE-LOM es el metadato “Localización” que hace parte de la categoría “Técnica”. Para su cálculo, se asigna un valor de 1 a los enlaces asociados activos. Debido a que el OA podría tener varias instancias de este metadato, se divide por la cantidad de enlaces encontrados. Si no se tiene el metadato de localización (L=0), la métrica toma valor de 0. La ecuación (2) presenta su cálculo, donde Mi es el valor binario que indica si el metadato i está disponible y L es el número de campos de localización encontrados.

Métrica Completitud (Dimensión Metadatos): Esta variable permite determinar si los metadatos describen un OA tanto como sea posible, lo cual es directamente proporcional a la posibilidad de que sea encontrado en un ROA (Park y Tosaka, 2010). Los estándares definen cuáles son los metadatos a ser llenados y su obligatoriedad, pero es necesario verificar si efectivamente se cumplen esas condiciones, revisando la existencia de cada uno y si contiene valor válido (Menéndez, Castellanos, Vidal y Segura, 2012). Dado que no todos los metadatos tienen la misma importancia, en la parametrización inicial se indican los metadatos a analizar y su respectivo peso, que debe ser un valor entre 0 y 1, y la suma final de estos pesos debe ser igual a 1. Para el cálculo de esta métrica se revisa metadato por metadato, dando un valor de 1 si tiene algún valor o instancia. Estos valores se multiplican por el peso correspondiente y el resultado final corresponde a su sumatoria. Esto es presentado en la ecuación (3), donde ki es el peso del metadato i, y Mi es el valor binario que indica si el metadato  tiene algún valor o instancia.

Con el fin de que se tenga una guía para establecer los metadatos y pesos a ser utilizados, se hizo un análisis en 12 repositorios o federaciones para ver cuáles metadatos son usados en las búsquedas avanzadas y cuáles exhibidos a los usuarios en los resultados obtenidos, con lo que se calcularon los pesos presentados en la tabla II.

Tabla II. Metadatos más usados y sus respectivos pesos

Métrica Consistencia (Dimensión Metadatos): Permite determinar el nivel de cumplimiento que tienen los metadatos respecto al estándar, asegurando que todos los recursos estén descritos bajo el mismo dominio (Ochoa, 2008; Park y Tosaka, 2010), a partir de la especificación de reglas para los campos con lista de valores posibles. Se revisa su cumplimiento asignando un 1 y la sumatoria de estos valores es dividida por la cantidad de reglas, que en caso de no poderse evaluar ninguna (R=0) toma un valor de “No Aplica”. En la ecuación (4) se formaliza este cálculo donde: Mi es el valor binario que indica si el metadato i cumple con la regla, y R es el número de reglas analizadas.

Métrica Coherencia (Dimensión Metadatos): Un OA es coherente si todos sus metadatos describen el mismo recurso (Ochoa, 2008). Tanto desde el punto de vista conceptual como de la definición de los estándares, existen metadatos que tienen una alta correlación y este hecho determina su coherencia. El cálculo se realiza en dos partes. En primer lugar se contemplan los metadatos que tienen valores posibles y su relación, definiendo reglas del tipo “Sí… Entonces”. Se indica si un campo tiene determinado valor, cuáles valores debería tener otro campo relacionado, dando una ponderación a cada combinación. La sumatoria de los resultados de las reglas es dividida por la cantidad de reglas aplicadas. Si no es posible evaluar ninguna regla (R=0), la coherencia toma un valor de “No Aplica”. La ecuación (5) muestra el cálculo, donde Mi es el valor asignado a la combinación según la regla aplicada, R es el número de reglas analizadas.

La segunda parte se analiza sobre metadatos de texto libre, estimando su distancia semántica a través de la Medida del Coseno. Este proceso se presenta en la ecuación (6), donde k es la cantidad de metadatos analizados, Pi es la frecuencia del término i en el campo 1, y Qi es la frecuencia del término i en el campo 2. Dado que el resultado sólo podría ser igual a 1 si todos los campos son iguales, lo que no debería ocurrir, un valor igual o mayor a 0.7 se toma como 1 y los otros se calculan proporcionalmente.

Finalmente para realizar el cálculo completo de la métrica de coherencia, se aplica la ecuación (7) donde se combinan los dos valores para arrojar un resultado entre 0 y 1.

Al igual que en las métricas anteriores, en la tabla III se presenta una guía que puede ser utilizada en caso de trabajar con el estándar IEEE-LOM, sobre cuáles podrían ser las comparaciones a analizar en la primera parte del cálculo de la coherencia.

Tabla III. Comparaciones para evaluar la coherencia

Métrica de Visibilidad del OA (Dimensión Contextual): Esta característica está asociada con la relación entre las visitas del OA y el total de visitas a todos los objetos en el ROA. Permite identificar si el OA presenta mejores características, asumiéndose que al ser más usado es más relevante para el usuario. Se toma para cada OA la cantidad de visitas y/o descargas, y se comparan respecto a los totales. El cálculo se presenta en la ecuación (8), donde V es la cantidad de visitas del OA, D es la cantidad de descargas del OA, y T es la cantidad total de descargas y visitas en el ROA.

3.2 Capa de Revisión de Expertos

En esta capa quienes suministran la información son expertos, que con su experiencia, capacidad y competencia pueden realizar un análisis frente a los criterios planteados y emitir una valoración. Es la institución propietaria del ROA quien debe definir el perfil de los expertos y el momento de la evaluación. En la tabla IV se presenta el instrumento propuesto con las variables evaluadas, las preguntas y su respectiva codificación, que servirá para entender el cálculo de las métricas, el cual se basa en propuestas de diferentes autores (Bruce y Hillmann, 2004; Massa, 2012; Morales et al., 2007; Nesbit et al., 2003; Vidal, Segura, Campos y Sánchez-Alonso, 2010)

Tabla IV. Instrumento para Revisión de Expertos

La calificación dada por el experto a cada pregunta debe ser entre 0 y 5, donde 0 es el nivel más bajo y 5 el más alto. Retomando enfoques de evaluación de productos académicos y dado que no todos los expertos tienen el mismo perfil, se pide que se indique para cada dimensión el nivel de experticia que considera el experto tiene frente a esos criterios (entre 1 y 5). En caso de no especificarse, todas las respuestas tendrían el mismo nivel de importancia. Para calcular las métricas de esta capa se usa la ecuación (9), donde n es la cantidad de preguntas asociadas con la métrica, k es la cantidad de respuestas que tiene la pregunta i, E_ij es la respuesta a la pregunta i dada por el experto j, y NE_j es el nivel de experticia de la dimensión asociada dada por el experto j.

 

Métrica Efectividad Potencial del OA (Dimensión Educativa): Se evalúa para determinar el nivel de validez que puede llegar a tener el OA como herramienta educativa, analizando si es claro su objetivo y si está orientado a su cumplimiento.

Métrica Pertinencia y Rigurosidad (Dimensión Contenido): Se evalúa si se identifican elementos que puedan confundir al estudiante o algún tipo de información discriminatoria. También su exactitud, nivel de detalle, rigurosidad y coherencia.

Métrica Diseño Visual (Dimensión Estética): Se deben revisar elementos como gráficos, tablas y recursos multimedia, analizando su distribución, jerarquía, tamaño y que no interfieran con los objetivos de aprendizaje.

Métrica Reusabilidad (Dimensión Funcional): Se analiza que el OA pueda ser utilizado en diferentes contextos, determinando en qué nivel es independiente y puede ser fácilmente reutilizado sin modificaciones.

Métrica Facilidad de Uso (Dimensión Funcional): Está relacionada con el nivel de complejidad del recurso evaluando que la navegación a través del objeto sea fácil, intuitiva, predecible y sin excesiva demora.

Métrica Facilidad de Acceso (Dimensión Funcional): Se evalúa si para usar el OA se requiere de algún tipo de software especializado de difícil acceso, lo que impediría una buena experiencia para el usuario.

Métrica Completitud de los Metadatos (Dimensión Metadatos): Se revisa si los metadatos tienen valores válidos, si la información que presentan es suficiente para entender el contenido del OA y para que sea encontrado en las búsquedas.

Métrica Precisión de los Metadatos (Dimensión Metadatos): Se determina si los metadatos realmente describen el contenido asociado, ya que este es su principal objetivo y una diferencia sería un problema que afectaría la calidad de los recursos.

3.3 Capa de Percepción de Usuarios

A través de esta capa se evalúan los OAs tomando en cuenta el punto de vista de los usuarios, que perciben la calidad por la utilidad y pertinencia del OA en su proceso de aprendizaje. La propuesta está orientada a que sea evaluado cada recurso después de la interacción con el usuario, solicitándole responder una corta encuesta que debería ser opcional, evaluando los OAs en sí y no los algoritmos de búsqueda y recuperación de los repositorios donde se encuentran almacenados los recursos. Se propone un instrumento, que se presenta en la tabla V, donde se plantean las preguntas que podrían hacerse al usuario y que están asociadas con una dimensión. Las respuestas deben darse en escala de 0 a 5, donde 0 es el nivel más bajo y 5 el más alto.

Tabla V. Instrumento para captura de la percepción de los usuarios

Las métricas que se describen a continuación se calculan con la ecuación (10), donde, n es la cantidad de preguntas asociadas con la métrica, k es la cantidad de respuestas que tiene la pregunta i, y U_ij es la respuesta a la pregunta i, dada por el usuario j.  

Métrica Motivación (Dimensión Educativa): Pregunta sobre el nivel de motivación que produce y la posibilidad de cumplir su objetivo de apoyar procesos educativos.

Métrica Efectividad del OA (Dimensión Educativa): Se busca determinar si el OA cumple su principal objetivo que es aportar en el proceso educativo, y para esto se le pregunta al usuario cuál es su opinión al respecto.

Métrica Diseño Visual (Dimensión Estética): El diseño visual está orientado a mejorar la experiencia del usuario a través del uso, distribución y tamaño adecuado de los elementos, haciendo que el usuario se sienta cómodo al interactuando con el OA.

Métrica Disponibilidad del OA (Dimensión Funcional): Se evalúa este criterio para determinar si efectivamente el usuario pudo acceder al recurso.

Métrica Facilidad de Uso (Dimensión Funcional): Determina qué tan complejo le pareció al usuario interactuar con el recurso y si en caso de requerir algún tipo de explicación la encontró sin problema.

Métrica Precisión de los Metadatos (Dimensión Metadatos): Pregunta al usuario si encontró relación entre los metadatos y el contenido presentado, ya que la falta de coherencia entre estos dos elementos genera problemas que afectan la calidad del OA.

Métrica Relevancia (Dimensión Contextual): Se pregunta si el OA fue importante dentro del contexto de búsqueda, identificando la capacidad que tiene para que sea recuperado de acuerdo a los temas para los que fue creado.

3.4 Integración de Resultados

La estructura del modelo propuesto permite realizar diferentes integraciones con el fin de apoyar la gestión de la calidad de los OAs. Se propone generar un indicador por cada capa, asignando una ponderación a las dimensiones que tienen métricas calculadas. En la ecuación (11) se muestra cómo se calcularía, donde n es la cantidad de dimensiones que se tiene en la capa, k es la cantidad de métricas para la dimensión i, M_j es el valor de la métrica j en la dimensión i, y D_i es el peso asignado a la dimensión i. Finalmente, se podrá realizar una integración total de las capas definiendo un índice para cada OA. En este caso también se define el nivel de importancia de cada capa, lo que se muestra en la ecuación (12), donde: n es la cantidad de capas, IC_i es el índice calculado para la capa i, y C_i es el peso asignado a la capa i. Análogamente se podría generar índices por dimensiones asignando pesos a cada capa y un índice total indicando una ponderación para cada dimensión.

Estos índices podrían servir como criterio de ordenamiento en los resultados de las búsquedas, para definir una estrategia de visualización de los resultados (por ejemplo, según los colores del semáforo) o para disparar alarmar que reporten condiciones desfavorables de los recursos almacenados de acuerdo a ciertos umbrales.

IV. Validación

Con el fin de validar el modelo propuesto se realizó la evaluación de OAs de la FROAC configurando las tres capas, con todas las métricas disponibles. Ya que el estándar de metadatos utilizado es LOM, para la Capa de Gestión se utilizaron las reglas y pesos planteados como ejemplos en la explicación de las métricas. Para las Capas de Revisión de Expertos y Percepción de Usuarios se utilizaron los instrumentos presentados en las tablas IV y V, con un grupo de profesores y estudiantes de posgrado de la Universidad Nacional de Colombia (Sede Manizales) como expertos en diferentes áreas, y con un grupo de 27 estudiantes de pregrado de la misma universidad. Se les pidió que realizaran la evaluación de los primeros 10 OAs que aparecían en la FROAC como resultado de los términos de búsqueda: software, algoritmo, auditoría y sistemas. Se obtuvieron las respuestas para 46 OAs, por lo que el cálculo de las métricas asociadas a la Capa de Gestión se hizo para estos objetos. Los resultados para la Capa de Gestión se muestran en la figura 3.

Figura 3. Resultados obtenidos para la Capa de Gestión

Para los resultados de la Capa de Gestión se resalta que la Dimensión Contextual mantiene valores similares para todos los OAs, mientras que se notan bajos niveles de calificación para la Dimensión Funcional, donde se requieren algunas alternativas de mejora porque es un aspecto fundamental asociado a su calidad.

Los resultados de la Capa de Revisión de Expertos se presentan en la figura 4, donde se resalta que la Dimensión Estética es la que presenta los menores valores, contrario a esto la Dimensión Educativa es la que presenta los valores más altos.

Figura 4. Resultados obtenidos para la Capa Revisión de Expertos

La Percepción de Usuarios se muestra en la figura 5 y en términos generales demuestra que es necesario mejorar principalmente aspectos relacionados con la Dimensión Educativa y con la Dimensión de Metadatos.

Figura 5. Resultados obtenidos para la Capa Percepción de Usuarios

En las figuras 3, 4 y 5 se resalta un caso concreto que llama la atención: Uno de los OAs presenta buenos resultados para las métricas evaluadas en la Capa de Gestión, lo que llevaría a pensar que es un recurso de calidad. Sin embargo, para la Capa de Revisión de Expertos y la Capa de Percepción de Usuarios los resultados son muy bajos para todas las dimensiones. Esta situación refleja la importancia de evaluar los OAs desde diferentes visiones, ya que podría concluirse que este objeto tiene un conjunto de metadatos adecuado, pero un contenido que no está ocorde con las expectativas ni de los expertos, ni de los usuarios. 

V. Conclusiones

El modelo propuesto atiende varios de los vacíos encontrados en la revisión del estado del arte, su enfoque permite su implementación en situaciones reales y se perfila como una herramienta de gestión de la calidad de OAs en repositorios y federaciones, ya que está orientado a que sea el administrador del ROA, quien defina cuáles métricas calcular y las ponderaciones necesarias para la integración de los resultados.

Tanto en el proceso de construcción del modelo como en su validación, se corroboraron los problemas de calidad de los OAs, lo que demuestra que es necesario realizar procesos de evaluación. Además, una evaluación por capas como la propuesta permitió aprovechar las valoraciones manuales y cálculos automáticos, definiendo métricas a partir de las cuales se pueden obtener diferentes índices. 

Como trabajo futuro se plantea el crecimiento del modelo con capas que evalúe desde otros enfoques y ampliar la cantidad de métricas. Además, se está creando un mecanismo para que en la práctica cualquier repositorio pueda usarlo como servicio.

Agradecimientos

El trabajo de investigación presentado en este artículo se enmarca en el proyecto “RAIM: Implementación de un framework apoyado en tecnologías móviles y de realidad aumentada para entornos educativos ubicuos, adaptativos, accesibles e interactivos para todos”, financiado por Colciencias y el Ministerio de Educación con código 111956934172.

Referencias

Academic ADL Colab. (2013). Finding and sharing elearning objects. Standards based interoperability and federated repositories. Recuperado de http://www.academiccolab.org/?page_id=22

Bruce, T. R. y Hillmann, D. I. (2004). The continuum of metadata quality: defining, expressing, exploiting. In metadata in practice. Recuperado de https://ecommons.cornell.edu/handle/1813/7895

Cechinel, C., Sánchez-Alonso, S., y Sicilia, M.-Á. (2012). Avaliação automática da qualidade de objetos de aprendizagem dentro de repositórios [Evaluación automática de la calidad de los objetos de aprendizaje dentro de los repositorios]. Revista Brasileira de Informática na Educação, 20(03), 43-59.

Chiappe, A. (2006). Modelo de diseño instruccional basado en Objetos de Aprendizaje: aspectos relevantes. Colombia: Universidad de La Sabana.

Duque M. N. (2009). Modelo adaptativo multi-agente para la planificación y ejecución de cursos virtuales personalizados. Universidad Nacional de Colombia-Sede Medellín.

Kay, R. H., Knaack, L. y Vaidehi, V. (2008). A multi-component Model for Assessing Learning Objects: LOEM. Australasian Journal of Educational Technology, 24(5), 574-591.

Learning Technology Standards Committee. (2002). IEEE standard for learning object metadata. Nueva York: Institute of Electrical and Electronics Engineers.

Massa, S. M. (2012). Objetos de aprendizaje: metodología de desarrollo y evaluación de la calidad. Argentina: Universidad Nacional de La Plata.

McGreal, R. (2008). A Typology of learning object repositories. In Handbook on Information Technologies for Education and Training (pp. 5-28). Recuperado de https://link.springer.com/chapter/10.1007%2F978-3-540-74155-8_1

Menéndez, V. H., Castellanos, M. E., Vidal, C. y Segura, A. (2012). Un modelo de calidad de Objetos de Aprendizaje basado en la semántica de sus metadatos. Séptima Conferencia Latinoamericana de Objetos y Tecnologías de Aprendizaje. Recuperado de  http://laclo.org/papers/index.php/laclo/article/viewFile/51/46

Morales, E., García, F. J., Barrón, Á., Berlanga, A. J. y López, C. (2005). Propuesta de evaluación de Objetos de Aprendizaje. Documento presentado en el II Simposio Pluridisciplinar sobre Diseño, Evaluación y Descripción de Contenidos Educativos (SPDECE). Barcelona.

Morales, E., Gil, A. y García, F. (2007). Arquitectura para la recuperación de Objetos de Aprendizaje de calidad en repositorios distribuidos. SCHA: Sistemas Hipermedia Colaborativos Y Adaptativos. II Congreso Español de Informática CEDI.

Nesbit, J., Belfer, K. y Leacock, T. (2003). Learning Object Review Instrument (LORI). Recuperado de http://www.transplantedgoose.net/gradstudies/educ892/LORI1.5.pdf

Ochoa, X. (2008). Learnometrics: Metrics for Learning Objects. Bélgica: Katholieke Universiteit Leuven.

Park, J. R. y Tosaka, Y. (2010). Metadata quality control in digital repositories and collections: criteria, semantics, and mechanisms. Cataloging y Classification Quarterly, 48(8), 696-715.

Rosanigo, Z., Bianchi, G., Bramati, P., Paur, A., Living, E. y Saenz, M. (2007). Hacia un repositorio de objetos de aprendizaje. In Memorias IX WICC, Trelew, Chubut, Argentina.

Ruiz G, R. E., Muñoz A, J., y Álvarez R, F. J. (2007). Evaluación de Objetos de Aprendizaje a través del aseguramiento de competencias educativas. Recuperado de
http://e-spacio.uned.es/fez/eserv/bibliuned:19233/n03ruizgonz07.pdf

Sanz, J. (2010). Evaluación apriorística de la reusabilidad de los Objetos de Aprendizaje. España: Universidad de Alcalá de Henares.

Sicilia, M. A., García, E., Salvador, A. y Soto, J. (2005). A semantic lifecycle approach to Learning Object Repositories. Recuperado de https://pdfs.semanticscholar.org/5b6a/cf40b27283f0c490c0ec9e7376783efdf82a.pdf

Tabares, V., Duque, N. y Moreno, J. (2011). Análisis experimental de la utilidad en la recuperación de objetos de aprendizaje desde repositorios remotos. In Congreso Internacional en Ambientes Virtuales de Aprendizajes Accesibles y Adaptativos-CAVA. Universidad Nacional de Tucumán, Argentina.

Van de Sompel, H. y Chute, R. (2008). The aDORe federation architecture : digital repositories at scale. International Journal of Digital Libraries, 9(2), 83-100. doi:10.1007/s00799-008-0048-7

Vicari, R. M., Bez, M., Marques, J., da Silva, C., Ribeiro, A., Gluz, J. C., Passerino, L., Santos, E. et al. (2010). Proposta Brasileira de Metadados para Objetos de Aprendizagem Baseados em Agentes (OBAA). Novas Tecnologias Na Educação, 8(2). Recuperado de  http://obaa.unisinos.br/drupal7/sites/default/files/doc_files/publicacoes/15257-53544-1-PB.pdf

Vidal, C., Segura, A., Campos, P., y Sánchez-Alonso, S. (2010). Quality in Learning Objects: evaluating compliance with metadata standards. Metadata and semantic research. Communications in Computer and Information Science, 108, 342-353.

Vidal, C., Segura, A., y Prieto, M. (2008). Calidad en Objetos de Aprendizaje. V Simposio Pluridisciplinar Sobre Diseño y Evaluación de Contenidos Educativos Reutilizables (SPEDECE08), Salamanca, España.

Wiley, D. A. (2001). Connecting learning objects to instructional design theory: A definition, a metaphor, and a taxonomy. Recuperado de http://wesrac.usc.edu/wired/bldg-7_file/wiley.pdf

Yen, N., Shih, T., Member, S., Chao, L. y Jin, Q. (2010). Ranking metrics and search guidance for learning object repository. IEEE Transactions on Learning Technologies, 3(3), 250-264.