Untitled Document

Revista Electrónica de Investigación Educativa

Vol. 18, Núm. 3, 2016

Cambios en metodologías docentes y de evaluación: ¿mejoran el rendimiento del alumnado universitario?

José Domingo García-Merino (*) josedomingo.garcia@ehu.es
Sara Urionabarrenetxea (*) sara.urionabarrenetxea@ehu.es
Amaia Bañales-Mallo (*) amaia.banales@ehu.es

* Universidad del País Vasco

(Recibido: 24 de marzo de 2014; Aceptado para su publicación: 14 de septiembre de 2015)

Cómo citar: García-Merino, J. D., Urionabarrenetxea, S. y Bañales-Mallo, A. (2016). Cambios en metodologías docente y de evaluación: ¿mejoran el rendimiento del alumnado universitario? Revista Electrónica de Investigación Educativa, 18(3), 1-19. Recuperado de http://redie.uabc.mx/redie/article/view/691

Resumen

Más allá de las reformas de carácter institucional, la construcción del Espacio Europeo de Educación Superior (EEES) en el ámbito pedagógico ha traído consigo dos cambios: el impulso en la utilización de metodologías activas de enseñanza y de sistemas de evaluación continua. Nuestro objetivo es contrastar si estas innovaciones se han reflejado en el rendimiento del alumnado, a partir de un concepto multidimensional del mismo, adaptado a la Sociedad del Aprendizaje, la cual recoge no sólo la perspectiva del profesorado sino también la del alumnado, e incluye tanto conocimiento de carácter técnico como otro tipo de conocimiento. A través de una muestra de 1,276 alumnos de la Universidad del País Vasco y mediante OLS se observa una mejora, que en el caso de las calificaciones conferidas por el profesorado es estadísticamente significativa. En cuanto a la percepción del alumnado, la mejora en la adquisición de competencias de tipo instrumental y sistémico es estadísticamente significativa, no así en las de tipo interpersonal.

Palabras clave: rendimiento, evaluación continua, evaluación formativa, autoevaluación, universidad

I. Introducción

La internacionalización, el desarrollo de las TIC y la rapidez en la difusión y aplicabilidad del conocimiento científico han modificado los patrones de comportamiento de las organizaciones. Tal como sostenía la Comisión Europea (1996), la sociedad del futuro será la Sociedad del Aprendizaje y las universidades desempeñan un papel fundamental en este proceso; éstas necesariamente deben adaptarse a los nuevos modelos de producción, difusión y aplicación del conocimiento (UNESCO, 2005).

Este nuevo contexto requiere una respuesta del sistema educativo en general y del universitario en particular. Así, y en aras de mejorar la compatibilidad, comparabilidad y competitividad de distintos sistemas universitarios, surgen iniciativas como la europea, en la cual se plantea la necesidad de construir un Espacio Europeo de Educación Superior (EEES), cuyas bases se han extendido a la creación del Espacio Común de Educación Superior, a iniciativa de los países de América Latina, el Caribe y la propia Unión Europea (ALCUE) (Fraile, 2006).

Ahora bien, ¿realmente estos cambios han sido únicamente de carácter institucional o han ido más allá y han permitido mejorar el rendimiento alcanzado por los estudiantes? Sin duda, este proceso es una oportunidad inmejorable para adaptarse a esta nueva realidad social. Más allá de las reformas de carácter institucional, en el ámbito pedagógico el proceso de construcción del EEES ha traído consigo dos principales reformas: el impulso del desarrollo de nuevas metodologías de enseñanza y nuevos sistemas de evaluación. Este trabajo tiene por objetivo contrastar empíricamente si estas innovaciones docentes han traído consigo una mejora en el rendimiento del alumnado, a partir de una muestra de 1,276 alumnos de la Universidad del País Vasco.

La calificación obtenida ha sido el indicador utilizado tradicionalmente para medir dicho rendimiento, sin embargo, el nuevo escenario dibujado en la Sociedad del Aprendizaje requiere necesariamente la revisión del concepto de conocimiento y, derivado de esto, una redefinición del concepto de rendimiento del alumnado. Este es otro aspecto donde el presente trabajo pretende aportar: la utilización de un concepto de rendimiento multidimensional, adaptado a la Sociedad del Aprendizaje.

1.1 Concepto de rendimiento del alumnado en la Sociedad del Aprendizaje

La Sociedad del Aprendizaje se define como aquella en la que hay un nivel significativamente elevado de aprendizaje en el quehacer diario (Miller, 2003). La increíble velocidad con la que el conocimiento se crea, se comparte y se aplica en todos los sectores de la economía y la sociedad ha llevado a muchos autores a hablar de la revolución del conocimiento (Kuznetsov y Dahlman, 2008). Pero al mismo tiempo, la impregnación de conocimiento sufrida por la sociedad ha ido unida a una mayor obsolescencia del mismo, resultando imprescindible la actualización del saber de una persona durante su vida profesional.

Existe un acuerdo generalizado de que la educación superior, además de proporcionar una preparación técnica y profesional adecuada, debe preparar a sus estudiantes para ser reflexivos, críticos y capaces de pensar por cuenta propia. Esto supone que desde la universidad se debe suscitar el desarrollo de diversas competencias (Ugarte y Naval, 2010). El concepto de competencias debe interpretarse como una serie de habilidades relacionadas con la capacidad para reconocer y definir nuevos problemas, así como resolverlos (Kirschner, Van Vilsteren, Hummel y Wigman, 1997; Tuschling y Engemann, 2006), es decir, hacen referencia a conocimiento aplicado y, por ello, el aprendizaje basado en competencias supone conocer, comprender y usar pertinentemente una serie de conocimientos (Jones et al., 2009).

Tradicionalmente, la calificación final obtenida por el alumnado ha sido el indicador más profusamente utilizado para medir su nivel de rendimiento (Porcel, Dapozo, y López, 2010; Florido, Jiménez y Santana, 2011). Sin embargo, la redefinición y ampliación del concepto de conocimiento exige igualmente una conversión del concepto de rendimiento en una variable multidimensional, que recoja no sólo aspectos técnicos, sino otra serie de habilidades.

En el contexto social actual, el rendimiento debe ser concebido desde un punto de vista amplio, integrando la adquisición de competencias. Las competencias son una combinación de conocimiento, habilidades y actitudes adquiridas por el alumnado. Se desarrollan a través de experiencias de aprendizaje integradoras en las que los conocimientos y las habilidades interactúan para ejecutar de manera eficiente las tareas (Mateo, Escofet, Martínez-Olmo, Ventura y Vlachopoulos, 2012). No existe ningún acuerdo consensuado sobre cuáles deben ser exactamente las competencias a alcanzar y menos aún una clasificación en función de su importancia (Barth, Godemann, Rieckmann y Stoltenberg, 2007). Ahora bien, el proyecto Tuning Educational Structures in Europe (González y Wagenaar, 2003) se ha convertido en un referente a la hora de clasificar y medir el nivel de adquisición de competencias por parte de estudiantes universitarios a nivel mundial. Uno de los objetivos originales de este proyecto fue facilitar la convergencia en la educación superior europea, pero posteriormente ha ampliado su ámbito de aplicación, y se ha empleado para promover la convergencia de la educación superior en América Latina, lo cual da una idea de su importancia y validez.

Las competencias clasificadas según el proyecto Tuning (competencias instrumentales, interpersonales y sistémicas) serán consideradas en este trabajo como parte del rendimiento a alcanzar por el alumnado. Las competencias instrumentales corresponden a las habilidades cognitivas y metodológicas, las sistémicas están relacionadas con la capacidad para ver cómo las partes de un todo se relacionan y se agrupan, y las interpersonales están asociadas a la interrelación con otras personas. Dado que el nacimiento de este proyecto fue una respuesta al cambio de paradigma desde la educación centrada en la enseñanza a la educación centrada en el aprendizaje y que uno de sus objetivos originales fue facilitar la convergencia en la Educación Superior Europea, la clasificación propuesta encaja perfectamente con el objetivo de este trabajo.

Ahora bien, el carácter multidimensional del concepto de rendimiento debe ir más allá de incluir nuevas dimensiones. El estudiante es el que da el significado y la utilidad al aprendizaje desarrollado y, por tanto, a la perspectiva del profesorado sobre el proceso de aprendizaje del estudiante resulta necesario añadir la perspectiva del alumnado sobre su nivel de aprendizaje. La información que añaden ambos tipos de medidas no es redundante, ya que en general la correlación entre ambos indicadores es baja (Kamphorst, Hofman, Jansen y Terlouw, 2013). Tal como sostienen Smith, Dunn, Pollock, Stewart y Galivan (2011), la aplicación simultánea de ambas medidas del resultado del aprendizaje será necesaria para determinar el “éxito” de un programa formativo.

Si además de medir el rendimiento de los alumnos como individuos se quisiera evaluar el nivel de éxito de un curso en su conjunto, deberían recogerse los casos en los que los estudiantes han abandonado. La deserción por parte del alumnado universitario es uno de los múltiples indicadores de la calidad del sistema educativo (Bethencourt, Cabrera, Hernández, Álvarez y González, 2008; Calvo y Mingorance, 2010).

Así pues, en este trabajo se analizará el concepto de rendimiento en sentido amplio: se considerarán, además de la tradicional calificación obtenida, la autoevaluación por parte del alumnado del nivel de competencias adquiridas y el número de presentados sometidos a evaluación.

1.2 Los cambios pedagógicos introducidos como respuesta a la Sociedad del Aprendizaje

Dado que un graduado no puede ser un mero depósito de conocimientos, la formación no puede estar basada únicamente en la transmisión de contenidos (Valveny et al., 2012), lo cual exige una reconfiguración del proceso de enseñanza-aprendizaje.

El puente entre el paradigma tradicional de enseñanza y el actual, centrado en el aprendizaje del estudiante debe encontrarse en el aprendizaje basado en competencias (Voorhees, 2001). Con la intención de dar respuesta a las nuevas necesidades de la Sociedad del Aprendizaje, la construcción del EEES ha planteado un cambio de enfoque pedagógico, desde la enseñanza basada en el profesor al aprendizaje centrado en el alumno. Los principales cambios pedagógicos acometidos en el sistema universitario español han sido dos: la implantación de metodologías de enseñanza activas y los sistemas de evaluación continua (Tovar et al., 2007).

Con respecto a la primera forma de innovación docente, se han potenciado nuevas metodologías, más participativas y más colaborativas, que tienen por objetivo el desarrollo de competencias no sólo de naturaleza técnica (Fernandes, Mesquita, Flores y Lima, 2014; Gil, Montoya, Herrada, Baños y Montoya, 2013). Las metodologías activas buscan responsabilizar al estudiante de su proceso de enseñanza, confiriéndole un papel protagonista frente al método expositivo tradicional. La única forma de conseguir que los estudiantes aprendan de un modo independiente y autónomo es enfrentándoles a situaciones en las que tienen que utilizar estrategias de búsqueda de información, tomar decisiones y aplicar los conocimientos adquiridos a la solución de problemas realistas (De Miguel, 2009). En este nuevo contexto el rol del profesor también se ve modificado, actuando como orientador y dinamizador del proceso.

En cuanto a los nuevos sistemas de evaluación, los métodos de evaluación tradicionales están basados en valorar los conocimientos adquiridos por los estudiantes mediante un examen final, es decir, están centrados en la etapa final del aprendizaje (Calderón y Escalera, 2008). El nuevo contexto exige métodos que evalúen el proceso de aprendizaje. Si los estudiantes deben ser capaces de aprender por sí mismos, no es suficiente con evaluar únicamente el conocimiento final adquirido, sino que se ha de valorar el proceso seguido. Por ello, se han de potenciar los sistemas de evaluación continua (Álvarez, Padilla, Rodríguez, Torres y Suárez, 2008; Álvarez, 2011).

Los sistemas de evaluación continua y formativa, y el desarrollo de metodologías docentes activas mantienen interrelaciones mutuas (López-Pastor, 2011), por lo que su implantación de un modo conjunto potencia sus efectos beneficiosos.

1.3 Hipótesis y justificación

El empleo de metodologías activas y el incremento del peso de la evaluación continua cuentan con ciertas ventajas que deberían reflejarse en el rendimiento del alumnado.

Con respecto al primero, éste incrementa la motivación del alumnado (Álvarez, 2004; Burguillo, 2010), facilita un aprendizaje más significativo (Sinclair y Ferguson, 2009; Gargallo, Suárez, García, Pérez y Sahuquillo, 2012), estimula el pensamiento crítico y creativo (Fernández, 2006; Barrett, 2005) y promueve la interacción incrementando habilidades interpersonales (Hmelo-Silver, 2004), tales como el trabajo en equipo, capacidad de crítica y autocrítica y habilidades de comunicación. En definitiva, obligan al desarrollo y puesta en práctica de habilidades y competencias, frente al sistema tradicional en el que prima la adquisición de conocimientos.

En cuanto a la implantación de nuevos sistemas de evaluación, en los años previos al proceso de Bolonia ya se habían introducido de forma tímida las primeras experiencias en base a sistemas de evaluación continua. Sin embargo, la dificultad en el seguimiento de la labor realizada por los estudiantes debido a la dimensión elevada de los grupos y la carga de trabajo que su evaluación suponía para el profesorado hacían inviable extender el proceso. La introducción en el EEES ha supuesto el reconocimiento de distintas modalidades docentes (clases magistrales, prácticas de aula y seminarios) que permiten trabajar en grupos más pequeños, lo que ha permitido un importante cambio en dos sentidos: por una parte, un incremento muy significativo del peso de la evaluación continua sobre la evaluación total y, por otra parte, la introducción del sistema de evaluación formativa.

El sistema tradicional aboga por una evaluación sumativa con base principalmente en el examen final, mientras que en el nuevo sistema la evaluación se realiza durante todo el proceso de aprendizaje (Boud, 2000). La evaluación no es un objetivo en sí mismo, sino un instrumento para la mejora del proceso enseñanza-aprendizaje (Martínez-Lirola y Rubio, 2009), lo cual genera dos efectos beneficiosos: por un lado, el estudiante dispone de un mayor feedback a lo largo del curso (Gibbs y Simpson, 2004), lo que le permite identificar y corregir sus deficiencias; se trata de que la evaluación se oriente a optimizar el aprendizaje, lo que Knight (2006) denomina feedforward. Por otro lado, este tipo de evaluación tiene un efecto motivador sobre el estudiante (Sewell, 2004), habiéndose contrastado ampliamente la importancia de la motivación sobre el aprendizaje (Nicol y Macfarlane-Dick, 2006). Aunque este efecto motivacional se ve incrementado si tiene un reflejo en la calificación obtenida, algunos estudiantes encuentran motivadora la simple interacción con los profesores o con iguales, aún en ausencia de recompensas en la calificación obtenida (Yorke, 2003). Todo ello debería reflejarse en el rendimiento del alumnado.

Estos nuevos planteamientos de innovación docente desarrollados en el seno del EEES, y acordes con las exigencias de la Sociedad del Aprendizaje, deberían impulsar una mejora en el rendimiento alcanzado por el alumnado. Así pues, la hipótesis principal de este trabajo es: “El rendimiento alcanzado por el alumnado mejora tras la implantación de metodologías de aprendizaje activas y sistemas de evaluación continua”.1

Basándonos en la definición amplia de rendimiento planteada en la segunda sección, esta mejora debería tener reflejo en: la perspectiva del profesor, que es recogida a través de la calificación conferida por el profesor, tanto en el examen final como en la parte de evaluación continua; la perspectiva del alumnado en cuanto a competencias adquiridas, tanto tipo instrumental, como interpersonal y sistémico; y el número de presentados, tanto al examen final como a la evaluación continua. Por tanto, la hipótesis principal se desglosa en tres subhipótesis:

H1: La calificación final obtenida por los alumnos ha mejorado tras las innovaciones pedagógicas implantadas.

H1.1: La calificación obtenida en el examen final ha mejorado tras las innovaciones pedagógicas implantadas.

H1.2: La calificación obtenida durante la evaluación continua ha mejorado tras las innovaciones pedagógicas implantadas.

H2: La autoevaluación por parte del alumnado en cuanto a competencias adquiridas ha mejorado tras las innovaciones pedagógicas implantadas.

H2.1: La autoevaluación por parte del alumnado en cuanto a las competencias instrumentales adquiridas ha mejorado tras las innovaciones pedagógicas implantadas.

H2.2: La autoevaluación por parte del alumnado en cuanto a las competencias sistémicas adquiridas ha mejorado tras las innovaciones pedagógicas implantadas.

H2.3: La autoevaluación por parte del alumnado en cuanto a las competencias interpersonales adquiridas ha mejorado tras las innovaciones pedagógicas implantadas.

H3: El número de presentados ha aumentado tras las innovaciones pedagógicas implantadas.

H3.1: El número de presentados al examen final ha aumentado tras las innovaciones pedagógicas implantadas.

H3.2: El número de presentados a la evaluación continua ha aumentado tras las innovaciones pedagógicas implantadas.

II. Método

Para alcanzar el objetivo propuesto, a través del contraste de las hipótesis planteadas, se ha hecho seguimiento del rendimiento obtenido por 1,276 alumnos, de los cuales 596 corresponden a la última promoción antes de entrar en funcionamiento los nuevos grados que han dado pie al surgimiento del EEES, es decir, el grupo de control, y 680 son de la primera promoción tras la puesta en marcha de este proceso y la implantación de las innovaciones anteriormente descritas.

Se dispone de datos sobre la totalidad de la población para los indicadores basados en el número de presentados –que han sido 1,108 alumnos– y en la calificación conferida por el profesorado. Para el indicador basado en la autoevaluación del propio alumnado se han obtenido 578 respuestas válidas (232 para el periodo pre-Bolonia y 346 para post-Bolonia), lo cual supone un 45.3% de la población total y representa, para un nivel de confianza del 95%, un nivel máximo de error del 3%.

2.1 Escalas de medida

En cuanto a la variable dependiente, el rendimiento, tal y como se ha señalado, se va a diferenciar entre la perspectiva del profesorado y la del alumnado. La perspectiva del profesorado se recogerá a través de dos dimensiones (Association of Universities and Colleges of Canada, 1995):

a) La calificación asignada a través de una prueba final, con la que el profesor valora los conocimientos que el alumnado ha sido capaz de adquirir durante el curso. Esta calificación se ha recogido en una escala 0-10 que posteriormente ha sido trasladado a los intervalos Suspenso [0-5), Suficiente [5-7), Bien [7-9), Muy bien [9-10].

b) El profesorado a lo largo del curso recoge evidencias del proceso de aprendizaje seguido por el estudiante. Cada vez toma más peso el empleo del portafolio como herramienta evaluativa (Molero, 2007), el cual permite al profesorado evaluar otras habilidades, además de las cognitivas, a través de resoluciones de casos, exposiciones, elaboración de informes, etc. Estas actividades no son independientes del aspecto cognitivo, sino que pueden ser utilizadas para reforzar este aspecto. Esta variable se ha recogido en las mismas escalas que la calificación en la prueba final.

La calificación final obtenida por el alumnado es producto de la evaluación realizada a través del examen y de las tareas realizadas a lo largo del curso.

En relación a la perspectiva del estudiante, se realizó una encuesta a través de la cual, mediante una escala Likert 1-5, se recogió su opinión sobre el grado de adquisición de competencias de acuerdo al Proyecto Tuning (ver anexo). Para que ambas perspectivas fueran comparables, las respuestas se reescalaron estableciendo los intervalos Suspenso [1-3), Suficiente [3-4), Bien [4-4.5) y Muy bien [4.5-5], similares a las dimensiones anteriores.

La última variable que explica el rendimiento del alumnado es el porcentaje de presentados, tanto al examen final como a la evaluación continua.

En cuanto a la variable independiente, el curso, se ha utilizado una variable dummy que recoge si el estudiante cursó la asignatura sometida a estudio el año previo a la implantación del proceso de Bolonia o el primer año de su implantación.

Para el análisis de la variación del rendimiento del alumnado, en primer lugar, se realiza un análisis descriptivo y posteriormente se procede al contraste estadístico de las hipótesis planteadas. Para contrastar las hipótesis H1 y H2, dado que la variable dependiente empleada es una variable continua, utilizamos un modelo de regresión lineal mediante Mínimos Cuadrados Ordinarios (MCO) (Greene 2008). La hipótesis H3 es contrastada mediante los estadísticos de contraste de Pearson, puesto que la variable rendimiento empleada es categórica.

III. Resultados

Los resultados obtenidos se exponen de acuerdo al orden seguido en el planteamiento de hipótesis. En primer lugar, se ofrecen los resultados referidos a la perspectiva del profesorado; a continuación, se recogen los resultados obtenidos a través de las opiniones de los propios alumnos sobre su aprendizaje y, por último, se muestra si el seguimiento de la asignatura ha mejorado significativamente.

En la figura 1 se muestra la distribución de los resultados obtenidos por el alumnado desde la perspectiva del profesorado, tanto en el primer curso pre-Bolonia como en el curso inmediatamente posterior (examen, evaluación continua y calificación final).

Figura 1. Distribución de la variable rendimiento desde la perspectiva del profesorado

Los resultados muestran una mejoría, ya que en general el porcentaje de la categoría Suspenso se reduce y aumenta el de la categoría Bien. En concreto, el porcentaje de suspensos se reduce en las tres categorías, pero de forma divergente: un 35.26% en la parte de la evaluación continua, un 11.58% en el examen y solamente un 4.14% en la calificación final. La calificación de suficiente se reduce un 9.17% en el examen y aumenta un 15.34% en la evaluación continua, aumentando un 4.4% los alumnos que han obtenido esta calificación en la evaluación final. Los alumnos cuya calificación es Bien aumentan casi un 18%, tanto en la nota de la evaluación continua como en la nota del examen, y los alumnos con calificación de Muy bien, a su vez, en un 2% aproximadamente en ambos tipos de evaluación. La calificación final sólo aumenta un 0.66% en la categoría de Bien y se reduce un 0.92% en la categoría de Muy bien. La obtención de una calificación final alta supone la obtención de esta categoría tanto en el examen como en la evaluación continua. Dado que estas dos evaluaciones no presentan una correlación elevada (la correlación de Spearman es de 0.078), ya que evalúan elementos distintos, en muchos casos aquellos estudiantes que han alcanzado una evaluación en el examen de bien o muy bien, en la evaluación continua no han obtenido la misma calificación, por lo que la calificación final construida a partir de estas dos medidas no es alta.

La relevancia estadística de esta mejora puede observarse en la tabla I. La calificación final obtenida por los alumnos ha mejorado significativamente tras las innovaciones pedagógicas implantadas, así como las dos medidas de evaluación utilizadas por el profesorado (el examen y la evaluación continua), por tanto, se puede aceptar nuestra primera hipótesis.

Tabla I. Rendimiento desde la perspectiva del profesorado

  Nota
Examen
Nota Eval.
Continua
Nota
Final
Constante 4.239 3.326 4.607
  (21.949)*** (14.318)*** (18.098)***
Post-Bolonia 0.231 1.541 0.459
  (1.978)** (10.896)*** (2.987)***

Nota: estadístico t entre paréntesis; * p<0.1, **p<0.05, *** p<0.01

Con respecto a la perspectiva del alumnado, en la figura 2 se muestran las frecuencias del nivel de adquisición de competencias según los alumnos.

Figura 2. Distribución de la variable rendimiento desde la perspectiva del alumnado

Las competencias de tipo instrumental (dirección y administración de una empresa u organización, aplicación de los principios de análisis económico para la toma de decisiones empresariales, etc.) y sistémico (búsqueda, recogida, análisis y síntesis de información, capacidad de aprender de manera autónoma y continuada, etc.) han sido objeto de una variación importante tras la implantación de las innovaciones pedagógicas, ya que fundamentalmente se ha reducido el porcentaje de la categoría de suspenso y ha aumentado el de la categoría de suficiente en el caso de las competencias instrumentales y el de bien en el caso de las competencias sistémicas. Por el contrario, la variación sufrida por las interpersonales ha sido mínima. El porcentaje de estudiantes que considera que no ha desarrollado un nivel mínimo de competencias (suspenso) ha disminuido un 5.6% en las de tipo instrumental y un 11.1% en las de tipo sistémico. Sin embargo, su comportamiento difiere en los distintos niveles: los alumnos que consideran que han adquirido competencias instrumentales de forma suficiente han aumentado un 11.44%, por su parte, los alumnos que consideran que han adquirido competencias de tipo sistémico aumentan en todos los intervalos: un 1.8% de forma suficiente, un 7.2% bien y un 2.2% muy bien.

En la tabla II se muestra que, según el alumnado, la adquisición de competencias sistémicas ha sido significativamente mayor tras la implantación del proceso de Bolonia, pero no así las de tipo instrumental e interpersonal. Así pues, la hipótesis H2.2 es aceptada, mientras que la H2.1 y la H2.3 son rechazadas.

Tabla II. Rendimiento desde la perspectiva del alumnado

  Comp.
Instrumentales
Comp.
Sistémicas
Comp.
Interpersonales
Constante 3.431 2.789 3.314
  (34.436)*** (25.769)*** (31.584)***
Post-Bolonia 0.031 0.341 0.095
  (1.018) (5.272)*** (1.519)

Nota: estadístico t entre paréntesis; *p<0.1, **p<0.05, ***p<0.01

 

Finalmente, analizamos los resultados en relación al porcentaje de estudiantes que abandona la asignatura. La figura 3 muestra el porcentaje de alumnos que se someten a la evaluación del profesorado en sus dos vertientes: el número de presentados al examen final y el número de alumnos que ha realizado una evaluación continua.

Figura 3. Distribución de la variable seguimiento de la asignatura por parte del alumnado

En relación a la tercera hipótesis, se observa que el porcentaje de alumnos que se ha sometido a la evaluación realizada por parte del profesorado se ha incrementado significativamente tras el proceso de adaptación a Bolonia: el porcentaje de no presentados al examen ha pasado del 22% al 5.4% y el de no sometimiento a la evaluación continua ha descendido del 27% al 16.5%. De modo que se puede aceptar la tercera hipótesis, ya que se observan diferencias estadísticamente significativas entre ambos colectivos, según se desprende de la tabla III.

Tabla III. Seguimiento de la asignatura por parte del alumnado. Estadísticos de contraste

Chi-cuadrado
de Pearson
Significatividad
La distribución de Presentados Examen
es la misma en ambos cursos
75.990 0.000
La distribución de Presentados Evaluación Continua es la misma en ambos cursos 152.350 0.000

IV. Discusión

Los resultados obtenidos muestran que los cambios pedagógicos introducidos con la implantación del proceso de Bolonia han mejorado el rendimiento del alumnado, tanto desde el punto de vista del profesorado como desde el del propio alumnado, y han reducido la tasa de abandono. Ahora bien, un análisis más exhaustivo considerando las distintas variables explicativas, nos conduce a interesantes puntos de discusión que podrían ser determinantes para la mejora del EEES en el futuro.

Con respecto a la perspectiva del profesorado, tras los cambios pedagógicos acometidos, los resultados son especialmente buenos en la calificación de la evaluación continua. Dos son las razones que pueden explicar esta mejora en el rendimiento. Por un lado, el desarrollo de una evaluación formativa y el disponer de un feedforward rápido sobre el trabajo realizado permiten a los alumnos conocer en qué deben mejorar y corregir sus errores antes de la evaluación final. Además, les permite conocer también cuál es el desempeño esperable según el profesor, lo que puede mejorar su motivación. Por otro lado, el hecho de que el peso de la evaluación continua haya aumentado en la calificación final y, por tanto, los incentivos para desarrollar un trabajo diario, modifica los patrones de actuación de los alumnos, facilitando su implicación en la asignatura y en su propio aprendizaje. Una vez que se ha invertido un tiempo notable en la asignatura, los costes de abandonar son mayores que si no se le ha dedicado aún ningún esfuerzo y se ha dejado todo para la prueba final. Por esta razón, los alumnos se muestran más proclives a seguir invirtiendo un “poco” más de esfuerzo y continuar en la realización de nuevas tareas. Por tanto, consideramos que el cambio hacia un sistema en el que la evaluación continua adquiere más peso incrementa la implicación de los estudiantes, el seguimiento de la asignatura y su rendimiento.

La calificación del examen también ha mejorado, lo cual es muestra de que la utilización de metodologías activas y el mayor peso del sistema de evaluación continua resultan eficientes en la adquisición de conocimiento en el sentido tradicional. Como elemento negativo se observa que resulta más difícil obtener una calificación muy alta. La evaluación basada en competencias exige más habilidades (técnicas, sociales, organizativas, etc.) que hay que demostrar durante más tiempo (a lo largo de todo el curso) frente al sistema tradicional en el que para obtener la máxima calificación sólo era necesario demostrarlo un día, el de la prueba final y, en general, sólo se requerían habilidades y conocimientos de tipo técnico, por ello, resulta más difícil alcanzar el nivel más alto.

Cabría pensar que el hecho de que buena parte de las tareas desarrolladas durante la evaluación continua se realicen de manera grupal permite complementar las habilidades entre los miembros del equipo y obtener un resultado mejor que el que obtendrían individualmente. Aunque esta mejora se observa en los niveles inferiores y medios, no se obtiene en los niveles altos de la calificación. Puede suceder que aquellos estudiantes más avanzados deban dedicar parte de sus esfuerzos a ayudar al resto de los miembros de su equipo, y no a su propio desarrollo, lo cual puede limitar su progreso y oscurecer su rendimiento. De modo que consideramos que el nuevo sistema perjudica el rendimiento de los estudiantes más brillantes.

En cuanto a la percepción del alumnado, resulta relevante que la principal mejora se produzca en las competencias de tipo sistémico. La concepción tradicional de aprendizaje se asocia a nuevo conocimiento. Sin embargo, la rapidez con la que se produce su obsolescencia supone que actualmente es crucial el desarrollo de habilidades relacionadas con la capacidad de aprender, precisamente, las que están relacionadas con las competencias sistémicas. Por tanto, una de las principales bondades del nuevo paradigma educativo, promovido durante el proceso de Bolonia, es la mejora en el rendimiento en cuanto al desarrollo de competencias sistémicas.

Otro elemento negativo es que, en opinión del alumnado, la mejora en el desarrollo de competencias interpersonales ha sido pequeña, cuando precisamente el nuevo sistema busca el desarrollo del trabajo colaborativo, fomentar habilidades comunicativas, etc. Una posible explicación es que cuando el trabajo en grupo es mayor, la posibilidad de conflictos aumenta. Esto puede generar un sentimiento negativo y cierto rechazo hacia el trabajo en grupo, que ha podido perjudicar la percepción que el alumnado tiene sobre el grado de desarrollo de competencias interpersonales. Al mismo tiempo hemos de reconocer que la autorregulación de los grupos no resulta sencilla y, tal vez, requiera de una madurez personal que no todos los estudiantes han alcanzado aún. Como se recoge en numerosos estudios, el desarrollo de dinámicas cooperativas está estrechamente vinculada a la madurez emocional de los integrantes (Johnson y Johnson, 2009).

La percepción de la mejora en las competencias instrumentales por parte del alumnado tampoco mejora de forma significativa. Llama la atención que este tipo de competencias relacionadas con habilidades cognitivas no mejoren de un modo estadísticamente significativo desde el punto de vista del alumnado, pero sí mejora la calificación obtenida en el examen, que precisamente pretende recoger en gran medida este tipo de conocimiento, aunque desde la perspectiva del profesorado. La evaluación continua obliga a un aprendizaje continuo, de modo que la mejora que se produce en el día a día es pequeña, aunque el avance total durante todo el curso haya sido importante. Es posible que esta situación lleve a los alumnos a valorar como menor el aprendizaje que han alcanzado.

Finalmente, destacar que el establecimiento de sistemas de evaluación en los que se prima la evaluación continua conduce a aumentar el seguimiento realizado y a reducir la tasa de no presentados. Al menos en estudios no vocacionales, la existencia de incentivos incrementa el seguimiento de los estudiantes. La introducción de un sistema de incentivos, de modo que el trabajo realizado a lo largo del curso tenga su reflejo en la calificación final, en nuestro caso se ha mostrado efectiva, aunque tal vez en estudios en los que la motivación de partida de los estudiantes es elevada, no sea necesario.

V. Conclusiones

Los cambios introducidos con la adaptación al EEES, tanto en la reconfiguración del proceso de enseñanza-aprendizaje como en la evaluación, han hecho que mejore el rendimiento alcanzado por el alumnado, independientemente del indicador utilizado, pero las mejoras varían en función del mismo:

  • Las calificaciones conferidas por el profesorado han mejorado significativamente. De hecho, esta mejora es superior a la que perciben los estudiantes. La evaluación por competencias, frente a un sistema tradicional de evaluación únicamente basado en contenidos, parece no haber sido interiorizado por el alumnado aún.
  • La adquisición de competencias ha mejorado, aunque existen diferencias dependiendo del tipo de competencia. La principal mejora se produce en competencias de tipo sistémico, precisamente, las relacionadas con la capacitación para seguir aprendiendo a lo largo de su vida profesional.
  • La introducción en el EEES ha permitido que el número de abandonos se haya reducido sustancialmente. El mayor peso de la evaluación continua ha incidido en esta mejora, ya que exige un reparto más uniforme de la carga de trabajo por parte del alumnado.

Ahora bien, Bolonia también ha traído consigo elementos negativos:

  • Resulta más difícil la obtención de calificaciones muy altas por parte del alumnado. El mayor peso del trabajo colaborativo dificulta la discriminación entre los integrantes del equipo. Deberían realizarse pruebas de carácter individual, no solo sobre conocimientos mínimos, que permitan reconocer el esfuerzo de aquellos estudiantes más brillantes.
  • El alumnado percibe que no se ha producido una mejora en la adquisición competencias de tipo interpersonal. Aunque el nuevo sistema favorece el trabajo colaborativo y la puesta en práctica de habilidades comunicativas, los conflictos y miedos que genera ocasiona un cierto rechazo entre la comunidad estudiantil.

En definitiva, aunque las mejoras que ha permitido el nuevo sistema son objetivas, aún es necesario un cambio cultural que facilite su asimilación, y un ajuste en el sistema de evaluación.

Referencias

Álvarez, I. (2004, junio-julio). Experiencias de aprendizaje orientado a la solución de problemas con soporte tecnológico. Ponencia presentada en III Congreso Internacional de Docencia Universitaria e Innovación, Girona, España.

Álvarez, V. (2011). Análisis de la participación del alumnado universitario en la evaluación de su aprendizaje. Revista Española de Pedagogía, 260, 401-426.

Álvarez, V., Padilla, M. T., Rodríguez, J., Torres, J. J. y Suárez, M. (2008). Análisis de la participación del alumnado universitario en la evaluación de su aprendizaje. Revista Española de Pedagogía, 250, 401-426.
Association of Universities and Colleges of Canada (1995): A primer on performance indicators. Research File, 1(2), 1-8.

Barrett, T. (2005). Understanding problem-based learning. En T. Barrett, I. MacLabhrainn y H. Fallon (Eds.), Handbook of enquiry and problem-based learning. Irish case studies and international perspectives (pp. 13-25). Irlanda : Universidad Nacional Galway, Centre for Excellence in Learning and Teaching.

Barth, M., Godemann, J., Rieckmann M. y Stoltenberg, U. (2007). Developing key competencies for sustainable development in higher education. International Journal of Sustainability in Higher Education, 8(4), 416-430.

Bethencourt, J. T., Cabrera, L. C., Hernández, J. A., Álvarez, P. y González, M. (2008). Variables psicológicas y educativas en el abandono universitario. Electronic Journal of Research in Educational Psychology, 6(16), 603-622.

Boud, D. (2000). Sustainable assessment: rethinking assessment for the learning society. Studies in Continuing Education, 22(2), 151-167.

Burguillo, J. C. (2010). Using game theory and competition-based learning to stimulate student motivation and performance. Computers y Education, 55(2), 566-575.

Calderón, C. y Escalera, G. (2008). La evaluación de la docencia ante el reto del Espacio Europeo de Educación Superior (EEES). Educación XXI: Revista de la Facultad de Educación, 11, 237-256.

Calvo, A. y Mingorance, A. C. (2010). Evaluación continua de conocimientos vs de competencias: resultados de la aplicación de dos métodos valorativos diferentes. Revista de Investigación Educativa, 28(2), 363-383.

Commission of the European Communities (1996). Teaching and learning: towards the learning society. Oficina de Publicaciones de la Comunidad Europea.

De Miguel, M. (2009). Metodologías de enseñanza y aprendizaje para el desarrollo de competencias. Madrid: Alianza.

Fernandes, S., Mesquita, D., Flores, M. A. y Lima, R. M. (2014). Engaging students in learning: Findings from a study of project-led education. European Journal of Engineering Education, 39(1), 55-67.

Fernández, A. (2006). Metodologías activas para la formación de competencias. Educatio siglo XXI, 24, 35-56. Recuperado de http://redie.uabc.mx/redie/article/view/119

Florido, C., Jiménez, J. L. y Santana, I. (2011). Obstáculos en el camino hacia Bolonia: efectos de la implantación del Espacio Europeo de la Educación Superior (EEES) sobre los resultados académicos. Revista de Educación, 354, 629-656.

Fraile, A. F. (2006). El sistema universitario europeo como modelo posible para la educación superior latinoamericana. Revista Electrónica de Investigación Educativa, 8(1), 1-15.

Gargallo, B., Suárez, J. M., García, E., Pérez, C. y Sahuquillo, P. M. (2012). Enfoques de aprendizaje en estudiantes universitarios excelentes y en estudiantes medios. Revista Española de Pedagogía, 252, 185-200.

Gil, C., Montoya, M. G., Herrada, R. I. Baños, R. y Montoya, F. G. (2013). Engaging students in computer–supported cooperative learning. International Journal of Learning Technology, 8(3), 297-311.

Gibbs, G. y Simpson, C. (2004). Conditions under which assessment supports students’ learning. Learning and Teaching in Higher Education, 1, 3-31.

González, J. y Wagenaar, R. (2003). Tuning educational structures in Europe. Final report, phase one. Bilbao: Universidad de Deusto.

Greene, W. H. (2008). Econometric analysis. Boston, MA: Prentice Hall.

Hmelo-Silver, C. E. (2004). Problem-based learning: what and how do students learn? Educational Psichology, 16(3), 235-266.

Johnson, D. W. y Johnson, R. T. (2009). An educational psychology success story: Social interdependence theory and cooperative learning. Educational Researcher, 38, 365-379.

Jones, M., Coiacetto, E., Jackson, J., Coote, M., Steele, W., Budge, T. y Gall, S. (2009). Generating academic standards and assessment practices in work integrated learning: a case study from urban and regional planning. Asia-Pacific Journal of Cooperative Education, 10(3), 203-215.

Kamphorst, J. C., Hofman, W. H. A., Jansen, E. P. W. A. y Terlouw, C. (2013). The relationship between perceived competence and earned credits in competence-based higher education. Assessment y Evaluation in Higher Education, 38(6), 646-661.

Knight, P. (2006). The local practices of assessment. Assessment y Evaluation in Higher Education, 31(4), 435-452.

Kirschner, P. A., Van Vilsteren, P., Hummel, H. y Wigman, M. (1997). A study environment for acquiring academic and professional competence. Studies of Higher Education, 22(2), 151-171.

Kuznetsov, Y. N. y Dahlman, C. J. (2008). Mexico’s transition to a knowledge-based economy: Challenges and opportunities. Washington, DC: World Bank Publications.

López-Pastor, V. M. (2011). El papel de la evaluación formativa en la evaluación por competencias: aportaciones de la red de evaluación formativa y compartida en docencia universitaria. Revista de Docencia Universitaria, 9(1), 159-173.

Martínez-Lirola, M. y Rubio, F. (2009). Students’ belifs about portfolio evaluation and its influence on their learning outcomes to develop EFL in a Spanish context. International Journal of English Studies, 9(1), 91-111.

Mateo, J., Escofet, A., Martínez-Olmo, F., Ventura, J. y Vlachopoulos, D. (2012). Evaluation tools in the European Higher Education Area (EHEA): an assessment for evaluating the competences of the final year project in the social sciences. European Journal of Education, 47(3), 435-447.

Miller, R. (2003, diciembre). The future of the tertiary education sector: scenarios for a learning society. Documento presentado en el Seminario OECD/Japan, Tokyo. Recuperado de http://www.mext.go.jp/a_menu/kokusai/forum/04022701/004/001.pdf

Molero, D. (2007). Rendimiento académico y opinión sobre la docencia del alumnado participante en experiencias piloto de implantación del espacio europeo de educación superior. Revista Electrónica de Investigación y Evaluación Educativa, 13(2), 175-190.

Nicol, D. J. y Macfarlane-Dick, D. (2006). Formative assessment and self-regulated learning: a model and seven principles of good feedback practice. Studies in higher education, 31(2), 199-218.

Porcel, E. A., Dapozo, G. N. y López, M. V. (2010). Predicción del rendimiento académico de alumnos de primer año de la FACENA (UNNE) en función de su caracterización socioeducativa. Revista Electrónica de Investigación Educativa, 12(2), 1-21. Recuperado de http://redie.uabc.mx/redie/article/view/264

Sewell, E. (2004). Grade dropping: an empirical analysis. The Journal of Economic Education, 35(1), 24-34.

Sinclair, B. y Ferguson, K. (2009). Integrating simulated teaching/learning strategies in undergraduate nursing education. International Journal of Nursing Education Scholarship, 6(1), 7-11.

Smith, P., Dunn, S., Pollock, D., Stewart, M. y Galivan, C. (2011, marzo). Enhance, engage, evolve: challenges, rewards, and the culture of evidence in online learning. Documento presentado en la “4th SoTL Commons: a Conference for the Scholarship of Teaching y Learning”, Georgia.

Tovar, E., Plaza, I., Castro, M., Llamas, M., Arcega, F., Jurado, F., Mur, F. et al. (2007). Modeling the best practices towards the adaptation to the European credit transfer system in technical degrees within the IEEE chapter. Documento presentado en la 37 conferencia anual “Frontiers In Education Conference-Global Engineering: Knowledge Without Borders, Opportunities Without Passports ”, Milwaukee.

Tuschling, A. y Engemann, C. (2006). From Education to Lifelong Learning: The emerging regime of learning in the European Union. Educational Philosophy and Theory, 38(4), 451-469.

Ugarte, C. y Naval, C. (2010). Desarrollo de competencias profesionales en la educación superior: Un caso docente concreto. Revista Electrónica de Investigación Educativa, 12 (Número Especial), 1-14. Recuperado de http://redie.uabc.mx/redie/article/view/251

UNESCO (2005). Toward knowledge societies. UNESCO world report. Recuperado de http://unesdoc.unesco.org/images/0014/001419/141908s.pdf

Valveny, E., Benavente, R., Lapedriza, A., Ferrer, M., García-Barnés, J. y Sánchez, G. (2012). Adaptation of a computer programming course to the ESHE requirements: evaluation five years later. European Journal of Engineering Education, 37(3), 243-254.

Voorhees, R. A. (2001). Competency-based learning models: a necessary future. New Directions for Institutional Research, 110, 5-13.

Yorke, M. (2003). Formative assessment in higher education: Moves towards theory and the enhancement of pedagogic practice. Higher education, 45(4), 477-501.

1 Siendo la hipótesis alternativa que el rendimiento del alumnado se mantiene inalterado entre ambos colectivos.