Revista Electrónica de Investigación Educativa

Vol. 18, Núm. 3, 2016

Evaluando la enseñanza en la Educación Superior: percepciones de docentes y discentes

Luis Miguel Moreira (1) luis.moreira@gaia.ipiaget.pt
Miguel Ángel Santos (2) miguelangel.santos@usc.es

(1) Instituto Piaget-Vila Nova de Gaia
(2) Universidad de Santiago de Compostela

(Recibido: 14 de octubre de 2014; Aceptado para su publicación: 17 de septiembre de 2015)

Resumen

El artículo se centra en la evaluación de la enseñanza en la Educación Superior partiendo de la percepción de estudiantes y profesores. Analiza la relación con factores asociados a los estudiantes, los docentes y las Unidades Curriculares (UC), y la relación de concordancia entre la perspectiva de estudiantes y docentes teniendo en cuenta dos objetivos: averiguar cómo los profesores y alumnos de la Escuela Superior de Salud Jean Piaget de Vila Nova de Gaia (Portugal) evalúan la calidad de la enseñanza; y verificar cuán apropiado es el uso de la herramienta Student’s Evaluation of Educational Quality (SEEQ por parte de alumnos y profesores. Se utilizó un instrumento basado en el SEEQ, con una población de 1,343 estudiantes y 146 docentes. Los resultados de la investigación refuerzan las garantías ofrecidas por el modelo utilizado, no sólo por la fiabilidad y consistencia que el instrumento revela sino, principalmente, por la relación de concordancia entre la percepción de estudiantes y docentes.

Palabras clave: Evaluación, calidad, enseñanza y aprendizaje, Educación Superior, percepción de estudiantes y ocentes.

I. Introducción

La necesidad de evaluar el desempeño en la Educación Superior es una realidad reconocida desde hace mucho tiempo en numerosos países. Tradicionalmente, esta labor ha sido realizada según tres perspectivas: 1) la evaluación de las instituciones dentro de un país; 2) la evaluación de los departamentos de la institución, y 3) la evaluación de las titulaciones y de los cursos o de los programas de Educación Superior.

En Portugal, la creación del CNAVES (Conselho Nacional de Avaliação do Ensino Superior) en 1998, produjo el desarrollo sostenido de metodologías de evaluación, con la finalidad de estimular la mejora de la calidad de las actividades realizadas, informar tanto a la comunidad educativa como a la comunidad nacional, así como asegurar un conocimiento más riguroso y un diálogo más transparente entre las Instituciones de Educación Superior (IES), además de contribuir al ordenamiento de la respectiva red.

Con la extinción del CNAVES, en 2007 este papel pasó a ser asumido por la A (Agência de Avaliação e Acreditação do Ensino Superior), creada en diciembre de 2008, que habla de su misión en términos de garantizar la calidad de la Educación Superior en Portugal, además de asegurar la inserción del país en el sistema europeo de garantía de la calidad de la Educación Superior.

La progresiva responsabilización de las IES por el uso que hacen de los recursos que se ponen a su disposición, junto con la voluntad de los respectivos gestores de proceder en consecuencia, hacen del análisis de la eficiencia y de la mejora continua de la calidad una preocupación principal en las IES. Por otro lado, el cuadro normativo legal producido en los últimos años en Portugal moviliza a las instituciones de Educación Superior en el sentido de desarrollar e implementar mecanismos de evaluación del desempeño de los docentes. En Portugal, los instrumentos de evaluación pedagógica de los docentes no están muy difundidos y las principales motivaciones que impulsan las evaluaciones de la enseñanza superior han estado relacionadas con la acreditación y evaluación comparada de los cursos impartidos. 

Independientemente de los efectos que podría tener sobre la progresión de la carrera docente, la evaluación pedagógica de los profesores constituye un instrumento de identificación de problemas y un soporte para la mejora del éxito escolar. Las cuestiones pedagógicas en la enseñanza superior han ido ganando relevancia a medida que se ha generalizado el acceso a la educación de ese nivel y, en consecuencia, ha aumentado la heterogeneidad del cuerpo discente.

Así lo plantean James, Baldwin y McInnis (1999), para quienes los factores que influyen en la elección que hacen los alumnos de una determinada institución tiene que ver con cuestiones de calidad. Una década más tarde, Shah y Nair (2010) corroboraban esa afirmación, al mostrar que la calidad de la docencia impartida es el factor principal que los estudiantes tienen en cuenta a la hora de elegir una universidad, hasta el punto de superar otros factores, como son el de las instalaciones y recursos académicos disponibles, o incluso las perspectivas de empleabilidad.

Por otro lado, Palermo (2013) alude a una reciente revisión hecha en Australia sobre si los datos de evaluación producidos por los estudiantes permiten o no concluir que esa evaluación haya mejorado la calidad de la docencia. Con todo, estos datos hicieron que la percepción de los estudiantes sobre la enseñanza y el aprendizaje ganara mayor relevancia en la mente de los profesores. Además, aquellos docentes que ven la evaluación de los estudiantes en la perspectiva del sistema entienden la divulgación de los resultados y la utilización de los datos como un proceso asociado a las metas institucionales de mejora.

Si queremos que contribuyan al aumento de la calidad de la enseñanza, los procedimientos que adoptemos han de ser cuidadosamente elaborados para que, más allá de una evaluación en sentido estricto, sirvan a los propósitos docentes como instrumento de desarrollo de las capacidades profesionales o de identificación de necesidades de formación.

II. La evaluación de la calidad de la enseñanza (autoevaluación)

La evaluación de la docencia en la Educación Superior es relativamente reciente en el contexto europeo y latinoamericano, aunque tenga una tradición más antigua en el anglosajón. De acuerdo con Fernández, Mateo y Muñiz (1996), este tipo de evaluación tiene su origen formal en la década de los veinte del siglo pasado, con Guthrie y Remmers, en los Estados Unidos, donde hoy se impone como una práctica institucionalizada.

Al respecto, Muñoz, Ríos y Abalde (2002), y Simões (2000), afirman que la evaluación de la calidad docente en el contexto de la enseñanza universitaria, tomando como base las percepciones de los estudiantes, constituye una de las formas posibles de evaluación, con perspectivas de consolidación, en buena parte de las universidades, siendo incluso uno de los aspectos fundamentales en los que se apoya una de las dimensiones de calidad en las IES. Podría decirse que, sin evaluar la calidad docente en la enseñanza superior, el vector pedagógico de su mejora puede terminar por ser simple retórica (Santos, 2000).

De acuerdo con Centra (2003), es significativa la variedad de publicaciones sobre la evaluación del desempeño de los docentes y de los respectivos modelos en que éste se apoya. En efecto, existen más de dos mil estudios referenciados en la base de datos ERIC, repartidos por autores y países.Gradualmente, la evaluación de los docentes por los estudiantes ha ido asumiéndose por los gobiernos como indicador válido de desempeño. Incluso se ha llegado a verla como una medida directa de satisfacción con la experiencia universitaria y, en particular, de la calidad de la enseñanza impartida (Ramsden, 1991; Santiago, Tavares, Taveira, Lencastre y Gonçalves, 2001). Harvey (2003) sugiere que la integración de los resultados de naturaleza actitudinal y afectiva, considerando las percepciones de los estudiantes, podrá representar un esfuerzo de empowerment, haciendo que las instituciones respondan mejor a sus necesidades y garanticen mayores niveles de satisfacción. Aun así, el tema de la evaluación por parte de los estudiantes sigue siendo muy controvertido (Kuzmanovic, Savic, Popovic y Milan, 2013; Socha, 2013; Spooren, Brockx y Mortelmanss, 2013).

Desde una perspectiva un tanto clásica (Marsh, 1987), las evaluaciones realizadas a partir de la recopilación de información de los estudiantes son, en su conjunto, multidimensionales, fiables y estables; dependen más del docente que de la unidad curricular; son relativamente válidas y están poco afectadas por los sesgos potenciales; se asumen como herramientas útiles de mejora de la calidad de la enseñanza cuando se combinan con estrategias concretas de intervención en dominios o áreas de la actividad docente un tanto “frágiles”.

Un estudio longitudinal conducido por Marsh y Hocevar (1991) evaluó los cambios del desempeño pedagógico percibido por los estudiantes (con una muestra de 195 docentes a lo largo de 13 años) y concluyó la existencia de un patrón de evaluación de las percepciones de competencia pedagógica por los estudiantes. Este trabajo permitió concluir que la evaluación del docente tiende a mantenerse estable en términos temporales, lo que corrobora la existencia de un perfil intemporal consistente.

En el ámbito de la evaluación de la enseñanza, Fraser (1991) propone la existencia de tres enfoques principales: 1) observación sistemática; 2) estudios de casos; y 3) evaluación de las percepciones de los estudiantes y los docentes. De acuerdo con el mismo autor, el enfoque perceptivo presenta algunas ventajas con respecto a las metodologías antes mencionadas: es más económico que las observaciones de aula; se basa en la evaluación de la experiencia efectiva de los estudiantes en un determinado ambiente; e implica una serie de juicios de todos los estudiantes de esa clase, mientras que las técnicas de observación típicas involucran a un solo observador. Todavía en relación con las percepciones de los estudiantes, puesto que son las que determinan sus comportamientos más de lo que lo hacen las situaciones reales, pueden asumirse como más relevantes que los comportamientos observables.

En tiempos más recientes, Baker (2014) presentó un trabajo en el que los docentes se mostraban muy favorables a la utilización de instrumentos para la evaluación de la enseñanza por los estudiantes, debido a sus efectos formativos y pensando en la evaluación de su práctica pedagógica. Asimismo, referían la importancia de tales instrumentos en su evaluación sumativa, si bien, con todo, expresaban alguna preocupación acerca de su posible sobrevaloración, en detrimento de procesos más significativos.

Las percepciones del docente (autoevaluación) posibilitan una autorreflexión más sustantiva sobre su actuación. Uno de los cuestionarios disponibles en la literatura es el SMRS (Staff Member Self Rating Survey) (Marsh, 1987, 1991), que pretende constituirse como contrapunto de la evaluación, al ser también utilizado por los estudiantes, en el sentido de probar la validez convergente y divergente de las percepciones de los actores envueltos en el proceso de enseñanza-aprendizaje (estudiantes y docente). En dos estudios, Marsh (1987) concluía que: 1) la estructura factorial del cuestionario aplicado a los estudiantes y docentes es idéntica; 2) el grado de concordancia entre ambos en cada dimensión del cuestionario es significativo; 3) en la mayor parte de los casos, las diferencias de medias se revelaron poco significativas y asistemáticas; y 4) el análisis multimétodo-multirasgo constituye un soporte para la validez convergente y discriminante de las evaluaciones. En la lógica de procurar armonizar las diferentes perspectivas de evaluación, es importante desarrollar dispositivos de evaluación que incluyan la autoevaluación docente, en el sentido de superar una de las limitaciones mayormente apuntadas en varios de los estudios, y que se relaciona con el carácter unilateral de la evaluación de la enseñanza.

Fueron Moore y Kuol (2005) los que propusieron la matriz de reacción al feedback como una estructura para comprender la variedad de orientaciones que los docentes evaluados pueden adoptar en función del feedback que reciben del alumnado. Comprender las diferentes categorías de reacción al feedback puede fortalecer una imagen útil acerca del probable impacto sobre un grupo de participantes en un sistema de evaluación de la enseñanza por los alumnos (SET por sus siglas en inglés).

Una de las limitaciones más citadas en la bibliografía tiene que ver con el carácter unilateral de la evaluación de la enseñanza. Para superarla, lo que importa es desarrollar métodos de evaluación que incluyan la autoevaluación docente, contribuyendo de ese modo a la armonización de las diferentes perspectivas en torno a la evaluación. En tal sentido, Nava y Rueda (2013) se refieren a la importancia de emplear distintos tipos de evaluación, entre ellos, la autoevaluación, que ha de permitir al docente criticar su misma práctica y reorientar sus acciones hacia la mejora.

Este es, justamente, el marco de referencia del presente estudio, cuyo objetivo es evaluar la calidad de la enseñanza. Para ello se combinó la utilización de la herramienta SEEQ (Student’s Evaluation of Educational Quality) en alumnos y profesores. Concretamente, pretendemos averiguar cómo evalúan la calidad de la enseñanza los profesores y alumnos de la Escuela Superior de Salud Jean Piaget de Vila Nova de Gaia (Portugal); y verificar cuán apropiado es el uso de la herramienta SEEQ de manera simultánea en alumnos y profesores.

III. Metodología

Instrumento. El cuestionario utilizado se basa en el SEEQ (Marsh, 1991), versión adaptada a la enseñanza superior portuguesa por Morais, Almeida y Montenegro (2006).

El SEEQ ha sido objeto de varios estudios en contextos académicos distintos, revelándose como fiable, válido y con una capacidad significativa de generalización de los resultados obtenidos (Marsh y Roche, 1997). La evidencia teórica y empírica acumulada en torno a este instrumento pone de manifiesto cualidades métricas satisfactorias, tanto en lo referido a su dimensionalidad (Feldman, 1976; Marsh y Hocevar, 1991), como en lo concerniente a la consistencia interna.

El instrumento se encuentra disponible en dos versiones: una para los estudiantes y otra para los docentes. Se trata de cuestionarios de auto-informe que pretenden evaluar la calidad de la enseñanza-aprendizaje a partir de las percepciones de estudiantes y profesores, en las IES. Se diseñaron en la aplicación Teleform, lo que permitía su posterior lectura óptica y la exportación a una base de datos del SPSS (Statistics V.20), donde se habría de realizar el análisis.
La respuesta a la mayoría de las cuestiones requiere la expresión del grado de concordancia en relación a cada una de ellas, en una escala Likert de seis puntos, desde 1 (completamente en desacuerdo) hasta 6  (completamente de acuerdo) y la posibilidad de no emitir opinión (NS).

El cuestionario se basa en una concepción multidimensional de la calidad del proceso de enseñanza-aprendizaje en un conjunto de nueve dimensiones (Morais et al., 2006): 1) Relevancia del aprendizaje, 2) Compromiso docente, 3) Organización/claridad, 4) Interacción de la clase, 5) Relación profesor-alumno, 6) Abordaje de los problemas, 7) Evaluación, 8) Trabajos/lecturas, y 9) Evaluación de la UC (carga de trabajo, adecuación, dificultad e importancia de la UC en comparación con otras UC del curso). Además, en ambos instrumentos se incluyen dos ítems genéricos, uno en relación a la evaluación global del docente, comparándolo con los otros profesores del curso, y otro referido a la evaluación global de la UC, comparándola con las otras UC del curso.

La identificación de estas dimensiones se basa en el análisis de un repertorio de comportamientos/actitudes fácilmente observables por los estudiantes y evaluables por el docente. Tal repertorio no debe ser considerado jerárquicamente, sino como un conjunto de componentes de un todo funcional que se articulan y favorecen una evaluación más completa (Morais et al., 2006).

El cuestionario aplicado a los estudiantes presentó una medida de fiabilidad interna excelente (alfa de Cronbach=0.977), con tasas de no respuesta inferiores al 0.7% por ítem. Los dos ítems que presentan la tasa más elevada de respuesta NS (alrededor del 12%) son la Cantidad de trabajos y/o lecturas y la utilidad de los trabajos y/o lecturas, ítems constitutivos de la dimensión Trabajos/Lecturas, definiendo la percepción de la utilidad/relevancia y cantidad de los trabajos/lecturas recomendados por el docente. Estas tasas deben interpretarse con prudencia, al tratarse de ítems que pueden no ser aplicables a determinadas UC o tipos de aula.

Asimismo, el cuestionario de los docentes tiene una media de fiabilidad interna excelente (alfa de Cronbach=0.943), con tasas de no respuesta inferiores al 1.04% por ítem. La tasa más elevada de respuesta NS (alrededor del 8.36%) está asociada al ítem Información sobre los Trabajos y debe ser considerada con cautela, pues, a pesar de que este ítem se integró en la dimensión Evaluación, está directamente relacionado con la dimensión Trabajos/Lecturas, que como ya comentamos puede no ser adecuada para determinadas UC o tipos de aula.

Procedimiento. Este trabajo se llevó a cabo durante todo un año lectivo en la Escuela Superior de Salud Jean Piaget de Vila Nova de Gaia (Portugal). Los docentes participaron de forma voluntaria, garantizándose la confidencialidad de los resultados del proceso. De los informes de evaluación individuales se dio cuenta en exclusiva a cada docente.

Los criterios de inclusión de docentes para la aplicación de los cuestionarios fueron definidos por unidad curricular y tipo de aula. El docente debía tener, por lo menos, 10 horas de contacto con los estudiantes. De esa forma se buscaba garantizar un período suficiente de contacto entre profesores y estudiantes, a fin de que éstos pudiesen disponer de un período significativo de convivencia pedagógica.

Cada profesional recibió el número de sobres correspondientes a las combinaciones constituidas por las UC y tipos de aula en las que impartía docencia, sujetas a evaluación, con el número de cuestionarios (versión estudiante) correspondiente al número de alumnos matriculados en cada una de ellas. Junto con el sobre, se le entregó un cuestionario (versión docente), una hoja con los códigos identificativos del profesor, UC, tipo de aula, curso, año y período al que se referían los cuestionarios, así como un documento explicativo del proceso en curso.

Para evitar potenciales sesgos debidos al efecto de las calificaciones, los cuestionarios fueron aplicados antes del período de evaluación, de tal modo que sus juicios no estuviesen influenciados por las notas obtenidas. Los profesores recibían los cuestionarios en un sobre y debían repartirlos a los alumnos de su aula, pero no podían estar presentes en el momento en el que los alumnos empezaban a cubrirlos. Los cuestionarios eran recogidos por el delegado de clase, que los metía en un sobre que cerraba y entregaba a los servicios administrativos inmediatamente después de su cumplimentación.

Los estudiantes fueron informados sobre el proceso en curso, garantizándose el anonimato y la confidencialidad de los datos. Los resultados fueron entregados al docente después de terminar la UC y de fijar las calificaciones de los estudiantes.

Población. En el estudio participaron 1,343 estudiantes y 146 docentes de la Escuela Superior de Salud Jean Piaget, de Vila Nova de Gaia-Portugal.

Fueron distribuidos 28,425 cuestionarios a los estudiantes (cada estudiante podía cubrir varios cuestionarios) y 468 cuestionarios a los docentes. Se aplicaron cuestionarios a toda la población de estudiantes y profesores de la escuela, en todas las disciplinas y tipología de aula. Las tasas de respuesta fueron, respectivamente, del 40% (11,378 cuestionarios válidos de los estudiantes) y de 82% (383 cuestionarios válidos de los docentes).

La tasa relativamente baja de respuesta a los cuestionarios aplicados a los estudiantes se explica por un conjunto de factores concurrentes: 1) haber sido un proceso facultativo para los docentes y, por la singularidad del propio proceso, en el caso de los estudiantes; 2) la existencia de UC que terminaban mucho antes del final del período lectivo; y 3) etapas de prácticas fuera de la institución más o menos largas, en diferentes momentos, implicando a estudiantes de distintos cursos.

Los docentes que participaron en este estudio son mayoritariamente del género femenino (62%), edad entre 30 y 39 años (43.2%), licenciados (67.1%) y el 75% pertenece, como es lógico, al área de Ciencias y Tecnologías de la Salud (Medicina, Farmacia, Enfermería) (ver tabla I). Su relación con la institución es en régimen de prestación de servicio remunerado por horas (59.6% son docentes asociados), siendo un 21.2% los que trabajan tiempo completo en la institución y un 16.4% a tiempo completo en la Escuela.

Tabla I. Descripción de la Muestra Docente

La mayor parte de los estudiantes son mujeres (75%) de entre 20 y 22 años, y que cursan Enfermería (33.4%) o Fisioterapia (22.9%), aunque el 9.7% declara que, al mismo tiempo, trabajan. Su distribución por los cuatro años curriculares es homogénea.

Tabla II. Descripción de la Muestra de Estudiantes

IV. Resultados

4.1 Resultados de los estudiantes

Los resultados globales por ítem del cuestionario de alumnos que se presentan en la tabla III son bastante positivos, al evidenciar valores medios comprendidos entre 3.96 y 4.87 (en una escala de 1 a 6).

Tabla III. Cuestionario de Estudiantes y Docentes. Resultados de los ítems

Como puntos fuertes aparecen el cumplimiento de los horarios (El docente cumplió el horario de las clases y de otras actividades programadas), con un valor medio de 4.87; la cordialidad en el trato (El docente se mostró cordial en su relación con los estudiantes), con un valor medio de 4.71; la disponibilidad de atención al estudiante (El docente estaba disponible para los estudiantes durante el horario de tutoría o al final de las clases), con una media de 4.71. Pero también valoran de forma muy positiva la utilidad de lo aprendido (En las clases aprendí algo que considero útil), un 4.68; y la preocupación/interés (El docente mostró preocupación/interés por los estudiantes), un valor de 4.66.

Los aspectos más débiles tuvieron que ver con la accesibilidad/facilidad (Esta UC es accesible/fácil en comparación con las otras del curso), que alcanza un valor medio de 3.96; la exigencia/carga de trabajo (La exigencia/carga de trabajo de esta UC es adecuada si la comparamos con otras del curso) que supera la media de 4; la organización de las clases (El modo en que el docente  organizó las clases motivó su interés) con un valor medio de 4.23; y con medias muy cercanas a este valor están el interés por la materia (La asistencia a clase aumentó su interés por la materia); y la dinámica de la clase (El docente imprimió dinamismo a sus clases).

La combinación de los tres últimos ítems mencionados en el grupo de medias más bajas evidencia un vector del componente pedagógico relacionado con la organización de las clases, la dinámica de las mismas y el impacto de la asistencia discente en el aumento de su interés por la materia, lo cual deberá ser objeto de atención en la formación de los profesores.

El análisis de resultados globales por dimensiones arroja, también, datos bastante positivos, con valores medios comprendidos entre 4.28 e 4.69, como se ve en la siguiente tabla.

Tabla IV. Cuestionario de Estudiantes y Docentes. Resultados de las dimensiones

Así, tres dimensiones alcanzan valores medios superiores a 4.50: la Relación Docente/Estudiante (conciencia de las necesidades y de los ritmos de aprendizaje diferenciados de los estudiantes y calidad del contacto entre estudiantes y docentes); la Interacción en el aula (interacción verbal entre alumnos y profesor, que se refleja en la forma en que las materias son abordadas); y el compromiso del docente (su capacidad para captar el interés de los estudiantes a través del entusiasmo, dinamismo y energía que imprime a sus clases). Pero también con las puntuaciones más bajas, con valores inferiores a 4.40, están las dimensiones Relativas a la UC (percepción de la carga de trabajo, grado de dificultad e importancia de la UC); y a los Trabajos/Lecturas (percepción de la utilidad/relevancia y cantidad de los trabajos/lecturas recomendados).

Las dimensiones referidas a la Relevancia del Aprendizaje, al Abordaje de los Problemas, a la Evaluación y a la Organización y Claridad, presentan un valor medio de 4.48, lo que se traduce en una percepción positiva de la calidad de la enseñanza-aprendizaje. La Evaluación Global del Docente y la Evaluación Global de la UC, con valores medios de 4.60 y de 4.52 respectivamente, muestran que los alumnos tienen percepciones muy favorables tanto del docente como de la UC en comparación con otras UC y otros docentes en el ámbito del curso bajo análisis.

Asimismo, en la tabla V aparecen los valores que resultaron de la prueba de hipótesis1 realizada en la evaluación de los resultados, de acuerdo con tres conjuntos de factores:

• Factores del docente: género; edad; habilitación académica; relación contractual en la institución; tipo de relación con la institución y con la escuela; área de conocimiento; número de años que enseña la UC; y tiempo semanal de preparación de la UC.
• Factores de la UC: período en que es enseñada y tipo de docencia (teórica, teórico-práctica, laboratorio).
• Factores del estudiante: curso, año curricular, 1a. inscripción en la UC, horas de estudio semanal, asiduidad en las clases, estatus (estudiante o trabajador-estudiante), edad y género.

Tabla V. Prueba de Hipótesis. Cuestionario del Estudiante

Los análisis nos permiten identificar, sombreados en la tabla V, los factores en los que se observaron diferencias estadísticamente significativas en cada dimensión del cuestionario (corresponden a valores de prueba p≤0.05). Los profesores son mejor evaluados que las profesoras en las dimensiones Interacción en el aula, Abordaje de los Problemas, Evaluación Global del Docente, Evaluación Global de la UC, Relevancia del Aprendizaje y Compromiso del Docente.

Pero la evaluación de los docentes también difiere significativamente en todas las dimensiones, en función de la edad, de las habilitaciones académicas, de su condición contractual en la institución, del área de conocimiento y del tiempo semanal de preparación de las clases. En términos generales, los mejor evaluados tienen entre 40 y 49 años de edad, poseen un máster, están vinculados por convenio, son del área de Ciencias y Tecnologías de la Salud o de Ciencias Experimentales, y dedican entre 2 y 3 horas por semana a la preparación de las clases.

En lo referente al tipo de relación con la institución y con la escuela, los profesores son evaluados de forma idéntica en la mayor parte de las dimensiones, con excepción de la Relevancia del Aprendizaje, Evaluación relativa a la UC y Evaluación Global de la UC, donde los profesores a tiempo parcial son los mejor evaluados. En cuanto al número de años que el profesor enseña la UC, la evaluación es idéntica en la Interacción en el aula y en la Relación Docente/Estudiante, aunque en las dimensiones restantes los profesores que enseñan la UC en los últimos 2 o 3 años son los mejor evaluados.

En los factores de las UC, los profesores fueron mejor evaluados en las UC del 2º semestre (excepto en la Relación Docente/Estudiante, en la que no hubo diferencias) y en las clases de seminario.

Si nos centramos en los factores de los estudiantes, la evaluación de los profesores difiere significativamente en todas las dimensiones, en función del curso, de las horas de estudio semanal, de la asiduidad a las clases y de la edad de los alumnos.

Los estudiantes que mejor evalúan a sus profesores son del curso de Enfermería, estudian entre 3 y 4 horas por semana (por UC) y tienen una asistencia a las clases superior al 75%. El género y el número de inscripciones en la UC son dos factores en los que no hay diferencias significativas.

Por otro lado, la edad del estudiante constituye un factor de segmentación en la evaluación de los profesores. Los que tienen más de 26 años evalúan mejor a los profesores en todas las dimensiones, y los menores de 26 años los evalúan de forma idéntica, en todas las dimensiones. Aquellos estudiantes que combinan trabajo con estudios evalúan mejor a los profesores en todas las dimensiones, excepto en la Evaluación, donde no hay diferencias. Considerando el año curricular del estudiante, los docentes tienen una evaluación idéntica en la Evaluación Global del Docente, en la Organización y Claridad y en los Trabajos/Lecturas, aunque son mejor evaluados por los estudiantes de 3er. año en las restantes dimensiones.

4.2 Resultados de los docentes

En la tabla III se presentan los resultados globales por ítem para el cuestionario de docentes que se revelan como bastante positivos, ya que sus valores medios están comprendidos entre 4.43 y 5.73.

El cumplimiento de los horarios (Cumplí el horario de las clases y de otras actividades programadas); el compromiso con la docencia (Me empeñé en la mejor impartición de las clases); la cordialidad (Mantuve una relación cordial con los estudiantes); la disponibilidad para atender a los estudiantes (Me mostré disponible para atender a los estudiantes durante el horario de tutorías o al final de las clases); y la preocupación/interés (Mostré preocupación/interés por los estudiantes) son los elementos que destacan con las medias más altas.

Por el contrario, como “puntos débiles” se señalan la accesibilidad/facilidad (Esta UC es accesible/fácil en comparación con las otras UC del curso); la formación humana y ética (Esta UC es importante para la formación humana y ética del estudiante); la comprensión y asimilación (Los estudiantes comprendieron y asimilaron los contenidos de las clases); la exigencia/carga de trabajo (La exigencia/carga de trabajo de esta UC es adecuada en comparación con las otras UC del curso); y el interés por la materia (La frecuencia de las clases aumentó el interés de los estudiantes por la materia).

Tres de los ítems mencionados en este último grupo están relacionados con cuestiones directamente ligadas a la UC, y dos tienen que ver con el componente pedagógico, a saber, la relevancia del aprendizaje, tanto en la comprensión y asimilación de los contenidos enseñados, como en el impacto de la frecuencia de las clases en el aumento del interés por la materia.

El análisis de los resultados globales por dimensión fue también bastante positiva, con valores medios comprendidos entre 4.79 y 5.48, tal como se observa en la tabla IV. Así, superan la media de 5.25, la Relación Docente/Estudiante (conciencia de las necesidades y de los ritmos de aprendizaje diferenciados de los estudiantes y calidad del contacto entre éstos y los docentes); la Interacción en el aula (interacción verbal entre estudiantes y docente, que se refleja en la forma de abordar las materias); y el Compromiso del Docente (capacidad del docente en captar el interés de los estudiantes a través del entusiasmo, dinamismo y energía que proyecta en sus clases). Se evidencian como “puntos débiles” por tener una puntuación media inferior a 5 la Relevancia del Aprendizaje (percepción del éxito de los estudiantes en relación con su participación e implicación en la UC, grado de interés y de comprensión/asimilación de las materias abordadas); Evaluación relativa a la UC (percepción de la carga de trabajo, grado de dificultad e importancia de la UC); y Trabajo/Lecturas (percepción de la utilidad/relevancia y cantidad de los trabajos/lecturas recomendadas).

Las dimensiones referentes a la Evaluación, la Organización y Claridad y al Abordaje de los Problemas, presentan un valor medio comprendido entre 5.04 y 5.17, lo que se traduce en una percepción positiva de la calidad de la enseñanza-aprendizaje. Los ítems de la Evaluación Global del Docente y de la Evaluación Global de la UC, con valores medios de 5.14 y de 4.95 respectivamente, muestran que los profesores asumen percepciones muy favorables tanto en lo que se refiere a su desempeño como a la UC.

Para seguir profundizando en los datos, en la tabla VI se presentan los valores (sombreados los valores de p≤0.05) que resultaron de la prueba de hipótesis realizada en la evaluación de los resultados, de acuerdo con tres conjuntos de factores:

• Factores del docente: género, edad, habilitación académica, condición contractual en la institución, tipo de relación con la institución, tipo de relación con la Escuela, área de conocimiento, número de años que enseña la UC; y tiempo semanal de preparación de la UC.
• Factores de la UC: período en que es enseñada y tipo de clase (teórica, teórico-práctica, laboratorio.
• Factores del estudiante: curso y año curricular.

Tabla VI. Pruebas de Hipótesis. Cuestionario del Docente

Las mujeres tienen una percepción superior de su desempeño en las dimensiones de la Evaluación Global de la UC y la Relevancia del Aprendizaje; mientras que sus compañeros varones destacan en la Interacción en el aula y en el Compromiso del Docente. En las restantes dimensiones tienen percepciones idénticas.

Al comparar a los sujetos de la muestra de profesores según su edad, no encontramos diferencias estadísticamente significativas en las dimensiones de la Relevancia del Aprendizaje, la Evaluación Global del Docente y la Evaluación Global de la UC. Sin embargo, los profesores entre los 40 y los 49 años son los que mejor se autoevalúan.

Por otro lado, la percepción de estos profesionales difiere significativamente (en todas las dimensiones) en función de su habilitación académica y del tiempo semanal de preparación de las clases. Globalmente, aquellos que poseen un máster y con un tiempo medio semanal de preparación superior a 4 horas son los que tienen evaluaciones más elevadas. En lo que respecta a su condición contractual en la institución, el tipo de relación con la Escuela y con la Institución, la evaluación de los profesores es idéntica en la mayor parte de las dimensiones. En aquellas en las que hay diferencias, los docentes con contrato y los que se encuentran a tiempo parcial en la institución son los que tienen evaluaciones más altas.

Cuando se considera el tipo de relación con la Escuela, los docentes a tiempo completo tienen una percepción superior de su desempeño en la Organización y Claridad y en el Compromiso del Docente, mientras que en la Relación Docente/Estudiante y en la Evaluación Global de la UC son los que están a tiempo parcial los que destacan.

Si nos situamos ahora en el área de conocimiento, la evaluación de los profesores difiere significativamente en la mayor parte de las dimensiones (la única excepción se refiere a los Trabajos/Lecturas). Los que pertenecen al área de Ciencias Experimentales son los que mejor se autoevalúan en Compromiso del Docente, en la Organización y Claridad, en la Interacción en el aula y en la Relación Docente/Estudiante; y los profesores del área de las Ciencias Sociales son los que mejor se autoevalúan en las restantes dimensiones.

Al tomar como variable de contraste el número de años que el profesor enseña la UC, no existen diferencias significativas en la mayor parte de las dimensiones. En las que existen diferencias, aquellos que enseñan la UC hace más de 5 años son los que tienen una autoevaluación más alta.

En cuanto a los factores de la UC, la evaluación de los profesores es idéntica en la mayor parte de las dimensiones, tanto en función del semestre, como en la tipología de la clase. En las dimensiones en que hay diferencias, las que tienen evaluaciones más elevadas se refieren a las UC del primer semestre y a las clases teórico-prácticas.

Con respecto a los factores del estudiante, hay diferencias significativas en todas las dimensiones, en función del curso que enseñan. Globalmente, los profesores que mejor se autoevalúan son los que enseñan en el curso de Enfermería, seguidos por los de Radiología y Análisis Clínicos y Salud Pública. En lo que se refiere al año curricular que enseñan, los profesores se autoevalúan de forma idéntica en la mayor parte de las dimensiones. Sólo en la Relación Docente/Estudiante, en el Abordaje de los Problemas y en la Evaluación hay una autoevaluación significativamente inferior por parte de los profesores que dan clases en el primer año, mientras que los que ejercen su docencia en los años siguientes (2o., 3o. y 4o.) tienen una evaluación idéntica en todas las dimensiones.

V. Análisis de concordancia de la percepción de estudiantes y de docentes

En este análisis se comparan los valores medios obtenidos en cada ítem y en cada dimensión de los cuestionarios aplicados a estudiantes y a docentes. Con todo, su objetivo es establecer una “relación de orden” patente en las respuestas de ambos grupos y no una comparación de los valores absolutos obtenidos en cada ítem y en cada dimensión. Es en este contexto que nombramos el mencionado análisis como análisis de concordancia.

De acuerdo con los datos de la tabla III, el valor medio de cada ítem en el cuestionario de los docentes es siempre superior al de los estudiantes. Esta diferencia sugiere que, en cada ítem, los docentes se autoevalúan mejor de lo que los estudiantes (todos los valores de prueba son inferiores a 0.05).

Los ítems con el valor medio más elevado en el cuestionario de los estudiantes son también los que tienen el valor medio más alto en el cuestionario a los docentes (y viceversa). Queda, pues, patente la existencia de una relación de concordancia en la evaluación realizada por estudiantes y por docentes. Así, es posible afirmar que los ítems en que los estudiantes mejor evalúan a los docentes son aquellos en que los docentes mejor se autoevalúan, y los ítems en que los estudiantes peor evalúan a los docentes corresponden a los ítems en que los docentes peor se autoevalúan. La figura 1 presenta el diagrama de dispersión constituido por los pares ordenados Ítemi=(SQ_i; FQ_i), donde SQ_i corresponde al valor medio del ítem i en el cuestionario a los estudiantes, y FQ_i corresponde al valor medio del ítem i en el cuestionario a los docentes.

El ajuste de una línea recta a la nube de puntos observados (basado en un modelo de regresión lineal simple) resultó en un coeficiente de correlación de la muestra R=0.834. Este valor indica un grado de ajuste lineal muy bueno entre los valores medios de los ítems de los cuestionarios de estudiantes y docentes, estando estas variables correlacionadas positivamente, esto es, cuanto mayor es el valor medio del ítem i en el cuestionario a los estudiantes, mayor es su valor medio en el de docentes.

Tomando como referencia el modelo lineal ajustado, usamos como indicador de discordancia en cada ítem i, el valor del error cuadrático asociado al par ordenado (SQ_i; FQ_i) relativo a la recta ajustada por el modelo de regresión lineal simple. Así, los ítems donde se produjo mayor discordancia entre la evaluación de los estudiantes y la autoevaluación de los docentes (señaladas en negro en la figura 1) fueron los siguientes: comprensión y asimilación, utilidad de lo que aprendido y formación humana y ética. En los cuestionarios de autoevaluación de los docentes, estos ítems son “sub-evaluados”, comparándolos con la evaluación media de esos ítems en los cuestionarios de los estudiantes.en la experiencia  de los estudiantes y, por tanto, en la evaluación que ellos hacen de estos cursos.

Figura 1. Acuerdo Estudiantes y Docentes. Análisis de ítems

El análisis por dimensión es consistente con el análisis por ítem. El valor medio de cada dimensión en los docentes es siempre superior al de los estudiantes (ver tabla IV), poniendo de manifiesto que los docentes se autoevalúan mejor de lo que los estudiantes hacen (todos los valores de prueba son inferiores a 0.05).

La relación de concordancia entre la evaluación de estudiantes y de docentes está también patente en el análisis por dimensión. Aquellas en que los estudiantes mejor evalúan a los docentes, corresponden a las dimensiones en que éstos también mejor se autoevalúan; y las dimensiones en que los alumnos peor evalúan a los docentes, corresponden a aquellas en que los profesores peor se autoevalúan.

El diagrama de dispersión que presenta la figura 2, constituido por los pares ordenados Dimensióni=(SQ_i; FQ_i), nos permite observar que el valor del coeficiente de correlación de la muestra R=0.772, resultante del ajuste de un modelo de regresión lineal simple, corrobora la interpretación sugerida.

Figura 2. Acuerdo Estudiantes y Docentes. Análisis de dimensiones

Partiendo del modelo lineal ajustado, las dimensiones donde se produjo mayor discordancia entre la evaluación de los estudiantes y la autoevaluación de los docentes son la Relevancia del Aprendizaje, la Evaluación Global de la UC y el Compromiso del Docente (dimensiones señaladas en el gráfico con símbolos en negro). En los cuestionarios de autoevaluación de los docentes, las dos primeras dimensiones son “subevaluadas” y la tercera es “sobreevaluada”, cuando las comparamos con la evaluación media que han hecho los estudiantes.

VI. Discusión y conclusiones

En este trabajo se evalúa la calidad de la enseñanza impartida tomando como base la percepción de estudiantes y de docentes, a través de la aplicación de instrumentos que se mostraron consistentes, presentando una medida de fiabilidad interna excelente. Se analiza también la relación de esa evaluación con factores asociados a los estudiantes, a los docentes y a las UC.

La razón de que el estudio se centrara en el proceso de evaluación de la enseñanza es que se trata de uno de los pilares fundamentales en que han de asentarse los modelos de evaluación de la calidad en el contexto de la enseñanza superior.

Pues bien, los resultados muestran que ese pilar está bien fundamentado, no sólo por la fiabilidad y consistencia mostradas por el instrumento, sino -sobre todo- por la relación de concordancia entre la percepción de estudiantes y docentes, a propósito de la calidad de la enseñanza impartida.

En términos globales, los resultados se mostraron bastante positivos, tanto en los cuestionarios aplicados a los estudiantes como en los de los docentes.

En los primeros, se destacaron como puntos fuertes el cumplimiento de horarios por los docentes, su cordialidad en la relación con los estudiantes y la disponibilidad para atenderlos, la utilidad que los estudiantes atribuyen a lo que aprendieron en las clases y la preocupación e interés de los docentes por sus alumnos. Como puntos débiles, aunque bien evaluados, sobresalen la accesibilidad o facilidad de las UC, así como su exigencia o carga de trabajo, el modo en que el docente organizó las clases, el interés por la materia en función de la asistencia a sus clases y el dinamismo del docente en las mismas.

En los cuestionarios aplicados a los docentes (autoevaluación), se destacan como elementos más positivos el cumplimiento de horarios, el compromiso con la docencia, la cordialidad en la relación con los estudiantes, la disponibilidad para atenderlos y la preocupación e interés por ellos. Sin embargo, la accesibilidad o facilidad de la UC, la importancia de la UC para la formación humana y ética del estudiante, la comprensión y asimilación de los contenidos de las clases, la exigencia o carga de trabajo de la UC y el interés por la materia, a la vista de la asistencia a sus clases son los ítems con puntuaciones más débiles, aunque, también, bien evaluados.

También se comparó la evaluación de la calidad de la enseñanza impartida, en la perspectiva de los estudiantes y de los docentes (autoevaluación), en cada ítem y en cada dimensión de los cuestionarios. Este análisis evidenció la existencia de una fuerte relación de concordancia entre las dos perspectivas. De forma general, se concluyó que los ítems y dimensiones en que los estudiantes mejor evalúan a los docentes, se corresponden con aquellos en que los docentes mejor se autoevalúan, y las dimensiones en que los estudiantes peor evalúan a los docentes, corresponden a aquellas en que los docentes también peor se autoevalúan.

En definitiva, consideramos que sólo una evaluación efectiva de la docencia puede promover el desarrollo de profesionales cada vez más competentes, junto a una cultura de colaboración entre docentes. La definición de objetivos para cada docente, acordes con la misión institucional y las preferencias individuales, al lado de un sistema justo de incentivos que recompense las mejores prácticas, puede producir un giro muy positivo a la forma de ver y considerar la evaluación. Esto ayudará a las instituciones a desarrollar sus recursos humanos, alentando y motivando a los sujetos evaluados a prestar servicios de excelencia, lo que puede contribuir al aumento de la calidad de la enseñanza, y es de esperar que también del aprendizaje.

Referencias

Baker, S. H. (2014). Faculty perceptions as a foundation for evaluating use of student evaluations of teaching. Recuperado de http://scholarworks.uvm.edu/graddis/288/

Centra, J. A. (2003). Will teachers receive higher student evaluations by giving higher grades and less course work? Research in Higher Education, 44(5), 495-518. Recuperado de http://link.springer.com/article/10.1023%2FA%3A1025492407752

Feldman, K. A. (1976). Grades and college students’ evaluations of their courses and teachers. Research in Higher Education, 4(1), 69-111. doi:10.1007/BF00991462

Fernández, J., Mateo, M. A. y Muñiz, J. (1996). Valoración por parte del profesorado de la evaluación docente realizada por los alumnos. Psicothema, 8(1), 167-172. Recuperado de http://www.psicothema.com/english/psicothema.asp?id=13

Fraser, B. J. (1991). Two decades of classroom environment research. En B. J. Fraser y H. J. Walberg (Eds.), Educational environments: Evaluation, antecedents, and consequences (pp. 3-27). Elmsford, NY: Pergamon.

Harvey, L. (2003). Student feedback. Quality in Higher Education, 9(1), 3-20.
doi: 10.1080/13538320308164

James, R., Baldwin, G. y McInnis, C. (1999). Which University? The factors influencing the choices of prospective undergraduates. Canberra: University of Melbourne.

Kuzmanovic, M., Savic, G., Popovic, M. y Milan, M. (2013). A new approach to evaluation of university teaching considering heterogeity of students’ preferences. Research in Higher Education, 66(2), 153-171. doi: 10.1007/s10734-012-9596-2

Marsh, H. W. (1987). Students’ evaluation of university teaching: Research findings. International Journal of Educational Research, 11(3), 253-388. doi: 10.1016/0883-0355(87)90001-2

Marsh, H. W. (1991). A multidimensional perspective students’ evaluations of teaching effectiveness: A test of alternative higher-order structures. Journal of Educational Psychology, 83(3), 285-296. doi: 10.1037/0022-0663.83.3.416

Marsh, H. W. y Hocevar, D. (1991). Students’ evaluations of teaching effectiveness: The stability of mean ratings of the same teachers over a 13-year period. Teaching and Teacher Education, 7(4), 303-314. doi:10.1016/0742-051X(91)90001-6      

Marsh, H. W. y Roche, L. A. (1997). Making students’ evaluations of teaching effectiveness effective: The critical issues of validity, bias, and utility. American Psychologist, 52(11), 1187-1197. doi: 10.1037/0003-066X.52.11.1187