Revista Electrónica de Investigación Educativa

Vol. 18, Núm. 2, 2016

Propiedades psicométricas de un instrumento para apoyar el proceso de evaluación del docente universitario

Lorena Márquez Ibarra (*) lorena.marquez@itson.edu.mx
María Luisa Madueño Serrano (*) maria.madueno@itson.edu.mx

* Instituto Tecnológico de Sonora

(Recibido: 13 de junio de 2014; Aceptado para su publicación: 10 de junio de 2015)

Resumen

Dada la importancia de reflexionar sobre la praxis docente, la evaluación del desempeño sigue vigente como uno de los recursos para asegurar la calidad de la educación. El objetivo de este estudio fue identificar las propiedades psicométricas del instrumento aplicado a estudiantes de una universidad de Sonora con el fin de recuperar su opinión sobre las competencias básicas del docente en la impartición de cursos de licenciatura, y contribuir así a la toma de decisiones en el proceso de evaluación docente. A partir de los 30,224 cuestionarios contestados se realizó un análisis factorial (validez de constructo) mediante el método de componentes principales, extrayéndose dos factores que explican el 73.1% de la varianza total; destacó la indefinición de 3 ítems. Se calculó un alfa de 0.97 (consistencia interna). Aunque los resultados evidencian que el instrumento es válido y confiable, se recomienda analizar a profundidad la validez de contenido y considerar robustecerlo.

Palabras clave: Evaluación, desempeño docente, validez, confiabilidad.

I. Introducción

Son diversos los procesos para contar con una planta docente capaz de afrontar los cambios y actualizaciones necesarias para llevar a cabo su actividad y dejar al cliente final, el alumno, con la firmeza de que el servicio recibido es el adecuado. En este sentido, la evaluación docente realizada en algunas instituciones de educación superior es una de las acciones realizadas para favorecer mejores procesos de formación del estudiantado y el profesorado.

En México, la preocupación por iniciar procesos de evaluación de la docencia surge en algunas universidades privadas desde hace más de tres décadas. En el caso de las universidades públicas la evaluación se implementa de forma generalizada a partir de las políticas promovidas por la Secretaría de Educación Pública (SEP) y la Asociación Nacional de Universidades e Instituciones de Educación Superior (ANUIES) en la década de los noventa (Luna y Torquemada, 2008a; Luna y Rueda, 2008).

De acuerdo con lo reportado por Rueda y Luna (2011), en los procesos de la evaluación docente predominan las encuestas de opinión estudiantil como la modalidad para recuperar información. La aplicación sistemática de cuestionarios data de la segunda mitad de la década de los ochenta en instituciones como la Universidad Autónoma de México (UNAM), la Universidad Autónoma Metropolitana (UAM) y la Universidad Autónoma de Aguascalientes (UAA), y su uso se generaliza a partir de 1990.

Existen antecedentes de la evaluación de la enseñanza en licenciatura –a partir de la opinión de los estudiantes en la Universidad Autónoma de Baja California (UABC)– desde 1988, dicho proceso se reporta con el propósito de identificar las áreas del quehacer docente que requerían preparación pedagógica; con la información recabada se pretendía orientar los programas de formación de docente (Luna, 2002). Por su parte, la Universidad Autónoma de Guadalajara (UAG) impulsa la evaluación docente en 1991 tomando en cuenta la opinión de los estudiantes, ésta se conoce a través de un cuestionario que indaga tanto aspectos del estudiante como del docente, el estudiante que respondía el cuestionario daba cuenta de su responsabilidad en el curso, el grado de compromiso y el aprendizaje obtenido del mismo. Sobre el docente se interrogaba acerca del manejo de contenidos, logro de objetivos, responsabilidad, formas de evaluación y relación docente-alumno, referentes indagados de forma general hasta su reestructuración (Rueda, 2008b).

En la actualidad, de acuerdo con Luna y Torquemada (2008b), el diseño de los cuestionarios enfrenta el reto de incorporar los cambios contextuales propios de cada situación educativa con el fin de ser congruentes con la filosofía y la misión institucional. Entre estos cambios están las peculiaridades de los planes de estudio por competencias, la educación a distancia y las particularidades del contexto pedagógico, por ejemplo el nivel educativo (licenciatura o posgrado). De no hacerse de esta forma corren el riesgo de ser obsoletos.

La ANUIES sugiere que en la evaluación docente deben considerarse aspectos como el enfoque, la antigüedad y el tipo de escuela, debido a que el uso de cada sistema de evaluación es diferente de una universidad a otra; en este sentido, de acuerdo con Rueda (2008b), en algunas instituciones de educación superior la evaluación es una práctica aceptada y forma parte de la vida académica, mientras que en otras es un requisito administrativo que en ocasiones es concebido como condición para acceder a una compensación salarial vía algún programa especial.

Luna y Torquemada (2008b) consideran importante evaluar el desempeño de los docentes por varias razones: porque logra estimular y favorecer el interés por su desarrollo profesional, es decir, al plantearle metas alcanzables de mejoramiento los profesores se sienten motivados y buscan opciones para mejorar su rol como docente y para alcanzar sus aspiraciones de carrera. Además, dicha evaluación contribuye al mejoramiento de la misión pedagógica de las instituciones, favoreciendo en los profesores aspectos como: la mejora de la práctica de la enseñanza, la adquisición y reforzamiento de los conocimientos de contenido y de las funciones como gestor de aprendizajes, la orientación que debe dárseles a los jóvenes, las relaciones con colegas y su contribución a los proyectos de mejoramiento de su institución. Por otra parte, se favorece la formación integral de los estudiantes, de manera que estén alertas respecto a su rol, tareas, funciones y proyección como profesionistas.

La evaluación docente, a partir de la opinión del alumnado sobre el desempeño del profesorado, constituye uno de los medios de evaluación más comunes y es también la más estudiada (Casero, 2008; Luna y Torquemada, 2008b). Casero (2008) menciona que dicha práctica data de tres cuartos de siglo atrás. Tirado, Miranda y Sánchez (2007) consideran que los estudiantes son una de las mejores fuentes de información del proceso de enseñanza-aprendizaje, así como del cumplimiento de objetivos académicos por parte del profesor y como uno de los referentes en torno a la pertinencia de las actividades del profesor dentro del aula. Sin embargo, se advierte que su valoración puede ser subjetiva y estar influida por diversos factores, por lo que es susceptible de sesgos.

En la evaluación docente es indispensable emplear una metodología científica que asegure la confiabilidad y validez de los procesos. De acuerdo a Luna y Torquemada (2008b), las dos medidas de confiabilidad más utilizadas en este tipo de evaluación son la consistencia de la medida, considerada como el acuerdo relativo entre los estudiantes en una clase o curso, y la estabilidad de los puntajes a través del tiempo, tomada como el acuerdo entre los estudiantes en relación con un mismo instructor, con el mismo instrumento en diferentes momentos. Dichos autores señalan que la validez de los puntajes otorgados por los estudiantes al profesor se estudia desde dos perspectivas: como una medida que muestra la opinión de los estudiantes acerca de la calidad de la instrucción, y como una forma adecuada de reflejar la efectividad de la enseñanza.

La confiabilidad se establece para garantizar la estabilidad o consistencia interna en estas técnicas e instrumentos de medición y verificar el grado de similitud entre el contexto del evaluador y el contexto del evaluado (García, 2002). Por otra parte, la evaluación del desempeño docente se muestra como el proceso sistemático mediante el cual se obtienen datos válidos y fiables, con el objetivo de comprobar y valorar el efecto educativo que produce en los alumnos el despliegue de las capacidades pedagógicas del docente, su emocionalidad, responsabilidad laboral y la naturaleza de las relaciones interpersonales con alumnos (Valdés, 2000).

El Instituto Tecnológico de Sonora (ITSON) realiza el proceso de evaluación de desempeño docente bajo la modalidad de opinión de los alumnos dada la constante preocupación que tiene la institución por la mejora de las prácticas del profesorado (Madueño, Márquez, Pizá, Calderón y González, 2013). La evaluación a través de un cuestionario que recoge la opinión del estudiantado data de 1985; durante cuatro años dicho instrumento sufrió modificaciones por parte de un comité revisor, surgiendo una versión que valoraba aspectos como dominio de cátedra, planeación y conducción del curso, evaluación de los alumnos, relación maestro-alumno, así como puntualidad y asistencia. Posteriormente, como parte del proceso de rediseño curricular institucional de 1995, se identificó la idea de concebir la labor del profesor orientada a satisfacer los propósitos y objetivos que la institución debía cumplir ante la sociedad, por lo que fue necesario diseñar un nuevo instrumento, también dirigido al estudiantado universitario, que entró en vigor en 1998 (Márquez, Vega y Velásquez, 1998).

En el 2003, como resultado de un proceso de reestructuración curricular, se introdujo el enfoque por competencias en los programas educativos (Plan 2002), lo que motivó la realización de una serie de estudios, entre ellos un estudio cualitativo con el propósito de identificar el perfil del docente, en el que se encontró una tendencia hacia la mediación pedagógica, las actitudes en cuanto a trato, amabilidad, disposición, ayuda, interés y equidad; asimismo, un estudio orientado al proceso de certificación de competencias básicas docentes. Dado lo anterior, se vio en la necesidad de contar con una nueva estrategia para valorar la implementación de cursos por parte del docente, por lo que el anterior instrumento pierde vigencia y se estructura un cuestionario que es aplicado desde el año 2005 a los estudiantes del ITSON, se trata de un cuestionario que se responde en línea desde la plataforma institucional SAETI (Sistema de Apoyo a la Educación con Tecnología de Internet) (Madueño, 2005).

II. Planteamiento del problema

Para el desarrollo de este trabajo se asume que es necesario otorgar a la evaluación del desempeño docente la importancia que merece con el fin de propiciar la reflexión y la atención hacia las áreas de mejora que puedan derivarse de dicha evaluación. Además, la evaluación se considera un método que permite otorgar un estándar o grado, con el cual se conoce el nivel de habilidades, capacidades, conocimientos y demás razonamientos con los que cuenta un individuo al desempeñar una actividad.

Un proceso evaluativo sería limitado toda vez que omita dirigirse hacia la mejora y a la toma de decisiones con respecto a quien es evaluado (Rueda, 2008a; Rueda y Luna 2011). Los procesos de valoración tienen que ver con el desarrollo de una persona y en ello se ven implicadas varias personas (Orjuela, 2013), en ese sentido el aspecto ético se posiciona como imprescindible en la acción de evaluar. No basta con recoger información sino que ésta debe ser interpretada y retomada para derivar acciones críticas, buscar referentes, analizar alternativas y tomar decisiones; lo cual permite la creación de una cultura evaluativa en la que se cuide la legitimación del valor de determinadas actividades, procesos y resultados educativos, en estos casos es necesario cuidar las propiedades de los instrumentos empleados. En virtud de lo anterior, es necesario contar con instrumentos confiables y válidos que brinden información a los docentes sobre la percepción que los estudiantes emiten respecto a la práctica docente.

Según Mateo (2001, como se citó en Mendoza-Páez y Bermudez-Jaimes, 2008), la evaluación del desempeño puede ser vista como proceso diagnóstico de necesidades, donde se infieren juicios, se establecen valoraciones y se toman decisiones para mejorar la práctica docente, y así determinar si los indicadores utilizados en la evaluación del desempeño docente son exitosos o no. Si se parte de la premisa de que las prácticas educativas están inmersas dentro de un contexto institucional, y este, a su vez, plantea un currículo modelo para la formación de profesionales, entonces, por consecuencia, la evaluación del desempeño docente estará en función de los requisitos académicos que debe cumplir el docente para cubrir el perfil deseado.

Luna y Torquemada (2008b) señalan que en México muchos de los cuestionarios actualmente en uso carecen de rigor metodológico en su elaboración, omiten los componentes validados por la literatura con las consecuentes desventajas, el alejamiento del propósito central de origen: identificar a los profesores que presentan los elementos asociados a la enseñanza efectiva y al aprendizaje, así como a quienes carecen de ellos. Además, los administradores agregan reactivos con un marcado interés de control administrativo o determinados por las exigencias de programas especiales de compensación salarial. Así, un elemento crítico a considerar es la calidad técnica del diseño del cuestionario que asegure su confiabilidad, validez y utilidad. Es oportuno mencionar que quienes participan en los procesos de la evaluación del profesorado se preocupan por contar con instrumentos válidos que respondan a las necesidades del contexto institucional particular (Rueda, Luna, García y Loredo, 2011).

Acosta (2005) señala que en el ITSON se realizó un rediseño del instrumento de evaluación en el 2005, donde se obtuvieron 44 reactivos en escala Likert y uno dicotómico, con cinco dimensiones: maestro mediador, estrategias de aprendizaje, estrategias didácticas, evaluación del aprendizaje y actitudes. Para su validación se aplicó a 4,633 estudiantes de licenciatura. Se analizó su validez de contenido mediante el juicio de expertos y la confiabilidad mediante la consistencia interna de las respuestas, y se concluyó que posee validez de contenido y confiabilidad aceptable (alfa de 0.957).

Con la finalidad de que su acceso sea mediante la plataforma institucional, dicho instrumento fue ajustado en su versión en línea y se redujo a 17 reactivos, con un análisis de consistencia interna de 0.93, sin embargo, no se le realizaron análisis de validez de constructo (Acosta, 2005). Dado lo anterior, se hace necesario generar evidencias de su validez y confiabilidad, así surge el cuestionamiento: ¿Qué tan confiable y válido es el instrumento de valoración de las competencias básicas docentes desde la opinión estudiantil empleado en el ITSON?

IV. Método

El estudio se realizó en el ITSON (campus Obregón, Navojoa, Guaymas y Empalme). Es una investigación descriptiva ex post facto. Se realizó un censo y se consideró el total de encuestas contestadas (30,224) por los estudiantes que en ese momento se encontraban inscritos en alguno de los programas educativos (período escolar enero-mayo de 2009). La tabla I muestra la distribución de encuestas aplicadas.

Tabla I. Frecuencias y porcentajes de aplicaciones por Departamento Académico

El instrumento objeto de estudio consta de 17 reactivos, 16 de los cuales son de opción múltiple y uno de respuesta dicotómica, distribuidos en tres dimensiones: a) maestro mediador, b) estrategias y c) actitudes, expuesto de forma electrónica (online) en la plataforma SAETI. Las preguntas son de opción múltiple con respuestas en escala Likert con cuatro opciones de respuesta: Nunca, Casi nunca, Casi siempre y Siempre, además de un reactivo dicotómico (Sí, No) que indaga sobre si el estudiante tomaría de nuevo un curso con ese profesor. El instrumento cuenta con un encabezado con el nombre de la Institución, el título del instrumento y las instrucciones para responderlo. Una vez que se tuvo acceso autorizado a las bases de datos, tras la aplicación del instrumento a los estudiantes se realizaron los análisis correspondientes en el paquete estadístico SPSS.

V. Resultados

La validez de constructo del instrumento se determinó mediante un análisis factorial utilizando el método de componentes principales con rotación Varimax (ver tabla II). De este análisis se extrajeron dos factores que explican el 73.1% de la varianza total de los puntajes del instrumento. Dichos factores hacen referencia a dos dimensiones: Mediación pedagógica (factor 1) y Actitudes docentes (factor 2).

Tabla II. Soluciones estandarizadas según el análisis factorial para el modelo de dos factores

La confiabilidad se analizó estimando el coeficiente Alfa de Cronbach, obteniéndose para la dimensión Mediación pedagógica un alfa de 0.95, para la de Actitudes docentes 0.92 y el alfa del instrumento total fue de 0.97.

VI. Discusión

La evaluación de la actividad docente es una estrategia académica que facilita la identificación y apoyo necesario a los problemas concernientes a la preparación profesional y el desempeño del profesor universitario; y además, se posiciona como un instrumento útil para el docente dado que le permite reflexionar sobre su praxis y mejorar su actividad docente (Calderón y Escalera, 2008). Es decir, la evaluación del profesorado es útil para proporcionar información que favorezca el mejoramiento profesional del docente y la toma de decisiones a nivel administrativo. Por ello la importancia de mejorar los sistemas de evaluación de la actividad docente en las instituciones educativas, de tal forma que ésta se configure como una estrategia más para favorecer la calidad de la educación que se imparte, y con ello la formación de los estudiantes.

En el ITSON se pretende mejorar día a día y situarse a la vanguardia en calidad del desempeño y mejora de competencias laborales: trasladar esto al área docente implica comprobar que la planta docente, desde la visión del alumnado, cuenta con las competencias necesarias para desempeñar su labor, brindando un servicio apropiado al cliente directo. \

Los hallazgos de este estudio permiten afirmar que el instrumento cuenta con las propiedades psicométricas (validez y confiabilidad) necesarias para ser utilizado como una herramienta para evaluar el desempeño docente en la Institución de referencia. El instrumento es válido, es decir, mide lo que pretende medir, por lo tanto da información acerca del papel del docente como mediador, que incluye las interacciones de los alumnos en el entorno escolar y sus actitudes; ambos aspectos son considerados importantes en la calidad de la práctica docente por autores como Zabalza (2003) y Acosta (2005). Por otro lado, los valores de alfa demuestran que también posee consistencia interna.

Sin embargo, se apreció que en tres ítems las cargas factoriales son altas en los dos factoriales, esto indica que existe indefinición con respecto a las dimensiones que evalúan, por lo que es necesario hacer una revisión de cada uno de los reactivos, y para ser congruentes con lo que la teoría respalda (validez de contenido) se propone considerar ítems referidos a la evaluación del aprendizaje, nivel de conocimientos del docente, y estrategias de enseñanza y aprendizaje (Gutiérrez, 2005; Terán, 2009; Mercado, 2007).

Se recomienda robustecer las propiedades psicométricas del instrumento utilizando otras medidas de validez, como la divergente y convergente, y otras medidas de confiabilidad.

Se constata que, tal como está estructurado, el instrumento da información valiosa para apoyar la evaluación de la práctica docente, pero sólo sobre las competencias del docente como mediador y sobre sus actitudes mediante la opinión de los alumnos, sin agotar las posibilidades de evaluación; por ello es necesario considerar otras fuentes de información, como pueden ser las autoevaluaciones, las evaluaciones por parte de los jefes de departamento, de las academias y de los colegas, para que de esta manera el ITSON cuente con su propio sistema de evaluación docente, el que deberá renovarse o actualizarse cuando así lo requieran las condiciones educativas de la Institución.

Referencias

Acosta, S. (2005). Rediseño de un instrumento para la medición de competencias básicas docentes en una institución de educación superior. México: ITSON.

Calderón, C. y Escalera, G. (2008). La evaluación de la docencia ante el reto del Espacio Europeo de la Educación Superior (EEES). Educación XXI, 11, 237-256. Recuperado de http://tecnologiaedu.us.es/mec2011/htm/mas/5/51/17.pdf

Casero, A. (2008). Propuesta de un cuestionario de evaluación de la calidad docente universitaria consensuado entre alumnos y profesores. Revista de Investigación Educativa, 26(1), 25-44. Recuperado de http://revistas.um.es/rie/article/view/94091 

García, S. (2002). La Validez y la confiabilidad en la evaluación del aprendizaje desde la perspectiva hermenéutica. Revista de Pedagogía, 23(67), 297-318. Recuperado de http://www.scielo.org.ve/scielo.php?pid=S0798-97922002000200006yscript=sci_arttext

Gutiérrez, J. (4 de noviembre de 2005). ¿Cómo reconocemos a un buen maestro? La Jornada Michoacán. Recuperado de http://www.scielo.org.mx/pdf/rmie/v13n39/v13n39a14.pdf

Luna, E. (2002). Evaluación de la docencia: reconstrucción de un proceso institucional. Trabajo presentado en el Tercer Congreso Nacional y Segundo Internacional Retos y expectativas de la universidad. Recuperado de http://www.congresoretosyexpectativas.udg.mx/Framesetmemorias.htm

Luna, E. y Rueda, M. (2008). Estado del conocimiento sobre la evaluación de la docencia universitaria, 199-2004. En M. Rueda (Coord.), La evaluación de los profesores como recurso para mejorar su práctica (pp. 59-72). México: IISUE-UNAM/Plaza y Valdés.

Luna, E. y Torquemada, A. D. (2008a). Evaluación de la docencia universitaria. En M. Rueda (Coord.), La evaluación de los profesores como recurso para mejorar su práctica (pp. 73-88). México: IISUE-UNAM/Plaza y Valdés.

Luna, E. y Torquemada, A. D. (2008b). Los cuestionarios de evaluación de la docencia por los alumnos: balance y perspectivas de su agenda. Revista Electrónica de Investigación Educativa, 10(número especial), 1-15. Recuperado de http://redie.uabc.mx/redie/article/view/201

Madueño, M. L., Márquez, L., Pizá, R. I., Calderón, L. y González, M. (2013). Percepción de los estudiantes sobre la evaluación del desempeño docente, aplicada en línea, en una institución de educación superior del sur de Sonora. En R. I. Pizá, M. González y J. A. Beristáin (Comps.), Avances de investigación de Cuerpos Académicos (pp. 91-107). Instituto Tecnológico de Sonora. Recuperado de http://www.itson.mx/publicaciones/Documents/rada/avancesdeinvestigacion.pdf

Madueño, M. L. (2005). Diseño y confiabilización de un instrumento para la evaluación de las competencias básicas del maestro ITSON (Informe técnico).México: Instituto Tecnológico de Sonora.

Márquez, L. Vega, I. y Velásquez, G. G. (1998). Diseño, confiabilidad y validez de un instrumento de evaluación del desempeño docente en educación superior (Tesis de licenciatura). Instituto Tecnológico de Sonora, México.

Mendoza-Páez, A. M. y Bermudez-Jaimes, M. E. (2008). La evaluación docente en la pedagogía Montessori: propuesta de un instrumento. Educación y educadores, 11(1), 227-252. Recuperado de http://educacionyeducadores.unisabana.edu.co/index.php/eye/article/view/726

Mercado, E. (2007). Formar para la docencia. Una aproximación al trabajo de los asesores y tutores en la escuela normal. Revista Mexicana de Investigación Educativa, 12(33), 487-512. Recuperado de http://www.comie.org.mx/documentos/rmie/v12/n033/pdf/N33C.pdf

Orjuela, A. M. (2013). La evaluación con una perspectiva axiológica. Revista Corporeizando, 1(11), 190-203. Recuperado de       http://revistas.pedagogica.edu.co/index.php/corporeizando/article/view/2015

Rueda, M. (2008a). Reflexiones sobre el diseño y puesta en marcha de programas de evaluación de la docencia. Revista Iberoamericana de Evaluación Educativa, 1(3), 163-168. Recuperado de http://www.rinace.net/riee/numeros/vol1-num3_e/reflexiones.html

Rueda, M. (2008b). La evaluación del desempeño docente en la universidad. Revista Electrónica de Investigación Educativa, 10, 1-15. Recuperado de http://redie.uabc.mx/redie/article/view/196

Rueda, M. y Luna, E. (2011). La valoración del desempeño docente en las universidades. En M. Rueda (Coord.) ¿Evaluar para controlar o para mejorar? Valoración del desempeño docente en las universidades (pp. 9-30). México: IISUE-UNAM/Bonilla Artigas Editores.

Rueda, M., Luna, E., García, B., y Loredo, J (2011). Resultados y recomendaciones. En M. Rueda (Coord.) ¿Evaluar para controlar o para mejorar? Valoración del desempeño docente en las universidades (pp. 197-222). México: IISUE-UNAM/Bonilla Artigas Editores.

Terán, M. (2009). La interacción docente favorece el clima socioemocional en el aula. Segundo Congreso Internacional de Orientación Educativa y Vocacional “Prácticas, reflexiones y propuestas en la construcción de los aprendizajes: Compromiso con un sistema educativo en transformación”. Universidad Autónoma de Baja California.

Tirado, F., Miranda, A. y Sánchez, A. (2007). La evaluación como proceso de legitimidad: la opinión de los alumnos. Reporte de una experiencia. Perfiles educativos, 29(118), 07-24. Recuperado de http://www.scielo.org.mx/scielo.php?script=sci_arttextypid=S0185-26982007000400002ylng=esynrm=iytlng=es

Valdés, H. (2000). Encuentro Iberoamericano sobre evaluación del desempeño docente. Organización de Estados Iberoamericanos. Recuperado de http://www.campus-oei.org/de/rifad02.htm

Zabalza, M. A.(2003). Competencias docentes del profesorado universitario. Calidad y desarrollo profesional. España: Narceas.