Evaluar la colaboración docente: el caso del Sistema Nacional de Reconocimiento Docente en Chile

Desde que la investigación demostró un impacto significativo del profesorado en los aprendizajes de sus estudiantes ha existido un impulso creciente para desarrollar políticas de evaluación docente y de promoción del trabajo colaborativo. Sin embargo, estos dos ejes se han mantenido disociados y en la actualidad son escasas las experiencias de sistemas de evaluación estandarizados que incluyan alguna medida de colaboración docente como un indicador de desempeño (Jones et al., 2019).

En este artículo se analiza el caso del Sistema Nacional de Reconocimiento Docente en Chile (SNRD), una política que promueve la colaboración docente como una instancia de desarrollo profesional y como una responsabilidad del profesorado. Esto se traduce en la introducción del trabajo colaborativo en los Estándares Nacionales de desempeño del profesorado y en su sistema de evaluación (Ley 20903, 2016).

La política de Desarrollo Profesional Docente (DPD) en Chile comprende dos componentes: en primer lugar, un sistema de reconocimiento y promoción que, además de reconocer las competencias de docentes en ejercicio, aporta información para su progresión en la carrera docente, considerando años de experiencia y resultados en dos instrumentos: 1) portafolio, y 2) prueba de conocimientos específicos y pedagógicos; en segundo lugar, un sistema de apoyo que ofrece instancias de formación y acompañamiento a lo largo del ejercicio profesional (Avalos-Bevan, 2018; Olave-Astorga et al., 2021). El portafolio incluye tres módulos: planificación de una unidad didáctica, una clase grabada y evaluación del trabajo colaborativo (a partir del 2016).

En el tercer módulo (evaluación del trabajo colaborativo) los docentes exponen una experiencia de trabajo colaborativo en la que hayan dialogado y reflexionado sobre aspectos pedagógicos con personas de la comunidad educativa o de redes en las cuales participen. Este módulo busca evaluar cuatro aspectos: 1) relevancia de la necesidad que motivó el trabajo colaborativo, 2) calidad del diálogo profesional, 3) valor del trabajo colaborativo para el DPD, y 4) reflexión sobre el impacto de la experiencia de trabajo colaborativo. El módulo incluye, además, dos apartados en los que se plantean instrucciones para su desarrollo y subpreguntas que dan indicio de los detalles a reportar. El primer apartado solicita que la descripción de la experiencia de trabajo colaborativo se realice señalando el problema abordado por medio de la colaboración, así como el diálogo pedagógico que se desarrolló en esa instancia. En el segundo apartado se solicita explicitar la reflexión sobre la experiencia reportada; además, como parte de esta evaluación, el director de la escuela confirma la veracidad de la información declarada por el docente.

Hasta el año 2021 el módulo de colaboración era voluntario, pero desde el 2022 es obligatorio y sólo algunas preguntas se responden de forma voluntaria. La sección obligatoria es considerada en la puntuación final para el encasillamiento del docente en los tramos de la carrera profesional.

A partir del análisis del SNRD, este artículo permite contribuir a los debates de la literatura en torno a los desafíos de los programas que combinan fines formativos y sumativos (Donahue y Vogel, 2018; Firestone y Donaldson, 2019; King y Paufler, 2020). Adicionalmente, admitiendo las brechas que suelen existir entre el diseño de la política y su implementación (Ball et al., 2011; Golden, 2020; Ozga, 2020), así como entre los usos propuestos de las evaluaciones docentes y sus usos efectivos (Donahue y Vogel, 2018; Firestone y Donaldson, 2019; Paufler y Sloat, 2020), este trabajo incluye las percepciones y experiencias tanto de quienes formulan la política como de sus destinatarios. De este modo, el objetivo es describir la inserción de la evaluación del trabajo colaborativo en un sistema evaluativo con altas consecuencias, como es el SNRD, a partir de la formulación de la política y de las percepciones de docentes en ejercicio profesional.

1.2 Revisión de literatura

Los sistemas de evaluación docente se han expandido en diversos países, generalmente en el contexto de las políticas de rendición de cuentas, las cuales se caracterizan por la utilización de evaluaciones estandarizadas, la reducción del currículum y formas de gestión del sector privado, etc. (Flórez y Rozas, 2019; Maroy y Dutercq, 2017). Las evaluaciones de altas consecuencias, es decir, aquellas cuyos resultados conllevan incentivos y sanciones para individuos e instituciones, funcionan bajo el supuesto de que estas consecuencias permitirán retener docentes más competentes e incentivar la mejora de sus prácticas pedagógicas (Firestone y Donaldson, 2019). Sin embargo, la investigación ha demostrado que los efectos positivos de estas evaluaciones son exiguos, ya que presentan problemas de validez y confiabilidad debido, principalmente, a sus consecuencias adversas, tales como el entrenamiento para las evaluaciones, la pérdida de sentido formativo e incluso el fraude o manipulación de resultados (Datnow et al., 2020; Loeb y Byun, 2019; Oyarzún y Cornejo, 2020).

Por otro lado, desde las políticas educativas se ha buscado la promoción del trabajo colaborativo entre docentes (Sinnema et al., 2022). De este modo, se espera mejorar los procesos de enseñanza-aprendizaje (Hargreaves, 2019; Ismail et al., 2018; Little, 2020; Muckenthaler et al., 2020) que contribuyen al desarrollo de una educación más inclusiva (Bersanelli, 2008) y equitativa (Ainscow, 2016). Se ha estudiado la colaboración como un pilar del DPD demostrando sus beneficios en la práctica docente y la formación continua (de Jong et al., 2022; Martini, 2021; Veloquio, 2017). Esta afirmación deriva de las perspectivas constructivistas que conciben el aprendizaje docente como una actividad colectiva inseparable del contexto sociocultural en el que ocurre (Vaillant, 2016). Adicionalmente, se sostiene que la colaboración entre pares propicia y enriquece la reflexión sobre las prácticas pedagógicas (Martini, 2021; Visone et al., 2022).

La colaboración que se asocia al DPD es la profesional, la cual influye de forma positiva en el aprendizaje del estudiantado y se caracteriza por la solidaridad y solidez de los intercambios (Hargreaves y O’Connor, 2018). De este modo, la colaboración docente constituye una modalidad de formación continua en el escenario natural y cotidiano del profesorado (Martínez, 2019; Martini, 2021).

Los modelos de desempeño docente sobre los cuales reposan los sistemas de evaluación consideran la colaboración dentro de las dimensiones que caracterizan una práctica docente de calidad. Se incluyen elementos tales como: las relaciones con colegas que fomenten compartir, planificar y trabajar en conjunto; la participación en una cultura de investigación profesional; la participación en iniciativas y proyectos escolares fuera del aula; la participación en proyectos escolares para mejorar la comunidad profesional de aprendizaje; las mentorías, entre otras (Danielson, 2013; Marzano, 2013).

Trabajos sobre los sistemas nacionales de evaluación docente (Abdelaziz et al., 2016; Guevara et al., 2016; OECD, 2013) demuestran que, en algunos casos, la colaboración está presente en los dominios de responsabilidades o compromiso profesional (por ejemplo, Países Bajos, Nueva Zelanda, Australia y Francia). No obstante, la literatura carece de descripciones específicas de la evaluación de la colaboración y, generalmente, sólo se mencionan los descriptores evaluados o aparece una afirmación en un cuestionario o rúbrica. Cuando se presentan sistemas estandarizados se describen modelos de valor agregado, en los cuales aún persisten deficiencias de robustez y estabilidad de las mediciones (Jones et al., 2019).

En este contexto, los métodos de evaluación de la colaboración docente constituyen un desafío para la investigación y la política educativa. A partir del momento en que la colaboración se instala como política de DPD y como indicador de la calidad del desempeño surge la necesidad de evaluarla, ya sea con fines formativos o sumativos (Donahue y Vogel, 2018; Firestone y Donaldson, 2019; Jones et al., 2019). En el caso de la evaluación con fines de rendición de cuentas, el estudio de su puesta en acción permite comprender cómo funciona un sistema estandarizado de evaluación del desempeño individual cuando el objeto evaluado es un aspecto colectivo de la práctica docente y cuáles son sus eventuales dificultades.

Por último, investigar un sistema evaluativo con estas características desde la perspectiva de los formuladores de la política y de sus destinatarios ofrece una oportunidad para develar las brechas entre las concepciones de colaboración y de su evaluación con el fin de informar a las políticas públicas sobre las formas de adhesión y resistencia de los actores del mundo escolar (Ball et al., 2011; Golden, 2020; Ozga, 2020).

Se realizó una investigación cualitativa de alcance exploratorio-descriptivo orientada a profundizar en el fenómeno desde las experiencias de los actores implicados (Creswell y Poth, 2017) y desde documentos producidos por las instituciones que formulan la política.

Se emplearon tres técnicas de producción de datos:

Análisis documental. Se realizó una revisión documental con el propósito de caracterizar las políticas educacionales de evaluación del trabajo colaborativo. Se recopilaron 110 documentos oficiales emitidos de 2004 a 2020 por instituciones públicas y privadas directamente vinculadas al SNRD (documentos legislativos, documentos informativos y técnicos, orientaciones, manuales de evaluación, actas de reuniones legislativas, entre otros). De esta búsqueda inicial se establecieron criterios de exclusión: documentos sobre Evaluación Docente anteriores a la Ley de 2016 y aquellos que no abordan la colaboración en el marco de la política, logrando un corpus de 75 documentos.

Entrevistas individuales. Se entrevistó a representantes de instituciones que participaron en la elaboración del SNRD y que se desempeñaban en cargos relevantes en ese momento, con el propósito de conocer sus argumentos de la inclusión del trabajo colaborativo en la política. Se realizaron cinco entrevistas semiestructuradas a partir de un muestreo intencional de actores clave (Mendieta, 2015; Schreier, 2018): un encargado de redactar el proyecto que creó el SNRD presentado al Congreso, un representante del Sindicato de Profesores, dos directoras de DocenteMás (Organismo de asesoría técnica) y un experto de la entidad del Ministerio de Educación responsable de la evaluación docente.

Entrevistas grupales. Se realizaron dos entrevistas grupales a docentes en ejercicio profesional en escuelas de un Servicio Local del Gran Santiago, con el propósito de describir sus percepciones sobre la evaluación del trabajo colaborativo. En la primera entrevista participaron 18 docentes de enseñanza primaria, y en la segunda 13 docentes de enseñanza secundaria. En ambas se contempló a docentes de variadas disciplinas. Además, se contó con participantes que habían desarrollado el módulo 3 y otros que no, por lo que durante la entrevista se presentó un extracto de las tareas del módulo (ver Figura 1).

Las entrevistas fueron realizadas a través de la plataforma Zoom, grabadas y transcritas integralmente. Todos los entrevistados recibieron la información necesaria para decidir participar y firmar un consentimiento informado, de acuerdo con los procedimientos aprobados por el Comité de Ética de la Universidad responsable de la investigación.

Para analizar la información de entrevistas y documentos se realizó un proceso de codificación abierta o inductiva (Linneberg y Korsgaard; 2019; Moser y Korstjens, 2018) utilizando el software MAXQDA 2018. Posteriormente, se establecieron categorías relativas a tres temas centrales abordados en las entrevistas en función del problema de estudio y de los referentes teóricos: 1) cómo y qué se mide; 2) proceso de evaluación; 3) propósitos y consecuencias. Por último, el proceso interpretativo fue abductivo, es decir, contempló un contraste iterativo entre datos recogidos (inducción) y los referentes conceptuales (deducción) (Kennedy y Thornberg, 2018).

Para garantizar la confiabilidad y facilitar la transferibilidad de los resultados (Moreira, 2018) existió un diálogo constante entre el equipo de investigación mediante memorandos y notas de las entrevistas. Además, un proceso de doble codificación del 20% de los segmentos, junto con un análisis de concordancia a través del índice kappa (Landis y Koch, 1977), permitió examinar la consistencia del proceso (K = 0.606 para los documentos y K = 0.330 para las entrevistas), dando lugar a discusiones sobre los segmentos que presentaban discrepancias entre jueces.

El análisis del material arrojó una serie de resultados sobre la inserción del trabajo colaborativo en el SNRD, los cuales se organizaron en cuatro hallazgos que se detallan a continuación.

3.1 Heterogeneidad de concepciones sobre trabajo colaborativo

Frente a la pregunta sobre las racionalidades en las que reposa la construcción del módulo 3, el análisis de las tareas, instrucciones y rúbricas de corrección del portafolio sugiere un proceso de toma de decisiones entre la decodificación de la ley y su traducción en los dispositivos que se presentan a los docentes para guiar su elaboración del portafolio. Al respecto, desde su formulación, el portafolio hace énfasis en el vínculo del trabajo colaborativo con el aprendizaje del estudiantado, por medio de la descripción y reflexión en torno a una experiencia de colaboración docente que surge de una necesidad identificada previamente.

… definimos que esta experiencia tenía que tener un carácter como bien fuerte en la línea reflexiva y también tenía que estar muy anclada al aprendizaje de los estudiantes, no era cualquier experiencia de trabajo colaborativo, sino que tenía que ser una experiencia de trabajo colaborativo anclada al aprendizaje de los estudiantes. (Directora 1_DocenteMás).

En las instrucciones entregadas a los evaluados, se indica:

Para responder, reflexione en qué medida se dio respuesta a la necesidad, problema o interés que dio origen a la experiencia, y qué impactos no previstos surgieron producto del trabajo colaborativo. Considere que puede referir a resultados a nivel de participantes, estudiantes, apoderados/as, a nivel de la cultura escolar, etc. NO es necesario que se refiera a todos ellos. (Documento 2).

Para algunos docentes, las instrucciones del portafolio no fueron suficientes, declararon no comprender las respuestas esperadas y manifestaron desajustes entre sus concepciones de colaboración y las que se desprenden de la política. En las entrevistas se expresó la dificultad para determinar qué tipo de experiencia describir, qué alcance debe tener, si debe ser una actividad específica o un proyecto con objetivos que abarquen a toda la comunidad educativa, si debe ser una acción puntual o una experiencia de mayor duración. Algunos docentes interpretan que la pregunta se dirige hacia la exposición de acciones cotidianas, sin embargo, la mayoría de las personas entrevistadas que obtuvieron resultados satisfactorios señalaron haber descrito un proyecto desarrollado a nivel de todo el establecimiento:

Pero creo que lo que dicen es supersubjetivo porque, uno no sabe cómo interpretar el módulo...y creo que también es superimportante lo que dicen mis colegas, tratar de abarcar a la comunidad educativa en pos del trabajo colaborativo para que haya más buenas experiencias y no inventar o tratar de ver en qué minuto hizo un buen trabajo colaborativo. (Docente Educación Primaria).

Los docentes declaran su falta de entendimiento de lo que se debe reportar, lo que se relaciona con la heterogeneidad de concepciones del trabajo colaborativo.

Es otra cosa a lo que se plantea como concepto de trabajo colaborativo en la escuela, partamos de la premisa de que cada uno lo está entendiendo como lo quiere entender y eso nos pasó a nosotros, o sea, cuando yo hice el portafolio en el 2016, hice esta parte número tres, lo hice de acuerdo a lo que yo entendía... nadie me preparó, nadie nos ha preparado. (Docente Educación Primaria).

El hecho de no estar familiarizados con lo que, desde la política, se entiende por trabajo colaborativo, también supone no estarlo con la forma en que se evalúa. Esto se manifiesta cuando los entrevistados señalan que la experiencia que deben reportar no forma parte de su quehacer cotidiano y tanto las respuestas esperadas como la forma de preguntarlas les resultan poco familiares. Este punto es manifestado especialmente por docentes que declaran estar en una condición laboral especial: llegaron recientemente al establecimiento en el cual trabajan, realizaron pocas horas de clases, ejercieron durante la pandemia o se desempeñaron en disciplinas poco tradicionales.

Tenemos que hacer el portafolio donde tenemos que poner la planificación de una clase, que es algo que hacemos diariamente, pero en cambio los trabajos colaborativos, como proyecto, no es algo que esté instalado en todas las escuelas y que sea como una rutina (Docente Educación Primaria).

La dificultad para reportar el trabajo colaborativo en la evaluación fue anticipada por las personas responsables de su creación, señalando que en escasas ocasiones los docentes relatan por escrito su quehacer.

Una cosa es que yo te cuente lo que hice en la clase, que ya tiene su ejercicio, pero otra cosa es que yo te cuente, imagínate, “nosotros nos juntamos tres veces” y yo tengo que encontrar cómo contarte que hubo diálogo, hubo análisis, hubo reflexión en nuestro trabajo, es superdifícil, de hecho, nosotros en algún minuto dudamos si era posible. (Directora 2_DocenteMás).

3.2 Condiciones para el trabajo colaborativo y su reporte

Desde los orígenes del módulo 3, los responsables de su construcción sugirieron su voluntariedad debido a que las escuelas no disponen de las condiciones para el trabajo colaborativo. Según señala la representante de esta institución, el Ministerio de Educación espera que su evaluación obligatoria genere la necesidad de propiciar el trabajo colaborativo en los equipos directivos de las escuelas.

Siempre nos hemos opuesto, debo decirte, a que sea obligatorio, nosotros creemos que todavía no están las condiciones en los establecimientos para que se le exija a los docentes este tipo de experiencias. En general, lo más frecuente es que tengan un resultado básico, como te digo, todavía no está instalada y no les va bien (Directora 1_DocenteMás).

Puesto que no todos/as los/as docentes tienen experiencias de trabajo colaborativo o cuentan con condiciones para realizar este tipo de trabajo, en el Portafolio 2020, la entrega del Módulo 3 es voluntaria (Documento 2).

Con el fin de propiciar las condiciones para la colaboración, se acogió en la ley la propuesta del Sindicato de Profesores de reducir el número de horas lectivas para destinar ese tiempo al trabajo colaborativo; sin embargo, desde la perspectiva de los entrevistados, la falta de tiempo sigue siendo uno de los principales obstáculos para la colaboración y, por ende, para completar el módulo que la evalúa.

Esta parte es como utópica, es ideal, es necesaria, pero en la práctica, cuando estamos en el trabajo in situ, es imposible (...) a veces no hay tiempo ni siquiera para conversar con esa colega que uno de repente “oye te vi triste el otro día”, ni siquiera tenemos ese tiempo, entonces nos piden aquí que nos coordinemos, que reflexionemos, pero no existe ese tiempo en la práctica (Docente Educación Primaria).

La percepción de no tener las condiciones necesarias para la colaboración docente impacta en la legitimidad de su evaluación para el profesorado. Algunos docentes entrevistados señalan que una de las principales dificultades al momento de completar el módulo 3 es que no poseen experiencias de trabajo colaborativo para describir en la tarea, simplemente porque en su establecimiento no existen. Esto se expresó en las entrevistas utilizando términos que aludían a un proceso “irreal”, una “evaluación falsa”, “utópica”, una “invención de respuestas”.

La verdad yo no sé si era el segundo año, pero tenía que hacerlo, el módulo en el portafolio, pero fue lo peor que yo tuve, ¿por qué?, porque yo decía, sí lo hicimos, lo conversamos, pero ¿dónde fue la reunión?, pero lo conversé en la hora del almuerzo, no, nos coordinamos en la hora del pasillo. (Docente Educación Primaria).

3.3 Corrección y retroalimentación de resultados

El portafolio es corregido por docentes seleccionados y capacitados para cumplir esta función en universidades escogidas mediante licitaciones públicas. La corrección se realiza a través de rúbricas de acceso público basadas en indicadores derivados de los Estándares de Desempeño. Los documentos analizados describen el proceso de corrección y los resguardos para que ésta sea confiable, libre de sesgos y resguarde el anonimato del docente evaluado.

Todos los supervisores, correctores, personal de bodega, digitadores, etc. son cuidadosamente capacitados en los protocolos e instructivos que guían sus funciones (...) Los docentes que se desempeñan como correctores reciben una capacitación en línea de 15 a 20 horas; una capacitación presencial de 40 horas, y en el caso de quienes supervisan la corrección, esto último aumenta a 76 horas. Posteriormente se implementa un período de “marcha blanca” de 16 horas, en donde cada docente ya formado practica el proceso de corrección completo. Tras completar todo este proceso, se inicia la corrección propiamente tal. (Documento 19).

Pese a que este proceso es explicado en los documentos a disposición del profesorado, en su interpretación y traducción, persisten informaciones inexactas o equívocas. De hecho, algunos docentes advierten una inconsistencia en sus resultados y su categorización, tanto entre mediciones como en relación con la percepción de sí mismos como profesores. Además, las personas entrevistadas manifiestan su desconfianza con el proceso de corrección:

O sea, si el profesor menciona esta palabra que está en esta casilla, si el profesor menciona esta más esta (...) y todo el portafolio es evaluado de la misma forma entonces (…) y el profesor puede hacer algo superlindo y maravilloso, pero si no cabe dentro de esa rúbrica tan... estricta, la verdad es que no tiene el efecto que se podría esperar y obviamente que el profesor no va a recibir nunca la retroalimentación que realmente necesita. (Docente Educación Secundaria).

Pero... claro, entonces… decía, ¿cuál habrá sido la palabra? porque como dice la otra profesora, yo también po’ si dice esa palabra, listo, es competente o es insatisfactorio (...) entonces, es bien falsa la evaluación docente, sinceramente eso es lo que yo creo, es un proceso falso (Docente Educación Secundaria).

Desde el centro técnico asesor en la Evaluación Docente señalan tener conocimiento de estas informaciones equívocas que circulan y lo atribuyen, en parte, a malentendidos en los procesos de corrección difíciles de erradicar pese a los esfuerzos realizados en las capacitaciones:

Es un mito que se instaló con quienes participan como correctores, el mito de las palabras clave (...) A veces yo creo que nosotros cometíamos ese error de decir, es superimportante ver, no sé, que haya reflexión, pero eso se entiende ¡ah, como que tiene que existir la palabra reflexión! no, no estás diciendo eso, es que tiene el docente que dar cuenta que hay una reflexión con pares (Directora 1_DocenteMás).

El uso de los resultados es otro aspecto crucial en la evaluación, pues cuando no corresponde con los propósitos para los cuales fue diseñada, su validez se ve gravemente mermada. Con el fin de facilitar la interpretación y uso de los reportes de resultados, hasta el 2020 se entregaba un informe que explicaba el significado de las categorías de desempeño. A partir de ese año inició la publicación de las rúbricas incitando al profesorado a comparar sus resultados con los niveles de desempeño esperados (competente y destacado) descritos.

Ahora, los docentes entrevistados desconocen esta información o, bien, la consideran insuficiente, dando cuenta de una retroalimentación limitada y poco pertinente.

Yo, en lo personal, recuerdo que viene como una observación de los puntos que no están completos (...) pero son referencias muy genéricas que no dan explicaciones, así como: “sabe qué, a ver, pasó tal cosa, usted debería mejorar esto”, o sea realmente no hay una retroalimentación de nuestro trabajo, son respuestas “está mal”, “está bien” y listo. (Docente Educación Secundaria).

La falta de información puede explicarse, entre otras razones, porque cuando está disponible, parece no llegar al conjunto del profesorado. En efecto, desde el centro técnico de la Evaluación Docente señalan que mucha de la información y de las orientaciones publicadas en la página web son vistas por un número reducido de personas:

Tenemos los datos, se desaprovecha muchísimo (...) hasta el año pasado levantábamos a través de Google Analytics las visitas al sitio (...) nosotros siempre hemos considerado que el sitio web tiene una riqueza superimportante que se desaprovecha por los profes, no sé si será por falta de tiempo… (Directora 1_DocenteMás).

3.4 Propósitos y consecuencias de la evaluación del trabajo colaborativo

Uno de los principales propósitos de la evaluación del trabajo colaborativo es su rol performativo al buscar promoverlo en las comunidades educativas, favoreciendo la reflexión y el desarrollo profesional docente.

Cabe mencionar que incorporar este ámbito al portafolio utilizado para la evaluación que forma parte de la carrera docente, es una señal muy relevante de valoración de roles y tareas que desempeñan los profesores fuera de la sala de clases (...), comunica una visión de cómo deben funcionar los cuerpos docentes y las escuelas, en tanto comunidades de aprendizaje. (Documento 10).

(…) yo encuentro que este módulo, como al ser voluntario igual tiene sus ventajas porque uno ve si lo toma o no, pero siento que es importante realizarlo porque también uno hace (...) una reflexión propia de su trabajo y también del trabajo que ha ejercido con otros en el colegio, y para mí, la verdad, al ser la primera experiencia, también como de evaluación docente, y también respecto a este módulo, yo dije “lo voy a hacer”, cuando tomé esa decisión dije “los voy a hacer todos”, porque hice específicamente este que era voluntario porque de esa forma yo también me veo como estoy... (Docente Educación Primaria).

Aun cuando la intención de promover la colaboración está presente en los documentos y en las voces de los entrevistados, algunos docentes señalan que este propósito no se cumple.

Entrevistadora: ¿Ustedes creen que la existencia de este módulo puede hacer que la colaboración se dé más en la escuela? ¿Ayudará para eso?

Docente: Hmm no, no yo creo que… (varias personas responden “no” moviendo su cabeza).

Docente: No, yo creo que va por el equipo directivo, también como lo dijo Paula, que se den los tiempos. (Docente Educación Primaria).

Sin embargo, una docente rescata del módulo 3 la posibilidad de reflexionar sobre su práctica.

Yo, como para rescatar algo positivo de ello pensaba que, por último, te invitan a reflexionar y hacer una mirada a tu quehacer pedagógico para ver cómo trabajas de manera colaborativa, como una invitación a verte, como eso podía yo declarar desde lo positivo, viéndole lo más optimistamente posible (risa). (Docente Educación Secundaria).

En relación con las consecuencias, durante el período en que el módulo 3 fue voluntario (en el cual se realizó el presente estudio), el puntaje obtenido se incluía en la ponderación de la evaluación sólo si era favorable para el resultado final, de modo que no existían consecuencias para los evaluados.

Si usted no cuenta con experiencias de trabajo colaborativo en los últimos 3 años, puede omitir este Módulo y eso no perjudicará su resultado en el Portafolio, que se basará solo en los Módulos 1 y 2. Si usted presenta el Módulo 3, este será corregido y el puntaje que obtenga se considerará solo si beneficia el resultado final de su Portafolio. En caso contrario, el resultado final se basará solo en los Módulos 1 y 2. Por tanto, la evaluación de su Módulo 3 en ningún caso perjudicará el resultado de su Portafolio. (Documento 2: Manual portafolio 2020 Primer Ciclo Educación Básica, p. 42).

La voluntariedad del módulo 3, según las personas entrevistadas, se decidió durante las discusiones de la política, debido a la falta de evidencia sobre las competencias docentes en Chile en materia de colaboración y a la multiplicidad de factores externos al docente que determinan el trabajo colaborativo, ante lo cual se esperaba no penalizarlos.

Entonces el ministerio tuvo la buena idea, encuentro yo, de decir ok, lo hacemos estricto (el tercer módulo) pero no se lo pedimos a todos y eso fue, no se lo pedimos obligatorio a todos, y eso fue bueno porque algo que nosotros vimos cuando empezamos a indagar esto es que había profesores que tenían cero condiciones para hacer trabajo colaborativo, entonces no era justo para un portafolio con consecuencias tan altas, que te pidiera eso… era como obligarte a inventarlo, entonces ahí el Ministerio como que pensó, bueno una manera es “no lo hagamos obligatorio al principio”. (Directora 2_ DocenteMás).

El propósito de este artículo ha sido describir la inserción de la evaluación del trabajo colaborativo en un sistema con altas consecuencias, por medio del análisis del caso del Sistema Nacional de Reconocimiento Docente en Chile (SNRD). De este modo, se integraron preguntas de investigación usualmente disociadas, como lo son la evaluación y la colaboración docente (Jones et al., 2019).

Este estudio arrojó cuatro hallazgos que permiten avanzar en la comprensión de la evaluación del trabajo colaborativo: a) la heterogeneidad de concepciones sobre trabajo colaborativo y sus divergencias entre la formulación de la política y los docentes; b) la ausencia de condiciones para la colaboración y, por ende, la dificultad de reportarlo en la evaluación; c) el contraste entre la rigurosidad del proceso de corrección y la desconfianza expresada por los docentes, además del sentimiento de que la retroalimentación no es suficiente; d) las tensiones entre los propósitos formativos de la evaluación y sus consecuencias individuales en los docentes.

Estos hallazgos tensionan la decisión de que el trabajo colaborativo sea evaluado de manera obligatoria a partir de 2022, ya que incluso los docentes manifiestan no contar con las condiciones necesarias para responder adecuadamente a este módulo, condiciones que, además, no están bajo su control. Así, los resultados de esta investigación confirman las aprensiones expuestas por los formuladores de la política que justificaban la voluntariedad y ausencia de consecuencias de la evaluación de la colaboración. Esto, además, coincide con evidencia reciente demostrando que en Chile predominan niveles incipientes y experiencias informales de colaboración que no corresponden a las formas profesionales de colaboración que son evaluadas (Avalos-Bevan, 2018; Castillo et al., 2022). Por otro lado, se hace evidente la preeminencia de la responsabilidad que recae sobre el profesorado en una política que supone una regulación desde los resultados sin asegurar las condiciones necesarias para que se estos se produzcan en las comunidades escolares (Flórez y Rozas, 2019; Maroy y Dutercq, 2017).

Es habitual que una política no se implemente fielmente y que pase por un proceso de interpretación, traducción y puesta en acto que resulta en importantes brechas entre el diseño y la implementación (Ball et al., 2011; Ozga, 2020). Además, el cambio en las culturas escolares es lento y, luego del escenario especial que impuso la pandemia, no es extraño que las competencias docentes de trabajo colaborativo y las condiciones organizacionales en las escuelas aún no hayan logrado instalarse. Sin embargo, para que un sistema de evaluación docente de altas consecuencias, como lo es el SNRD, fomente el trabajo colaborativo en las prácticas de las escuelas es fundamental alinear el diseño con su implementación, sus usos propuestos y los declarados por sus destinatarios, de lo contrario la validez de la evaluación y la pertinencia de sus consecuencias se ven mermadas (Donahue y Vogel, 2018; Firestone y Donaldson, 2019; Kane, 2013; Loeb y Byun, 2019; Paufler y Clark, 2019).

Por esta razón, una implicancia para la política y práctica educativa es la necesidad de delimitar lo que se espera que los docentes reporten sobre trabajo colaborativo, mejorando la difusión, comunicación y consenso en torno a la concepción de colaboración que se está evaluando. Una distinción que parece relevante divulgar es la que existe entre la colaboración profesional, que combina solidaridad con solidez, y otras formas incipientes de intercambio entre docentes (Castillo et al., 2022; Hargreaves y O’Connor, 2018) de modo que, frente a la heterogeneidad de concepciones de colaboración, el profesorado reconozca las formas de trabajo colaborativo que se promueven desde la política; es decir, aquellas que inciden en mejoras en el aprendizaje de los estudiantes y en el desarrollo profesional docente.

Adicionalmente, la exigencia de una reflexión a partir de las experiencias de colaboración que impone el SNRD supone un esfuerzo suplementario en el profesorado no familiarizado con su reporte escrito. Una implicancia práctica de esto es la revisión de los instrumentos utilizados para medir la colaboración y, sobre todo, un análisis de cómo el trabajo colaborativo y la reflexión pedagógica están integrados en la formación inicial y continua del profesorado.

Por otro lado, es fundamental generar las condiciones para que el trabajo colaborativo efectivamente ocurra. Sólo si es posible reportarlo, la evaluación tendrá sentido para los examinados y disminuirán las contradicciones entre las expectativas de los docentes, la retroalimentación y uso de los datos recogidos (Donahue y Vogel, 2018; Firestone y Donaldson, 2019; King y Paufler, 2020).

Sin duda esta investigación presenta limitaciones. Si bien se optó por una metodología cualitativa, de alcance descriptivo y con un muestreo intencionado, que permitiera profundizar en el objeto de estudio, sus resultados no son generalizables y responden a un criterio de relevancia y transferibilidad, mas no de representatividad (Schreier, 2018). Del mismo modo, las categorías analíticas extraídas de las entrevistas grupales con docentes no dan cuenta exhaustivamente de la realidad estudiada, siendo posible que en otros grupos emerjan configuraciones diferentes. No obstante, los documentos y las voces de los entrevistados ofrecen perspectivas del objeto de estudio presentes en el sistema escolar chileno que pueden contribuir a la comprensión de fenómenos similares en otros contextos, especialmente sobre un tema que ha sido poco estudiado a nivel internacional.

Sin embargo, esas limitaciones no restan valor a los hallazgos presentados y a sus implicancias para el conocimiento científico y la política educativa. Para avanzar en la comprensión de las consecuencias de evaluar el trabajo colaborativo docente, estudios futuros podrían examinar las tensiones que emergen en otros sistemas evaluativos que combinan propósitos formativos y sumativos y que, además, intentan evaluar un aspecto colectivo de la práctica docente, mediante una evaluación individual con consecuencias también individuales (Ford y Hewitt, 2020; Jones et al., 2019). En el caso estudiado, de modo similar a lo reportado en otros trabajos (Donahue y Vogel, 2018; Firestone y Donaldson, 2019; King y Paufler, 2020), la dificultad para integrar los fines formativos y sumativos de la evaluación se aprecia en la suspicacia que genera la evaluación en los docentes entrevistados y la falta de motivación por el aprendizaje asociado al proceso evaluativo, el cual pierde relevancia frente a la primacía de las consecuencias derivadas de los resultados.

Por último, trabajos posteriores podrían analizar los resultados de los docentes en esta evaluación y su evolución en el tiempo, de modo de poder contrastarlos con las percepciones de los docentes y tomadores de decisiones que ha reportado este estudio.

Contribución de autoría

Johana Contreras: conceptualización (60%), administración del proyecto, supervisión, investigación (50%), metodología (40%), análisis formal (60%), redacción del manuscrito original (50%).

Constanza San Martín: conceptualización (30%), investigación (30%), metodología (30%), análisis formal (20%), redacción del manuscrito original (25%).

Solange Muñoz Jorquera: conceptualización (10%), investigación (20%), metodología (20%), análisis formal (20%), redacción del manuscrito original (25%).

Horacio Solar: metodología (10%), revisión y edición del manuscrito.

Declaración de no conflicto de intereses

Los autores declaran no tener conflicto de intereses.

Fuente de financiamiento

La investigación no contó con financiamiento.

References

Abdelaziz, W., El Geberi, N., Etshim, R., Haitova, N., Hernandez, F. J., Larsen, J., Ledlow, N., Newland, E., Oakley, B., Parker, K. A., Tanis, K., Wilson, K. y Wilson, L. (noviembre, 2016). Case studies of teacher evaluation systems around the world (Documento de trabajo 2). Evaluation, Measurement, and Research Program, Western Michigan University. https://wmich.edu/sites/default/files/attachments/u445/2017/emr_wps2.pdf

Ainscow, M. (2016). Collaboration as a strategy for promoting equity in education: possibilities and barriers. Journal of Professional Capital and Community, 1(2). https://doi.org/10.1108/JPCC-12-2015-0013

Avalos-Bevan, B. (2018). Teacher evaluation in Chile: highlights and complexities in 13 years of experience. Teachers and Teaching: Theory and Practice, 24(3), 297–311. https://doi.org/10.1080/13540602.2017.1388228

Ball, S. J., Maguire, M., Braun, A. y Hoskins, K. (2011). Policy actors: Doing policy work in schools. Discourse, Studies in the Cultural Politics of Education 32(4), 625–639. https://doi.org/10.1080/01596306.2011.601565

Bersanelli, S. L. (2008). La gestión pública para una educación inclusiva. REICE-Revista Electrónica Iberoamericana sobre Calidad, Eficacia y Cambio en Educación, 6(2), 58-70. https://revistas.uam.es/reice/article/view/5441

Castillo, C., Gelber, D., Contreras, J. y Escribano, R. (2022). ¿Cómo colaboran los docentes en Chile? El estrés como factor asociado. Midevidencias, (25), 1–6. https://mideuc.cl/wp-content/uploads/MIDevidencias-N25.pdf

Creswell, J. W. y Poth, C. N. (2017). Qualitative inquiry and research design choosing among five approaches (4.ª ed.). Sage.

Danielson, C. (2013). The framework for teaching. Evaluation instrument. https://www.nctq.org/dmsView/2013_FfTEvalInstrument_Web_v1_2_20140825

Datnow, A., Lockton, M. y Weddle, H. (2020). Redefining or reinforcing accountability? An examination of meeting routines in schools. Journal of Educational Change, 21, 109–134. https://doi.org/10.1007/s10833-019-09349-z

de Jong, L., Meirink, J. y Admiraal, W. (2022). School-based collaboration as a learning context for teachers: A systematic review. International Journal of Educational Research, 112. https://doi.org/10.1016/j.ijer.2022.101927

Donahue, E. y Vogel, L. R. (2018). Teacher Perceptions of the Impact of an Evaluation System on Classroom Instructional Practices. Journal of School Leadership, 28(1). https://doi.org/10.1177/105268461802800102

Firestone, W. A. y Donaldson, M. L. (2019). Teacher evaluation as data use: what recent research suggests. Educational Assessment, Evaluation and Accountability, 31, 289–314. https://doi.org/10.1007/s11092-019-09300-z

Flórez, M. T. y Rozas, T. (2019). Accountability from a social justice perspective: Criticism and proposals. Journal of Educational Change, 21, 157–182. https://doi.org/10.1007/s10833-019-09361-3

Ford, T. G. y Hewitt, K. K. (2020). Better integrating summative and formative goals in the design of next generation teacher evaluation systems. Education Policy Analysis Archives, 28(63), 1-34. https://doi.org/10.14507/EPAA.28.5024

Golden, G. (2020). Education policy evaluation: Surveying the OECD landscape. OECD Education Working Papers, 236. https://doi.org/10.1787/9f127490-en

Guevara, G., Meléndez, M. T., Ramón, F. E, Sánchez, H. y Tirado, F. (2016). La evaluación docente en el mundo. Fondo de Cultura Económica.

Hargreaves, A. (2019). Teacher collaboration: 30 years of research on its nature, forms, limitations and effects. Teachers and Teaching: Theory and Practice, 25(5), 603–621. https://doi.org/10.1080/13540602.2019.1639499

Hargreaves, A. y O’Connor, M. T. (2018). Solidarity with solidity: The case for collaborative professionalism. Phi Delta Kappan, 100(1). https://doi.org/10.1177/0031721718797116

Ismail, S. N., Muhammad, F., Kanesan, A. G. y Yaacob, A. (2018). Teacher collaboration as a mediator for strategic leadership and teaching quality. International Journal of Instruction, 11(4), 485-498. https://doi.org/10.12973/iji.2018.11430a

Jones, N. D., Bettini, E. y Brownell, M. (2019). Competing strands of educational reform policy: Can collaborative school reform and teacher evaluation reform be reconciled? The Elementary School Journal, 119(3). https://doi.org/10.1086/701706

Kane, M. (2013). The argument-based approach to validation. School Psychology Review, 42(4). https://doi.org/10.1080/02796015.2013.12087465

Kennedy, B. y Thornberg, R. (2018). Deduction, induction, and abduction. En U. Flick (Ed.), The SAGE Handbook of Qualitative Data Collection. Sage. https://doi.org/10.4135/9781526416070

King, K. M. y Paufler, N. A. (2020). Excavating theory in teacher evaluation: Implementing evaluation frameworks as Wengerian boundary objects. Education Policy Analysis Archives, 28(57), 1–12. https://doi.org/10.14507/epaa.28.5020

Landis, J. R. y Koch, G. G. (1977). The Measurement of Observer Agreement for Categorical Data. Biometrics, 33(1), 159–174. https://doi.org/10.2307/2529310

Ley 20903 de 2016. Por la cual se crea el Sistema de Desarrollo Profesional Docente y modifica otras normas. 1 de abril de 2016. Diario Oficial (D.O.) No. 41421.

Linneberg, M. S. y Korsgaard, S. (2019). Coding qualitative data: A synthesis guiding the novice. Qualitative Research Journal, 19(3), 259-270. https://doi.org/10.1108/QRJ-12-2018-0012

Little, M. E. (2020). Collaboration and connections among middle school teachers of mathematics: Enhancing efficacy through professional learning communities. SRATE Journal, 29(1). https://eric.ed.gov/?id=EJ1243775

Loeb, S. y Byun, E. (2019). Testing, accountability, and school improvement. The Annals of the American Academy of Political and Social Science, 683(1), 94–109. https://doi.org/10.1177/0002716219839929

Maroy, C. y Dutercq, Y. (2017). Le travail et le professionnalisme enseignants face aux politiques de responsabilisation. En Y. Dutercq y C. Maroy (Eds.), Professionnalisme enseignant et politiques de responsabilition (pp. 13–32). De Boeck Supérieur.

Martínez, E. F. (2019). El centro y las prácticas de colaboración docente como medios para la mejora educativa. ICE, Revista de Economía, (910), 105-116. https://doi.org/10.32796/ice.2019.910.6918

Martini, G. (2021). Resignificación de la educación continua para el fortalecimiento de la profesión docente: Avances, discursos y tensiones. En F. de la Vega (Ed.), Docencia y desarrollo profesional: fundamentos, debates y perspectivas (pp. 15–36). Saberes Docentes. Universidad de Chile. https://uchile.cl/u184673

Marzano, R. (2013). Developing a passion for professional teaching: The Marzano Teacher Evaluation Mode. https://www.charlotteorioles.com/downloads/business_office_files/mc18-05_marzano_teacher_evaluation_model_2013.pdf

Mendieta, G. (2015). Informantes y muestreo en investigación cualitativa. Informantes y Muestreo en Investigación Cualitativa, 17(30), 1148–1150. https://revia.areandina.edu.co/index.php/IA/article/view/65

Ministerio de Educación de Chile (MINEDUC). (2020). Manual Portafolio Educación Media Técnico Profesional 2020. https://bibliotecadigital.mineduc.cl/handle/20.500.12365/14540

Moreira, H. (2018). Critérios e estratégias para garantir o rigor na pesquisa qualitativa. Revista Brasileira de Ensino de Ciência e Tecnologia, 11(1), 405–424. https://doi.org/10.3895/rbect.v11n1.6977

Moser, A. y Korstjens, I. (2018). Series: Practical guidance to qualitative research. Part 3: Sampling, data collection and analysis. European Journal of General Practice, 24(1), 9–18. https://doi.org/10.1080/13814788.2017.1375091

Muckenthaler, M., Tillmann, T., Weiß, S. y Kiel, E. (2020). Teacher collaboration as a core objective of school development. School Effectiveness and School Improvement, 31(3), 486-504. https://doi.org/10.1080/09243453.2020.1747501

OECD. (2013). Student assessment: Putting the learner at the centre. En Synergies for Better Learning: An International Perspective on Evaluation and Assessment (pp. 139–270). https://doi.org/10.1787/9789264190658-en

Olave-Astorga, J. M., Montoya, C. y Sierralta-Landaeta, E. P. (2021). Ley de Carrera Docente en Chile: cómo los docentes y directivos escolares interpretan y desarrollan sus principios. Revista CS, (34), 167–187. https://doi.org/10.18046/recs.i34.4203

Oyarzún, C. y Cornejo, R. (2020). Trabajo docente y Nueva Gestión Pública en Chile: Una revisión de la Evidencia. Educação y Sociedade, 41. https://doi.org/10.1590/es.219509

Ozga, J. (2020). Who governs? Political leadership in transnational times. School Leadership and Management 41,(1-2), 6–21. https://doi.org/10.1080/13632434.2020.1789857

Paufler, N. A. y Clark, C. (2019). Reframing conversations about teacher quality: school and district administrators’ perceptions of the validity, reliability, and justifiability of a new teacher evaluation system. Educational Assessment, Evaluation and Accountability, 31, 33–60 https://doi.org/10.1007/s11092-019-09292-w

Paufler, N. A. y Sloat, E. F. (2020). Using standards to evaluate accountability policy in context: School administrator and teacher perceptions of a teacher evaluation system. Studies in Educational Evaluation, 64. https://doi.org/10.1016/j.stueduc.2019.07.007

Schreier, M. (2018). Sampling and Generalization. En U. Flick (Ed.), The Sage Handbook of Qualitative Data Collection (pp. 84–98). SAGE. https://doi.org/10.4135/9781526416070

Sinnema, C., Hannah, D., Finnerty, A. y Daly, A. (2022). A theory of action account of an across-school collaboration policy in practice. Journal of Educational Change, 23, 33–60. https://doi.org/10.1007/s10833-020-09408-w

Vaillant, D. (2016). Trabajo colaborativo y nuevos escenarios para el desarrollo profesional docente. Revista Docencia, (60), 5–13. https://ie.ort.edu.uy/innovaportal/file/48902/1/trabajo-colaborativo-y-nuevos-escenarios-denise-vaillant.pdf

Veloquio, G. (2017). La formación permanente de los docentes, ante el desafío de atender a la diversidad educativa. Revista de Educación Inclusiva, 9(2), 144–154.

Visone, J. D., Mongillo, M. B. y Liu, Y. (2022). Teachers’ perceptions of collaboration within an evolving teacher evaluation context. Journal of Educational Change, 23, 421-450. https://doi.org/10.1007/s10833-021-09424-4