La mayoría de las empresas tiene establecido algún tipo de acción formativa dirigida a los trabajadores. Sin embargo, una vez establecida la planificación formativa, nace una nueva preocupación, ¿cuáles son los efectos que la formación produce en la organización? La evaluación de impacto intenta responder esta pregunta.
Este trabajo se centra en averiguar las mejoras conseguidas en una organización una vez transcurrido un tiempo después de realizar la acción formativa, es decir, en qué medida los aprendizajes adquiridos en las acciones formativas son útiles para mejorar el desempeño del propio puesto de trabajo, los servicios de la organización y, por tanto, el desarrollo organizacional. En resumen, la evaluación de impacto hace referencia a los efectos externos de la formación que se reflejan en la organización.
En consonancia con Tejada, se entiende la evaluación como un “proceso sistemático de recogida de información que implica un juicio de valor orientado a la toma de decisiones” (1999, p. 33).
Por lo que al proceso de evaluación de acciones formativas se refiere, es necesario apuntar que cuenta con tres finalidades esenciales:
- Diagnóstica (o de entrada). Permite conocer la realidad donde se desarrollará el proceso de enseñanza-aprendizaje, las características del contexto y las necesidades formativas de los destinatarios.
- Formativa (o de proceso). Permite valorar una acción educativa durante su desarrollo en un contexto determinado, con el propósito de mejorar esta acción durante el transcurso de la acción formativa;
- Sumativa (o de productos). Permite conocer si los objetivos se han conseguido o no, los cambios producidos, verificar la valía del programa, tomar decisiones sobre la certificación de los participantes y el rechazo o aceptación del programa.
Este proceso de evaluación se hace al terminar el programa de formación. Resulta lógico pensar que las opiniones, los pensamientos y valoraciones inmediatas de los participantes podrían estar condicionadas por aspectos afectivos, por situaciones grupales o cualquier otro posible error de sesgo, por ello, es necesario articular una evaluación diferida para eliminar los posibles errores derivados de las implicaciones de los participantes en el hecho formativo y verificar el impacto pasado un tiempo después de la acción formativa.
En el ideograma siguiente (Figura 1) se muestra el esquema básico de las implicaciones del proceso de evaluación de programas de formación, desde su origen, donde se encuentran las necesidades formativas, su diseño, su desarrollo y gestión, sus resultados al final del proceso así como los cambios producidos en el contexto sociolaboral, es decir, en la organización. Este es el marco de referencia para el planear el momento evaluativo en el que se pretende hacer hincapié: la evaluación de impacto.
Figura 1. Esquema básico de las implicaciones del proceso de evaluación
de un programa de formación (por Santos Diez, 1992, en Tejada 2007, p. 405)
Los elementos que se persiguen de acuerdo con la terminología del análisis de sistemas, hacen referencia a:
Los inputs. Recursos, alumnos, profesorado, equipos, etc.
Los throughputs. El proceso de desarrollo de la acción formativa.
Los outputs. El producto final que se persigue con la acción formativa, traducido en adquisición de conocimientos, habilidades y destrezas.
Los outcomes. Los efectos producidos en los participantes y en el desempeño de su trabajo, así como en la organización en su conjunto, después de la realización de la acción formativa.
La Figura 2 muestra la forma en que se plasma el momento evaluativo al que se desea hacer referencia.
Figura 2. La evaluación de impacto
La evaluación de impacto opera después de transcurrido un tiempo de la acción formativa, con el propósito de verificar la permanencia y consistencia de los cambios producidos en los sujetos, la mejora de las prácticas profesionales, los cambios institucionales, etc., según las metas del plan de formación. Esta evaluación permite conocer la eficacia, eficiencia, comprensividad, validez y utilidad del programa, así como su rentabilidad profesional y social. Por todo ello, en la evaluación de impacto se hace referencia a dos niveles de análisis: desde los individuos, de acuerdo con el aprendizaje y transferencia de lo aprendido al puesto de trabajo; y desde la organización, de acuerdo con la rentabilidad de la formación para la organización y el impacto sobre ésta.
Así, se puede definir la evaluación de impacto como “un proceso orientado a medir los resultados generados (cambios y causas) por las acciones formativas desarrolladas en el escenario socioprofesional originario de las mismas al cabo del tiempo” (Ferrández Lafuente, 2006, p. 20). Su objetivo es medir los resultados transcurrido cierto tiempo de la ejecución de los planes de formación y estudiar el grado de realización alcanzado. Por ello, la evaluación de impacto además de analizar la satisfacción y los aprendizajes conseguidos, analiza los efectos que las acciones formativas produjeron en los puestos de trabajo y en la organización. Así, al proporcionar información sobre los cambios conductuales y organizativos, sobre las causas que los provocaron y sobre los factores que los favorecieron o dificultaron, la evaluación de impacto será un proceso clave para programar nuevas acciones formativas o incluso convertirse en un factor de detección de necesidades o de evaluación diagnóstica.
También se apunta más allá de la verificación de los cambios de conducta en el puesto de trabajo o del análisis de los resultados para la organización, por cuanto se indaga sobre las causas y antecedentes de la propia acción formativa. La evaluación de impacto se convierte en una estrategia de la propia evaluación de la acción formativa más allá del momento y el espacio de la misma, por cuanto viene a significar también la pertinencia e idoneidad de la evaluación diagnóstica, su ajuste a necesidades y el dispositivo inicial de la formación; lo mismo puede aportar información sobre la evaluación formativa o procesual y sobre la final. Para considerar adecuadamente los obstáculos, causas, facilitadores, resistencias, etc. de la evaluación de impacto, resulta ineludible, reparar en el resto de momentos y dimensiones evaluativas antecesoras de esta tipología de evaluación dentro del proceso general de evaluación de la formación de programas y acciones formativas.
Esta consideración no es nueva, muchos de los modelos de evaluación de impacto así lo contemplan (Holton, 1996, Tejada, 1998; Cabrera, 2000; Pineda, 2000; Abdala, 2001; Cheng y Ho, 2001; Biencinto y Carballo, 2004; Kirwan y Birchall, 2006).
II.1 Dimensiones e indicadores
A partir de Biencinto y Carballo (2004), es posible definir las grandes dimensiones que explican el impacto de la formación:
- Satisfacción. Índice de calidad y correcto funcionamiento del programa.
- Valor añadido. Incremento de conocimientos tras haber participado en un programa de formación y su posterior transferencia al puesto de trabajo.
- Mejora del status profesional. Incremento de las competencias profesionales.
- Mejora organizacional. Incremento de las competencias institucionales.
Aún así, la evaluación de impacto es una de las funciones menos desarrolladas y que presenta más deficiencias en las organizaciones, debido a que en todas las organizaciones se evalúa la satisfacción de los participantes, pero no el impacto. Tradicionalmente, esta evaluación se ha reducido a una orientación economicista y centrada en los resultados (Gairín, 1998). Es por ello, que para dejar esta visión (sin negarla) y realizar una evaluación de impacto desde una perspectiva pedagógica y para cerciorarse del alcance del cambio institucional producido, el estudio se basó en los criterios de efectividad, es decir, en que toda actividad a desarrollar tiene un punto máximo de calidad de acuerdo con la propia esencia de la actividad, y de aplicabilidad, es decir, el grado en que los participantes de la acción formativa transfieren los conocimientos y habilidades adquiridas al puesto de trabajo (Ferrández Arenaz, 2002).
Al tomar como referente estos criterios, se presta a la medición de la cantidad de aprendizaje que se utiliza en el puesto de trabajo y no, como hace la mayoría de los programas, la cantidad de aprendizaje adquirido al término del curso. Aquí se refiere a los efectos de la formación, y para tal fin es preciso tener en cuenta indicadores (Tejada, 2007) como:
a) El logro de la finalidad esperada
b) Valoración de la mejora en relación con:
- Calidad en el puesto de trabajo
- Eficiencia en el trabajo realizado
- Motivación hacia el trabajo
- Clima laboral
- Responsabilidad-autonomía en el puesto de trabajo
- Nivel de conocimientos y habilidades
c) Cambios producidos como consecuencia de los aprendizajes adquiridos:
- A nivel personal
- A nivel social
- A nivel institucional
Así, este nivel de evaluación ofrece al programa la oportunidad de demostrar su valía a la organización. El criterio de aplicabilidad tratará de verificar la aplicación de los aprendizajes adquiridos en la acción formativa al puesto de trabajo, con lo que se hace referencia a la transferencia del aprendizaje, es decir, cómo los participantes en la formación ponen en práctica los aprendizajes directamente en su trabajo cotidiano. El propósito de conocer la transferencia del aprendizaje es medir el grado de aplicación de las nuevas habilidades y conocimientos adquiridos al puesto de trabajo.
Es en este momento cuando se pone de relieve la necesidad de que los programas de formación se ajusten a las necesidades específicas de cada puesto de trabajo. Se trata de realizar una descripción detallada de las tareas y responsabilidades de cada puesto, y una vez que las funciones se relacionaron, pueden ser deducidos los conocimientos, habilidades y actitudes requeridas.
Se parte de un momento evaluativo posterior a la finalización del programa de formación, por lo que se dan por supuestas la evaluación diagnóstica, la evaluación formativa y la evaluación sumativa, con lo que conllevan: detección de necesidades, ajustes del programa al contexto, mejora de la acción en el transcurso del programa, consecución de objetivos propuestos, certificación, etc. A partir de lo anterior se pueden establecer los siguientes niveles en la evaluación de impacto:
- Satisfacción de los participantes. Aprecia el grado de satisfacción de los participantes ante la formación recibida, es decir, en qué medida les ha gustado y cómo consideran que puede resultarles de utilidad en el desempeño de su trabajo.
- Grado de aprendizaje logrado. Verifica si se han alcanzado los objetivos establecidos en la acción formativa, es decir, si las personas que asistieron al curso asimilaron los conocimientos y habilidades esperados.
- Transferencia al puesto de trabajo. Estimación de la puesta en práctica de los conocimientos y habilidades desarrolladas en una acción formativa; evaluar cómo los participantes ponen en práctica los aprendizajes, no en el contexto de ejecución del programa, sino en el puesto de trabajo.
- Verificar el impacto de la formación en el puesto de trabajo y en la organización. Una vez que los participantes ponen en práctica las nuevas formas de proceder en su puesto de trabajo (transferencia), cuantificar las incidencias de las nuevas competencias en su trabajo y cómo contribuyen al mejoramiento de los servicios de la organización; mide los efectos de la formación.
- Rentabilidad de la formación. Cálculo del beneficio que le supone a la organización dar formación a sus empleados. Este último nivel escapa a los propósitos del trabajo.
II.2 Problemáticas de la evaluación de impacto
El proceso para la evaluación de impacto es costoso e implica una inversión importante en tiempo, puesto que los efectos no son evidentes inmediatamente después de finalizar la acción formativa, y en el proceso pueden surgir resistencias que pueden obstaculizar su puesta en práctica.
Hay muchos factores en el entorno de trabajo capaces de afectar, directa o indirectamente, la calidad de los servicios e influir en la capacidad para aplicar los nuevos conocimientos y habilidades adquiridas por los trabajadores.
En la Tabla I se muestran algunas de las resistencias que pueden surgir en el momento de aplicar los conocimientos y habilidades adquiridas al puesto de trabajo (Ferrández Lafuente, 2006).
Tabla I. Resistencias y facilitadores en la transferencia de la formación
Muchos formadores sienten frustración después de realizar el diseño y desarrollo de la formación, al descubrir que los trabajadores no aplican los conocimientos adquiridos al puesto de trabajo como se esperaba. Un factor fundamental es que una vez que la organización esté dispuesta a invertir en formación, se esté seguro de que los participantes tendrán soporte en su trabajo por parte de la misma, en cuanto su entorno laboral, que incluye a superiores inmediatos y compañeros de trabajo.
Las organizaciones que entienden la formación como una inversión, consideran fundamental la evaluación de impacto, ya que permite mostrar los resultados que la inversión realizada generó, tanto a nivel cualitativo como económico. A pesar de ello, son muy pocas las organizaciones que llevan a cabo esta evaluación, dadas las dificultades que conlleva. Las dificultades más relevantes son:
Dificultades de medida.
- Dificultades de medida.
- Falta de recursos.
- Falta de preparación de los profesionales de la formación continua.
- Existencia de un clima humano contrario a la innovación-evaluación.
- Falta de apoyo de los órganos directivos.
