Revista Electrónica de Investigación Educativa


Vol. 13, Núm. 2, 2011

Reflexiones en torno a las competencias como
objeto de evaluación en el ámbito educativo

Arturo de la Orden Hoz
aforden@telefonica.net
Universidad Complutense de Madrid

Ciudad Universitaria, 28040
Madrid, España

(Recibido: 27 de septiembre de 2011; aceptado para su publicación: 12 de octubre de 2011)

 

Resumen

Asegurar un efecto positivo de la evaluación en la educación basada en competencias (EBC) exige, obviamente, un sistema evaluativo educativamente válido. Para ello, es necesario especificar y definir la competencia como objeto de evaluación. Tras un análisis de la literatura pertinente, el artículo presenta dos concepciones de competencia: 1) La competencia como desempeño efectivo y eficiente de una función o un papel (rol) en un ámbito determinado, y 2) La competencia como conjunto integrado de conocimientos, habilidades, destrezas y actitudes. La primera concepción de competencia exige un modelo holístico de evaluación, es decir, una apreciación global de la competencia, más que la valoración analítica de los requisitos exigidos por ella. Respecto a la segunda concepción de competencia, en principio, resulta teóricamente adecuado el modelo conocido como Performance Assessment. El artículo finaliza con una referencia a los modelos avanzados de performance assessment y a la estructura de su diseño así como una breve alusión a la validación de los sistemas de evaluación de competencias.

Palabras clave: Competencias, evaluación de realizaciones, evaluación de habilidades y destrezas, diseño de evaluación de competencias.

 

I. Introducción

Uno de los grandes problemas de la Educación Basada en Competencias (EBC) es el diseño y aplicación de adecuados sistemas de evaluación para determinar, por una parte, el logro, por los alumnos, de las competencias previstas en los objetivos curriculares y, por otra, la efectividad de los programas. Probablemente este problema está vinculado a la complejidad del propio constructo competencia, semánticamente próximo a otros conceptos como habilidad, destreza, aptitud, etc. pero también a la dificultad de construir procedimientos evaluativos de alta validez, adecuados a las exigencias de este enfoque educativo.

De modo más general, podríamos explicar el fenómeno de la problemática evaluativa en EBC por la relación singular entre la evaluación y su objeto. En efecto, la función de la evaluación en educación, igual que en el resto de los sistemas sociales artificiales, es optimizar su estructura, proceso y producto actuando como un mecanismo de retroalimentación de tales sistemas para asegurar su permanencia, eficacia y funcionalidad (De la Orden, 2009). Esa relación, obviamente, es interactiva:

Respecto al primer punto, la concepción de la educación y la naturaleza y características de sus objetivos, métodos y productos condicionan en alto grado qué evaluar, cómo evaluar y cuándo evaluar. Así, al adoptar el enfoque educativo EBC, el objeto de la evaluación del logro de los alumnos (qué evaluar) no puede ser otro que las competencias establecidas como objetivos, lo que a su vez condiciona sustancialmente la metodología y los instrumentos de evaluación (cómo evaluar) y por consiguiente habrá que modificar también el número y la frecuencia de las intervenciones evaluativas (cuándo evaluar).

En cuanto al segundo punto, en un trabajo anterior (De la Orden, 2000) me arriesgaba a formular como sigue lo que podría considerarse como el axioma general sobre la influencia o impacto de la evaluación en el objeto evaluado: Sea cual fuere la modalidad, tipo o modelo evaluativo adoptado en cualquier situación educativa, su impacto sobre el proceso y el producto de la educación es decisivo, siempre que la evaluación tenga consecuencias, es decir, siempre que se tomen las decisiones en función de las cuales se decidió la evaluación. Una evaluación sin consecuencias es inútil y puede ser perjudicial para el objeto evaluado y su contexto.

La explicación de la influencia constatada de la evaluación en el proceso y el producto de la educación se apoya en el hecho de que las necesarias consecuencias de la evaluación modifican en algún sentido el objeto evaluado, en nuestro caso el logro de competencias. Estos efectos, al ser percibidos por las audiencias como positivos o negativos –deseables o no deseables– condicionan en alto grado su conducta. Por otra parte, el elemento determinante del sentido de la modificación del objeto evaluado se identifica, sin duda, con los criterios y estándares que indican lo que se exige del estudiante y del programa, para que el juicio de valor sobre el mismo sea favorable. Parece evidente que los alumnos intentan satisfacer las exigencias, criterios y estándares de los exámenes respecto a su aprendizaje. De forma general, por tanto, podemos afirmar que el modelo de comportamiento implícito en los criterios y estándares de evaluación, al constituir una expresión concreta de lo que se espera del programa y de los estudiantes realmente, puesto que es lo que se exige de hecho, define de una manera efectiva los objetivos reales y operantes de la educación, independientemente de lo estipulado de manera formal y de que existan o no formulaciones expresas de los mismos.

Si, además, consideramos el principio de la determinación teleológica de los medios, es decir, la capacidad condicionante de los fines y objetivos respecto a los medios para alcanzarlos, debemos concluir que la evaluación al prescribir realmente los objetivos de la educación determina, en gran medida, las características de la intervención y del aprendizaje resultante, lo que los alumnos aprenden y cómo lo aprenden, lo que los profesores enseñan y cómo lo enseñan, los contenidos y los métodos, en otras palabras, el producto y el proceso del programa y las características del sistema y de las instituciones escolares. En efecto, si la calidad de la educación está vinculada a un sistema de coherencias entre los elementos educativos, la virtualidad de la evaluación como estímulo o freno de la calidad educativa dependerá enteramente de las características del esquema evaluador: si los criterios y los modos de evaluación, que determinan a su vez los objetivos reales, y en última instancia el producto del sistema o del programa, son coherentes con los objetivos formalmente establecidos –o sobre los que existe un consenso implícito–, y, a través de ellos, con el sistema de valores del que derivan, la evaluación actuará como el más poderoso factor de promoción de la calidad educativa al garantizar la congruencia y eficacia del sistema en su conjunto. Si, por el contrario, los criterios y modos de evaluación movilizan los procesos educativos hacia objetivos no coherentes con las metas formalmente establecidas o implícitamente aceptadas del programa ni, en consecuencia, con el sistema axiológico en que se sustentan, la evaluación se constituye en el mayor obstáculo a la calidad (De la Orden, 1992).

Dado, pues, que la evaluación del aprendizaje puede influir positiva o negativamente en la calidad de la educación, resulta necesario determinar qué características debe poseer un modelo evaluativo para maximizar sus efectos positivos y minimizar o anular los negativos.

Evidentemente, la condición fundamental de un sistema de evaluación es que sea educativamente válido, lo cual implica no solamente que los instrumentos de medida utilizados (test, pruebas, escalas de observación, procedimientos no formales, etc.) sean válidos en el sentido tradicional, sino también que exista un máximo de congruencia entre los criterios y modos de evaluación, la especificación de objetivos y el proceso didáctico o de intervención educativa. Esta triple congruencia supone que el elemento común a los criterios y estándares de evaluación, los objetivos educativos y el proceso docente- discente es el comportamiento cognitivo, afectivo y psicomotor de los alumnos claramente especificado. En efecto, los objetivos no son otra cosa que la especificación de este comportamiento o de la capacidad para el mismo en forma de resultados esperados del proceso educativo; los criterios y estándares de evaluación, lo que se exige, constituyen, en conjunto, una muestra representativa de tal comportamiento; y el proceso didáctico se apoya en este comportamiento como base para su adquisición por los alumnos.

En consecuencia, la validez educativa de la evaluación del aprendizaje, como base de la calidad de la educación, significa:

  1. Que el aprendizaje de los alumnos (conocimientos y otros comportamientos que han de ser adquiridos), en nuestro caso las competencias, sean claramente definidos y especificados.
  2. Que los criterios y estándares de evaluación (lo que se exige) deben constituir una adecuada muestra representativa de los contenidos y conductas especificados en los objetivos. Esta es la condición básica de la evaluación como palanca de mejora y optimización educativa.
  3. Que la forma, procedimientos e instrumentos de evaluación exijan los comportamientos especificados en los objetivos del modo más directo. Es decir, la técnica evaluativa empleada (observación de procesos, análisis de productos, informe, examen escrito tradicional, cuestiones de recuerdo o reconocimiento, pruebas con materiales, preguntas, etc.) debe estar directa y estrechamente relacionada con las características del aprendizaje o realización deseadas. Por ejemplo, si un objetivo del programa de Química es que los estudiantes manejen adecuadamente determinadas piezas del equipo del laboratorio, exigir la descripción oral de cómo manejaría tales piezas, o la elaboración de un esquema gráfico del proceso, son formas menos válidas que requerir el desarrollo real del proceso en el propio laboratorio.
  4. Que la evaluación sea fiable y objetiva en el sentido de que el azar o los errores instrumentales tengan un efecto mínimo en los resultados.

En síntesis, la validez educativa de la evaluación supone validez axiológica, validez curricular y validez instrumental.

La cuestión, no obstante, sigue siendo cómo operacionalizar esta concepción de la validez de la evaluación educativa y lograr formas de examen para los enfoques EBC que garanticen el isomorfismo entre universos de objetivos educacionales, que representen las facetas más significativas del logro de competencias y universos de criterios evaluativos, representados por universos de ítems, cuestiones y exigencias de evaluación, Una vía posible y prometedora para operacionalizar el concepto de una evaluación isomórfica con los objetivos del aprendizaje, como base de la calidad de la educación, consiste, precisamente, en el diseño de procesos evaluativos inspirados más en la referencia criterial que en la normativa. Una evaluación de estas características se acerca mucho a la concepción evaluativa descrita como factor decisivo para optimizar la educación, ya que constituye un intento valioso de asegurar la coherencia entre criterios de evaluación (objetivos reales) y objetivos formales de la educación y, por tanto, con capacidad para movilizar el proceso educativo hacia las metas deseadas y deseables. Naturalmente, que la evaluación referida a criterios no resuelve, por sí misma, el problema de la validez ni de la calidad de la educación que exigen, además, la coherencia entre objetivos específicos y fines generales de la educación y de éstos con un sistema axiológico.

Partiendo de estas consideraciones generales sobre el sentido, funciones de la evaluación y de los requerimientos de su validez educativa, este artículo continúa con nuevas reflexiones sobre cómo adaptar las precedentes consideraciones a un plan o procedimiento general y educativamente válido de evaluación de competencias, en cuanto producto de la intervención educativa en instituciones de educación general de nivel medio o superior, sus fundamentos y justificación lógica.

 

II. Definición y especificación del objeto de la evaluación

Dadas las características de los fenómenos educativos, inscritos en el ámbito de la conducta humana más compleja y menos asequible a los medios convencionales de observación y medida, el acto evaluador en educación presenta especiales dificultades. Es por ello preciso describir con exactitud la faceta o aspecto de la educación a evaluar, una realidad que, por su complejidad, exige en muchos casos la utilización de instrumentos y técnicas de recolección de información y medida muy especializados y de aplicación difícil. Las competencias constituyen un caso paradigmático de objeto de evaluación de gran complejidad objetiva y subjetiva dadas, por un lado, la polisemia del término competencia y la imprecisión del concepto y, por otro, la frecuentemente insuficiente capacitación y experiencia práctica del profesorado en relación con el enfoque EBC que solo muy recientemente está alcanzando una difusión significativa en el ámbito de la educación.

Así mismo la descripción de la faceta objeto de evaluación exige, además, la organización y expresión integrada de la información relevante en una síntesis descriptiva coherente de modo que permita una interpretación adecuada de la misma para su comparación con la pertinente instancia de referencia. Dado que, en nuestro caso, la faceta u objeto de evaluación son las competencias en cuanto aprendizaje de los alumnos, el criterio o estándar será una buena formulación de objetivos en términos de dominio de competencias que permita comparar con ellos el rendimiento logrado por los estudiantes en este campo.

Definición y descripción de las competencias como objeto de evaluación

Dado que la concepción del objeto de evaluación determina el proyecto evaluativo en su conjunto, intentamos aquí establecer con claridad el, o los, conceptos dominantes de competencia. Si la competencia se identifica con el desempeño efectivo y eficiente de funciones o roles (profesionales, académicos, vitales, etc.) el proyecto evaluativo será diferente de otro en que la competencia se conciba como la posesión de unos determinados conocimientos, el dominio de una serie de habilidades y destrezas y la orientación hacia ciertos valores y actitudes. Pese a esta exigencia, y a la preocupación general por el problema, la actual literatura sobre competencias carece de una base conceptual y analítica y no existe un reconocimiento explícito de la necesidad de programas de investigación tendientes a promover una mejor comprensión de la naturaleza de la competencia, cómo desarrollarla en los alumnos, como puede ser evaluada y cuál puede ser el impacto que tendría tanto en los estudiantes como en las organizaciones educativas y en la sociedad en general.

En efecto, revisando los estudios sobre desarrollo de competencias, se puede concluir que los conceptos de competencia y de educación basada en competencias (EBC) aparecen aún difusos y requieren una definición clarificadora. A este respecto, Mulder (2004) consideraba prudente no partir de una definición cerrada sino, preferentemente, de una definición provisional que sirva de referente de la idea de competencia para iniciar el trabajo y proceder a la búsqueda de una más completa delimitación conceptual. Consecuentemente, Mulder identifica la competencia, en sentido lato con “la capacidad de una persona para alcanzar logros específicos”. A continuación presentamos de forma resumida las concepciones prevalentes de competencia en la literatura sobre el tema.

La competencia como desempeño exitoso de una función o un rol

La idea provisional de Mulder sobre la competencia, citada antes, parece suponer que la educación basada en competencias (EBC) apunta como finalidad a preparar a las nuevas generaciones para el desempeño exitoso de funciones y roles académicos, técnicos, profesionales o vitales en general, lo que sugiere una clara connotación de capacidad y aptitud para hacer algo. En consecuencia, epistemológicamente, no parece impertinente el tratamiento del tema en el marco de la distinción entre saber qué y saber cómo en la interpretación de Scheffler (1965). En esta perspectiva, la EBC acentúa el saber cómo, situándose más en la línea del entrenamiento, mientras que la educación general tradicional se sitúa claramente en la línea del saber qué. Esta situación plantea la necesidad de una definición precisa, válida y operativa del concepto de competencia.

En un trabajo reciente (De la Orden, 2011) me refiero a la competencia como un término polisémico que refleja la multidimensionalidad percibida del concepto que expresa. Etimológicamente, el término deriva del verbo latino competere que significa, además de competir, ser suficiente para algo. También se aplica a aquello que conduce a ese algo. Por tanto, un individuo es competente cuando reúne los requisitos suficientes para hacer algo, y lo hace; para llegar a alguna parte, y llega; en fin, para lograr algo. Ribes (2011), con mayor precisión considera que ser competente siempre se refiere a una forma de intervención o hacer específico en un dominio específico. Ser competente, al contrario que ser apto para algo, no antecede a la acción adecuada y efectiva, es equivalente a ella. Toda competencia está acotada por un campo de acción y los logros correspondientes.

En educación, la idea de competencia como objetivo surgió, en parte, como reacción frente a la posición preeminente del conocimiento en este campo, especialmente del conocimiento propositivo, saber qué. Por tanto, esta reacción pretende acentuar la acción, es decir, el saber vinculado a las habilidades y destrezas como manifestaciones del conocimiento procedimental, o saber cómo; pero cada uno de estos términos tiene un sentido especial y, como afirma Ribes (2011), mal-suponer su intercambiabilidad puede llevar a la confusión. Ciertamente, un conocimiento no es una competencia, como tampoco lo son una capacidad, una aptitud, una destreza o una habilidad. Sin embargo, no es pensable una competencia sin ellos. Tomando el segundo sentido etimológico señalado al analizar el término competencia, estas categorías del saber cómo (conocimiento, habilidad, destreza, etc.), requeridas para un funcionamiento exitoso en la posición o papel desempeñado, pueden representar aquello que permite el desempeño que conduce a ese algo, cuyo logro constituye la esencia de la competencia. Ribes (2011) insiste en que ser competente es ejercitar el conocimiento previamente aprendido. Se aprende a ser competente en la medida en que se aprenden desempeños y criterios de ejercicio del conocimiento. Jugadores “igualmente” hábiles en apariencia, pueden ser o no competentes en el cumplimiento de los criterios que se establecen para ser eficaces en un juego. Ser competente es más que ser hábil o experto. Implica ajustar las habilidades, a criterios funcionales de diverso nivel.

En consecuencia, la competencia no se identifica con la posesión de conocimientos, capacidades, destrezas o habilidades sino con el desempeño eficaz y eficiente de un papel o de una función en un ámbito determinado o en la vida en general que implica, obviamente, la posesión, de los requerimientos de éxito, y el uso experto, integrado, de los mismos (De la Orden, 2011).

La competencia como conjunto integrado de conocimientos, destrezas y actitudes

Aunque podríamos hablar de una amplia aceptación, en el ámbito educativo, de la idea general de competencia como desempeño exitoso de funciones o roles, la polisemia del término es un indicador de la carencia de una teoría con suficiente potencial científico explicativo de la conducta humana específica que define el concepto de competencia y de sus relaciones con los conceptos a que hacen referencia los términos semánticamente próximos, como capacidad, aptitud, habilidad o destreza. Esta situación condiciona las posibilidades y modos de su aplicación a la práctica educativa. De hecho, en la literatura sobre planificación, currículo y, especialmente, sobre evaluación de la educación basada en competencias, se confunden con frecuencia estos conceptos, aunque teóricamente se parta de una definición de competencia diferenciada de los mismos.

En efecto, junto a la idea general de competencia como desempeño exitoso de funciones y papeles, surgida en el contexto de Competence-based Teacher Education (CBTE), el movimiento innovador americano para la formación de maestros en las décadas de los sesenta y setenta del siglo pasado (Chickering y Claxton, 1981), comenzó el desarrollo de otra idea de competencia, también general, centrada en los elementos supuestamente implicados en la misma. Quizá esto pueda tener relación con el hecho de que la competencia, por definición, se vincula a algún papel o posición (profesor competente, médico competente, director competente, etc.) y las ligaduras en esta vinculación entre competencia y posición son los conocimientos, destrezas, habilidades y actitudes, etc. que han constituido el núcleo de la capacitación profesional para un funcionamiento exitoso en la posición o papel a desempeñar por estos profesionales.

Por otra parte, uno de los factores que más contribuyeron a la confusión fue la interpretación como competencias para la vida de la expresión inglesa skills for life utilizada para caracterizar lo que las pruebas PISA pretenden medir desde su aplicación del año 2000 (Rychen y Salganik 2001, 2003). Las skills, o destrezas, que pretende medir la prueba PISA se han difundido en el ámbito educativo como competencias básicas identificadas, de forma simple en este caso, con la capacidad de los alumnos para aplicar los conocimientos adquiridos en la escuela a la resolución de problemas en la vida real.

Otra posible consecuencia de la ambigüedad conceptual del término competencia es la insuficiente consideración de las diferencias entre los diversos modos de educación, al aplicar el modelo competencial. Es evidente que el modelo EBC responde mejor a las exigencias de la formación ocupacional y de los diversos niveles de educación profesional, más cerca del entrenamiento, que a los requerimientos de la educación secundaria obligatoria, del bachillerato y de una parte importante de la enseñanza universitaria, más cerca de la educación general. Probablemente, una mayor atención a estas diferencias hubiera permitido soluciones más adecuadas que el mero recurso a la nomenclatura derivada de la inadecuada interpretación de las skills que pretenden medir las pruebas PISA. Así surgieron las denominadas competencias genéricas y competencias básicas; las primeras adoptadas “de jure”, por ejemplo, en el bachillerato mexicano (Subsecretaría de Educación Media Superior, 2008), y “de facto” en muchas universidades españolas (Acuerdo de Bolonia), y las segundas legalizadas como base y estructura curricular de la educación primaria y secundaria obligatoria en España (Decretos 1513 y 1631 de 2006). Estas circunstancias, junto a la insuficiencia de una base teórica rigurosa facilitaron la configuración de la EBC como un movimiento orientado fundamentalmente a la formación práctica (performance) centrado, en general, como objeto de educación, en alguna forma de conocimiento aplicado al que se denomina competencia sin suficiente justificación teórica y, en muchos casos, con grave riesgo de caer en la rutina.

Este movimiento se halla muy extendido en Europa y, con mucha frecuencia, vinculado al estudio y determinación de las cualificaciones ocupacionales y a la capacitación técnico-profesional, donde se concentra la mayor parte de los mejores proyectos de formación en destrezas y más cercanos a CBE. Mulder et al. (2008) presentan un panorama general de este movimiento en la Unión Europea. En el Reino Unido, diez años antes, Eraut et al. (1998) publicaron en la universidad de Sussex el informe final de un proyecto de investigación centrado en el desarrollo de conocimientos y destrezas para el empleo. Por su parte, Biemans et al. (2004) describen así, como síntesis comúnmente aceptada, la concepción que subyace el movimiento: Una competencia comprende capacidades integradas orientadas a la realización (performance) que consisten en conjuntos de estructuras de conocimiento, así como habilidades cognitivas, interactivas, psicomotoras, y actitudes y valores que son requeridos para llevar a cabo tareas, resolver problemas y, de modo general, para funcionar eficazmente en una profesión, organización o posición. Finalmente, en la misma línea, Baartman et al. (2007), como exigencia previa en un estudio sobre la valoración de la calidad de los sistemas evaluativos del producto de los programas EBC, describe la competencia sencillamente como una combinación de conocimientos, destrezas y actitudes que pueden utilizarse para resolver adecuadamente un problema.

Asimismo, desde finales del siglo pasado y hasta nuestros días, se están incrementando los proyectos (CBE) en las universidades. Lucio y Wilson (2004) presentan un excelente trabajo sobre el aprendizaje activo en la educación superior y su potencial para desarrollar la capacidad profesional. En Europa los acuerdos de Bolonia sobre el Espacio Europeo de Educación Superior (EEES) constituyen el referente común de los estudios sobre las llamadas competencias básicas, mayoritariamente concebidas como conjuntos integrados de conocimientos, destrezas, habilidades y actitudes. España no es una excepción como puede constatarse en los trabajos de autores representativos como De Miguel (2005) y Zabalza (2007). Aunque, en ocasiones, los proyectos no parten explícitamente de un concepto específico de competencia, al enfrentarse con la evaluación del aprendizaje, se centran en la determinación del nivel alcanzado por los alumnos en conocimientos y destrezas, como indicadores del grado en que han adquirido las competencias programadas.

En resumen, hemos identificado dos formas generales de concebir y definir las competencias como objetivos de educación y, por tanto, como objeto de evaluación, que podemos caracterizar así:

  1. La competencia es el desempeño efectivo y eficiente de una función, de un papel o de una posición.
  2. La competencia es la combinación y uso integrado de conjuntos de conocimientos, destrezas, habilidades y actitudes para realizar una determinada tarea.

En coherencia con el principio de la necesaria adaptación de la evaluación a las características de su objeto, cada una de estas concepciones de competencia exige diferentes formas, planes, metodologías, instrumentos de recolección de información y modos de expresar la valoración de los resultados de la intervención educativa.

El resto del artículo se dedica, en consecuencia, a la caracterización general de la evaluación de la competencia, como producto educativo, en las dos concepciones señaladas.

 

II. Tipos de evaluación de competencias educativamente válidos

Dado que, como afirmaba más arriba, el enfoque de la educación determina, en gran medida: qué evaluar, es decir, el objeto de la evaluación que, a su vez, condiciona cómo y cuándo evaluar, en otras palabras, el plan y la metodología de evaluación.

La evaluación es percibida como uno de los mayores problemas en el enfoque EBC. Esta dificultad deriva de la complejidad del objeto de evaluación, cualquiera que sea la concepción o definición de competencia que se adopte como base, aunque evidentemente existen diferencias en las exigencias evaluativas entre las competencias definidas, por un lado, como desempeño de funciones y, por otro, como combinaciones de conocimientos y destrezas, incluyendo en este grupo también las denominadas competencias básicas o genéricas.

Según Raven y Stephenson (2001), las siguientes tres características son especialmente importantes en la definición de la evaluación de competencias:

Sin embargo, dos de estos rasgos, el énfasis en los resultados y la transparencia, no son exclusivos del contexto competencial en evaluación; también aparecen como características definitorias del tipo de medida y evaluación de referencia criterial, aunque obviamente, evaluación de competencias y evaluación referida a criterios no son idénticas. La primera implica la idea de competencia que es esencialmente no académica. En la práctica, parece derivar del análisis de un rol prospectivo en la sociedad contemporánea con la finalidad de certificar el progreso de los estudiantes en base a demostraciones de desempeño de roles. En otras palabras, la competencia es de origen ocupacional y está vinculada a la idea de realizaciones en la “vida real”.

Evaluación de competencias concebidas como Desempeño Efectivo y Eficiente de Funciones y Roles o Papeles

Las bases y postulados de esta orientación educativa parecen apuntar hacia modelos evaluativos holísticos, de apreciación global de la competencia, más que a la valoración analítica de los requisitos exigidos por ella. En efecto, la evaluación global de una competencia resulta mucho más compleja que la simple medida de conocimientos y destrezas básicas, pero constituye la única forma válida de hacerlo. Así, la constatación de que un sujeto no alcanza el nivel de conocimientos, destrezas y actitudes requerido por una competencia determinada indica, sin lugar a dudas, que el sujeto en cuestión no ha logrado dicha competencia; pero esto no permite afirmar que si el sujeto de referencia hubiera alcanzado el nivel establecido en cada uno de los requisitos señalados como exigencia, habría adquirido la competencia pretendida. En otras palabras, el dominio de los conocimientos, destrezas y actitudes, supuestamente requisitos necesarios de una competencia no es evidencia suficiente de la adquisición y dominio de la misma. En efecto, el dominio de una competencia se identifica exclusivamente con el cumplimiento de una función o el desempeño con éxito de un papel, lo cual supone cumplir, claro está, los requerimientos básicos (conocimientos, destrezas, actitudes y su utilización adecuada en un contexto dado).

Como afirma Ribes (2011) el aprendizaje basado en competencias, así concebidas, no requiere de procedimientos de evaluación extrínseca a la propia situación de enseñanza-aprendizaje. La competencia tiene lugar, o no tiene lugar, en términos de actividades y logros en una situación determinada.

El dominio de una competencia, pues, únicamente se manifiesta en el desempeño de la función o rol correspondiente y, en consecuencia, sólo puede ser constatado y confirmado contrastando el éxito de dicho desempeño con un criterio previamente establecido. Por tanto, en la EBC, el principal indicador del éxito educativo de los alumnos es el conjunto de actividades y logros que caracteriza un desempeño eficiente de la función o rol para la que están siendo preparados cuya valoración exige, por parte del estudiante, la demostración práctica de tal función o rol. En otras palabras, el criterio de dominio, indicador de competencia, es el ajuste del desempeño exitoso de la función o rol, a unos estándares, o niveles de realización, (performance) empíricamente contrastables. Cuando lo que se solicita en la evaluación es realizar una tarea o actividad (como resolver problemas de matemáticas, diagnosticar la enfermedad de un paciente, conversar en una lengua extranjera o generar hipótesis para explicar un fenómeno) en vez de pedir la selección de respuestas de una lista predeterminada, se habla de Performance Assessment, expresión inglesa universalizada que podría traducirse al español como evaluación de desempeño o de realización. Puesto que la concepción de competencia que ahora consideramos se identifica con el desempeño con éxito de un rol o función (tareas), parece razonable que la evaluación de la misma se incluya en la modalidad o categoría de performance assessment, aunque ciertamente esta denominación se aplica con más precisión a la evaluación de destrezas y habilidades, como veremos en el siguiente epígrafe al tratar de la evaluación de competencias como conjuntos de conocimientos y destrezas.

Con la idea de competencia como desempeño exitoso de una función o rol, ¿cómo podemos desarrollar un adecuado sistema de evaluación para determinar en qué grado los alumnos han adquirido las competencias previstas? La forma más simple de responder a esta cuestión sería asegurar que la definición de la competencia incluyera la minuciosa descripción del desempeño de la función, o rol, y los criterios de éxito en el desempeño.

En una perspectiva pragmática, pasamos a exponer esquemáticamente los pasos pertinentes en la planificación y diseño de la evaluación de competencias como desempeño exitoso de funciones o roles, en el contexto apuntado:

  1. Análisis de los roles y funciones generales a desempeñar y los específicos dentro de cada uno de los generales, y determinación de las competencias.
  2. Definición operacional de las competencias deseadas como resultados o productos de la intervención educativa.

    La definición operativa de una competencia resulta mucho más compleja que los conocimientos disciplinares y las destrezas básicas. En efecto, es mucho más fácil definir resultados en lenguaje, matemáticas, física o sociología que en el logro de una competencia profesional o vital incluida como objetivo o resultado esperado, por ejemplo, ser un consumidor responsable, un cirujano cardiovascular, un gran orador, un buen padre, un excelente jugador de baloncesto o un buen ciudadano. Por tanto, las especificaciones precisas de esos roles o funciones constituye un primer paso crítico en la evaluación de competencias.

  1. Tansformar las competencias en resultados o productos esperados (Objetivos).
  2. Establecimiento de criterios y estándares de éxito del desempeño para la evaluación.
  3. Determinación precisa de las condiciones de la evaluación del desempeño

    Es importante decidir las tareas del evaluando y las situaciones de evaluación, es decir, el contexto de la evaluación, donde realizarla (en el lugar de trabajo, en la escuela, en un contexto de simulación, etc.).

  4. Métodos e instrumentos de evaluación.

    Deberán seleccionarse los métodos más relevantes y directos para la competencia a evaluar. He aquí algunos de los más adecuados:

    • Demostración práctica de la competencia.

La inspección visual y la valoración del producto pueden ser realizados con objetividad. Los instrumentos usuales para registro y valoración del desempeño son las listas de control y las escalas de valoración.

  1. Procedimientos de valoración y su transformación en puntuaciones.

    La diferenciación entre niveles de competencia debe objetivarse de forma precisa, para lo cual es necesaria una formalización numérica que represente adecuadamente el grado de dominio de una competencia (Jornet et al., 2011).

  2. Establecimiento de las puntuaciones de corte para distinguir nítidamente los niveles de competencia (éxito en el desempeño).

    Definir los elementos que diferencian los niveles de competencia es una exigencia básica. La calidad de las puntuaciones de corte afecta directamente a la validez de la evaluación (Jornet et al., 2011)

Evaluación de competencias concebidas como combinación de conocimientos y destrezas

La Educación Basada en Competencias, apoyada en una concepción de la competencia como el conjunto integrado de conocimientos, habilidades y destrezas y actitudes necesarios para el logro de la tarea o la solución de los problemas exige, para la evaluación de los resultados o productos, la determinación y definición de los conocimientos, habilidades, destrezas y actitudes necesarios para el logro de la competencia. La adquisición de estos requisitos constituye el objetivo real de la formación competencial y, en consecuencia, el objeto directo de la evaluación. En esta perspectiva evaluar competencias se limitaría a evaluar conocimientos, destrezas y aptitudes y el dominio de uno, dos o los tres de estos requisitos se identificaría con el dominio de una competencia.

Siguiendo, en general, el análisis que hace Ribes (2011) del significado de estos términos, me limito a una breve caracterización de los conceptos que representan. Destreza (habilidad) se identifica con “hacer algo que se ajusta a algo”, es decir, supone una acción y un objeto sobre el que se actúa. Toda destreza presupone siempre una técnica y su utilización apropiada. La aptitud, por su parte, se refiere no a lo que se hace sino a lo que se puede hacer. Se trataría de una propensión a actuar de cierta manera y no de otra y, siempre, este hacer, o no hacer, ligado a un criterio. Es decir, la aptitud delimita la forma en que se cumplirá un requisito. Finalmente, conocer y saber, como términos de capacidad, se relacionan con métodos, técnicas y desempeños acercándose conceptualmente al término destreza, especialmente si nos referimos más al saber cómo, o conocimiento procedimental que al saber qué o conocimiento deliberativo.

En la década de 1980 del siglo pasado, antes de que la EBC se generalizase, con caracteres de “moda pedagógica”, se percibió la necesidad de cambiar los métodos de evaluación de los resultados educativos. En efecto, las reformas curriculares, especialmente en Estados Unidos, intentaron apoyarse en la investigación que sugería la dificultad y, en muchos casos, imposibilidad, de los alumnos de aplicar a la resolución problemas significativos en la vida real, hechos y conceptos, que eran perfectamente capaces de exponer y repetir. Partiendo de la idea de que la evaluación del aprendizaje de los estudiantes puede jugar un papel esencial en la mejora de la enseñanza, ampliaron el objetivo de la reforma incluyendo también un cambio de la evaluación junto al de la instrucción, con el argumento de que la evaluación necesitaba reflejar mejor la capacidad de los alumnos para aplicar su conocimiento y destrezas en la realización de tareas y en hacer frente eficazmente a situaciones complejas. Los avances en el estudio tanto de las formas superiores de pensamiento y de formas complejas de conocimiento (procesos lógicos de búsqueda, formulación de explicaciones científicas, enfrentarse a situaciones nuevas), así como de la medida en psicología y educación, impulsaron cambios sustanciales acerca de cómo los alumnos procesan información y razonan con ella, que se tradujeron en cambios evaluativos para captar adecuadamente los aspectos significativos del pensamiento y el aprendizaje de los alumnos (Clark-Midura y Dede, 2010). Una década después, en los años noventa, se desarrollaba también un movimiento complementario centrado en el desarrollo de formas alternativas para la evaluación de los resultados de la enseñanza de las ciencias con instrumentos diseñados para medir la comprensión conceptual y las destrezas científicas de alto nivel de los estudiantes (Linn, 1994) .

Como ya hemos señalado, los instrumentos clasificados en la categoría de Performance Assessment o, evaluación de realizaciones, conocido también como Evaluación Auténtica, resultan adecuados en la medición de las destrezas del estudiante para resolver problemas, para razonar y la habilidad para aplicar el conocimiento a la resolución situaciones importantes y complejas. En esencia, se proponen tareas evaluativas que reproducen habilidades, destrezas, actividades y funciones del mundo real en contextos que reflejan situaciones en las cuales se requiere su práctica (American Educational Research Association, American Psychological Association y National Council on Measurement in Education, 1999)

La característica diferencial de la evaluación de realizaciones (Performance Assessment) es, pues, la alta similitud entre la realización o desempeño que se solicita en la evaluación y la realización que se desea promover en el alumno como resultado de la educación (Kane, 2001). Consecuentemente, proporciona una medida más directa del aprendizaje y logro de los alumnos que los tests de elección múltiple. La evaluación de realizaciones puede, por ejemplo, requerir al estudiante que dirija un experimento de laboratorio (proceso) y elaborar un informe original sobre la realización y el resultado del experimento (producto) con la convicción de lograr una valoración y una medida más directas de las destrezas que formulando preguntas en una prueba de elección de respuestas.

Este tipo de evaluación ha sido adoptado de forma general en las escuelas y universidades con programas de Educación Basado en Competencias en realidad, Performance-Based Education, dado que la concepción prevalente de competencia en estas instituciones supone su identificación de facto con destrezas y conocimientos de diverso orden. En principio, tanto el modelo general, evaluación de realizaciones (Performance Assessment) como su modalidad específica, evaluación de destrezas (Skill Assessment), son teóricamente adecuados en este enfoque educativo por su coherencia con el objeto a evaluar. No obstante, aunque la investigación confirma que la evaluación de realizaciones aporta soluciones a diversos problemas que plantea la evaluación tradicional, su aplicación para evaluar sumativamente amplias poblaciones resulta más costosa e ineficiente que la aplicación de procedimientos tradicionales.

Asimismo, Shavelson, Baxtor y Gao (1993) detectaron problemas en torno a la variabilidad de la muestra de las tareas a realizar. Los estudios pusieron de manifiesto que los resultados de los estudiantes en la realización variaban significativamente de una a otra tarea. Se supone que, idealmente, la realización de los alumnos debería ser similar en todas las tareas. Aparecieron problemas semejantes relacionados con la variabilidad de la muestra de las “ocasiones” para la realización, los estudiantes variaban de una ocasión de prueba a otra. También se descubrió que el muestreo de tareas y ocasiones se confundían, resultando difícil distinguir la causa del error. Como resultado, los investigadores sugieren que se precisan múltiples pruebas para lograr observaciones adecuadas de la realización del estudiante. Métodos diferentes de probar la realización de las tareas proporcionan una variedad de evidencia que puede utilizarse para triangular la evaluación.

En síntesis, la meta de una evaluación es obtener inferencias válidas relacionadas con los resultados esperados de los alumnos (Linn et al., 2002). No es posible conseguir con una evaluación todos los propósitos; por ejemplo, una evaluación que proporcione información sobre la comprensión conceptual profunda de los alumnos que puede utilizarse para orientar la enseñanza, debe ser diferente de otra evaluación que proporcione valoraciones del sistema educativo para dirigir la política y la gestión del mismo.

Sin embargo, la investigación sobre la próxima generación de formas de evaluación podría romper el molde de las prácticas tradicionales de pruebas. Se están diseñando formatos de evaluación innovadores, como las simulaciones, para medir altos y complejos niveles de conocimiento y búsqueda de soluciones a problemas y situaciones nuevas imposibles de probar con los formatos tradicionales (Quellmalz y Pellegrino, 2009). La evaluación en el área de enseñanza de las ciencias destaca claramente en la exploración de nuevos problemas, tipos de ítems y enfoques evaluativos para la educación pre universitaria. En 2006, PISA piloteó la prueba Computer-Based Assessment of Science (CBAS) con la finalidad de probar el conocimiento científico y procedimientos de búsqueda no medidos en el correspondiente test de PISA, en formato papel. CBAS incluye ítems basados en escenario y conjuntos de tareas tales como investigaciones sobre las instalaciones de la temperatura y presión para un reactor nuclear simulado. En 2009 la estructura y especificaciones para la evaluación del conocimiento científico del National Assessment of Educational Progress (NAEP) proponía diseños de tareas interactivas en el computador para probar la habilidad de los alumnos e implicarse en prácticas de investigación científica (Quellmalz et al., 2009).

Los mismos autores describen otras formas innovadoras de evaluar para incrementar tanto la sofisticación de los problemas propuestos a los estudiantes como las observaciones exigidas para la colecta y análisis de evidencia necesarios para hacer inferencias acerca de lo que saben y pueden hacer los estudiantes (Quellmalz et al., 2009).

Diseño y puntuación de la evaluación de conocimientos y destrezas

La planificación y diseño de la evaluación de los conocimientos, destrezas y habilidades con que se identifican las competencias a que me estoy refiriendo en este apartado es muy similar a la apuntada para la evaluación de las competencias concebidas como desempeño exitoso de funciones y roles. Aquí, sin embargo, nos basaremos en uno de los estudios que han supuesto avances significativos en la metodología y el diseño de la evaluación de conocimientos y destrezas en el marco del Performance Assessment, aludidos en los párrafos anteriores. En efecto, asumiendo la idea de Linn et al. (2002), ya citada, de que la meta de la evaluación de realizaciones es proporcionar evidencias válidas relacionadas con lo que esperamos de los estudiantes, uno de los modelos de diseño más avanzado es Evidence-Centered Design (ECD) (Mislevy, Steinberg y Almond, 2003; Mislevy y Haertel, 2006) que, según Clarke-Midura y Dede (2010) proporciona procedimientos rigurosos para unir las teorías del aprendizaje y del conocer a las demostraciones para interpretar las evidencias.

El ECD estructura el diseño de evaluación de conocimientos y destrezas en cuatro grandes fases:

  1. Análisis del dominio, objeto de evaluación.
  2. Modelamiento del dominio.
  3. Estructura conceptual de la evaluación.
  4. Arquitectura de la prueba.

Las fases 1 y 2 se centran en los propósitos de la evaluación, en la naturaleza del saber a evaluar y en las estructuras para observar y organizar el conocimiento.

La fase 3 está relacionada con el llamado Triángulo Evaluativo, es decir, el diseño se centra en el modelo del estudiante como sujeto que aprende (qué destrezas se están evaluando); el modelo de evidencia (qué conductas o realizaciones ponen de manifiesto el conocimiento y las destrezas evaluadas); y el modelo de tarea (qué situaciones ponen de manifiesto las conductas o evidencias).

La fase 4 se centra en la presentación y puntuación de la tarea.

La evaluación de la realización del alumno requiere procedimientos de puntuación cuidadosamente diseñados de acuerdo con la naturaleza de las tareas y las destrezas y conocimientos que se trata de medir. Los procedimientos deben basarse en juicios de expertos, ya que las respuestas del estudiante son valoradas de acuerdo con criterios predeterminados. Es absolutamente necesario definir con precisión y claridad los procedimientos para que puedan derivarse interpretaciones válidas de las puntuaciones asignadas.

En la evaluación de realizaciones se emplean con mucha frecuencia las rúbricas de puntuación para valorar el nivel adquirido por los alumnos en una destreza. La rúbrica es simplemente una escala de puntuación que califica la realización de acuerdo con un conjunto de criterios específicos para la tarea que se evalúa. En realidad es una escala de valoración (rating scale) con dos componentes: los criterios de valoración y los niveles de realización. Los criterios, como expresión de las características de la buena realización de una tarea, suelen situarse en la columna izquierda de una tabla, como cabezas de fila. Los niveles de puntuación, que no pueden ser menos de dos, se sitúan en la fila superior de una tabla como cabezas de las columnas. Obviamente, la realización reflejada en cada nivel de puntuación debe diferir claramente de la realización reflejada en los restantes niveles.

Se pueden usar rúbricas holísticas o analíticas. En las primeras, no se establecen niveles de realización para cada criterio, sino que se valora la realización, como un todo, con múltiples criterios; en las segundas, se articulan niveles de realización para cada criterio.

Quiero terminar con una brevísima referencia a la validación de la evaluación de competencias, específicamente de la evaluación de conocimientos y destrezas como expresión de competencias. En otras palabras, se trata de destacar la importancia de enfrentarse con el problema de la validez de la evaluación de realizaciones (performance assessment). En efecto, la validez es un tema esencial en la elaboración y aplicación de instrumentos de medida y evaluación. De acuerdo con Messick (1994):

La validez es un juicio evaluativo integrado que indica el grado en que la evidencia empírica y la racionalidad teórica confirman la adecuación y propiedad de inferencias y acciones basadas en las puntuaciones de una prueba o de cualquier otro modo de evaluación.

Intentar obtener evidencia de nuestras preguntas y tareas evaluativas prueba realmente que el conocimiento, destrezas y habilidades de los estudiantes son realidades complejas. Para los tests de Educación y Psicología pueden consultarse los estándares generales de AERA, APA y NCME. Entre los criterios específicos de validez propuestos para la evaluación de realizaciones, se citan con frecuencia, sin que esto suponga limitación alguna para otros, los siguientes:

Son recomendables, entre otros, los siguientes trabajos sobre validez de la evaluación de realizaciones: Quellmalz et al. (2006), Baartman et al. (2007) y Messick (1995).

 

Referencias

American Educational Research Association, American Psychological Association y National Council on Measurement in Education (1999). Standars for educational and psychological testing. Washington: Autor.

Baartman, L., Bastiaens, T., Kirschner, P . y Vandervleuten, C. (2007). Evaluating assessment quality in competence-based education. Educational Research Review, 2, 114-129.

Biemans, H., Nieuwenhuis, L., Poell, R., Mulder, M. y Wesselink, R. (2004). Competence-based vet in the Netherlands. Journal of Vocational Education and Training, 56(4), 523-538.

Chickering, A. y Claxton, C. (1981). What is Competency? En R. Nickse, y L. McClure (Eds). Competency-Based Education (pp. 5-42). Nueva York: Teachers College-Columbia University.

Clark-Midura, J. y Dede, C. (2010). Assessment, Technology and Change. Journal of Research of Technology in Education, 42(3), 309-328.

De la Orden, A. (1992). Calidad y evaluación de la enseñanza universitaria. Actas del Congreso Internacional de Universidades, pp. 531-539. Madrid: Publicaciones de la Universidad Complutense.

De la Orden, A. (1997). Evaluación y optimización educativa. En H. Salmerón (Ed.). Evaluación Educativa (pp. 13-28). Granada: Grupo Editorial Universitario.

De la Orden, A. (2000). La función optimizante de la evaluación de programas educativos. Revista de Investigación Educativa, 18(2), 381-389.

De la Orden, A. (2011a). El problema de las competencias en la educación general. Revista Bordón, 63(1), 47-63.

De la Orden, A. (2009). Evaluación y calidad. Análisis de un modelo. Estudios sobre Educación, 16, 17-36

De la Orden, A. (2001b). Educación y competencias, presentación editorial. Revista Bordón, 63(1), 9-12.

De Miguel, M. (2005). Modalidades de enseñanza centradas en el desarrollo de competencias. Madrid: MEC y Universidad de Oviedo.

Eraut, M., Alderton, J., Cole, G. y Senker, P. (1998). Development of knowledge and skills in employment. Report of a research proyect funded by the Learning Society programme of the Economic and Social Research Council. Brighton: University of Sussex.

Hambleton, R. K. (1996). Advances in assessment models, methods and practices. En D. C. Berliner y R. C. Calfee (Eds.), Handbook of educational psychology, 899-925.

Jornet, J. et al. (2011). Diseños de procesos de evaluación de competencias: consideraciones acerca de los estándares en el dominio de las competencias. Revista Bordón, 63(1), 125-147.

Kane, M. T. (2001). Current concerns in validity theory. Journal of Educational Measurement, 38, 319-342.

Lane, S. y Sean, T. (2008). Performance assessment 21st Century Education: A Reference Handbook. Los Ángeles, CA: Sage Publications.

Linn, R. L. (1994). Performance assessment: Policy promises and technical measurement standars. Educational Researcher, 23(9), 4-14

Linn, R. L., Baker, E. L. y Betebenner, D. W. (1994). Accountability systems: Implications of requirements of No Child Left Behind Act of 2001. Educational Researcher, 31(6), 3-26.

Lizzio, A. y Wilson, K. (2004). Action learning in Higher Education: An investigation of its potential to develop professional capability. Studies in Higher Education, 29, 469-488.

Messick, S. (1994). The interplay of evidence and consequences in the validation of performance assessment. Educational Researcher, 23, 13-23.

Messick, S. (1995). Validity of psychological assessmenrt. Validation of inferences from persons responses and performances as scientific inquiry into score meaning. American Psychologist, 50, 741 -749.

Mislevy, R. J., Steinberg, L. S. y Almond, R. G. (2003). On the structure of educational assessment. Measurement Interdisciplinary Research and Perspectives, 1, 3-62.

Mislevy, R. y Haertel, G. (2006). Implications of evidence-centered design for educational testing (Inf. Téc. No. 17) Menlo Park, CA.

Mulder, M. (2004). Education, competency and performance. Wageningen: Wageningen University.

Mulder, M., Weigel, T. y Collings, K. (2008). Concepto de competencia en el desarrollo de la educación y formación en países de la Unión Europea. Revista de Curriculum y Formación del Profesorado, 22 (3).

Quellmalz, E., Timms, M. y Schneider, S. (2009). Assessment of student learning in science simulations and games. Washington: National Research Council.

Quellmalz, E. S. y Pellegrino, J. W. (2009). Technology and testing. Science, 323, 75-79.

Raven, D. y Stephenson, J. (Eds) (2001). Competence in the learning society. Nueva York: Peter Lang.

Real Decreto 1513/2006 de 7 de diciembre, por el que se establecen las enseñanzas mínimas correspondientes a la Educación Primaria. Ministerio de Educación y Ciencia de España.

Real Decreto 1631/2006 de 29 de diciembre, por el que se establecen las enseñanzas mínimas correspondientes a la Educación Secundaria Obligatoria. Ministerio de Educación y Ciencia de España.

Ribes, E. (2011). El concepto de competencia. Revista Bordón, 63(1), 33-47

Rychen, D. S. y Salganik, N. H. (2003). Key Competences for a successful life and well functioning society. Seatle, Toronto, Berna y Göttingen: Hogrefe and Huber.

Rychen, D. S. y Salganik, N. H. ((2001). Defining and Selecting key Competences. Seatle, Toronto, Berna y Göttingen: Hogrefe and Huber.

Scheffle, I. (1965). The conditions of knowledge. Chicago: University of Chicago Press.

Subsecretaría de Educación Media Superior (2008). Competencias genéricas y perfil del egresado de la Educación Media Superior. México: Secretaría de Educación Pública.

Shavelson, R. J., Baxter, G. P. y Gao, X. (1993). Sampling variability of performance Assessment. Journal of Educational Measurement, 30(3), p. 215- 232.

Zabalza, M. A. (2007). Ideas clave. Como aprender y enseñar competencias. Barcelona: Graó.

Para citar este artículo, le recomendamos el siguiente formato:

De la Orden, A. (2011). Reflexiones en torno a las competencias como objeto de evaluación en el ámbito educativo. Revista Electrónica de Investigación Educativa, 13(2), 1-21. Consultado el día de mes de año en: http://redie.uabc.mx/vol13no2/contenido-delaorden2.html