Disponer de un sistema educativo que proporcione una enseñanza de calidad constituye una aspiración universal. Nadie mínimamente juicioso afirmaría que no desea una educación de calidad para sus hijos, comunidad o país. En 1988, la Sociedad Española de Pedagogía (SEP) manifestaba que “la calidad y la excelencia son metas deseables de la educación […] resulta difícil imaginar una escuela o una organización satisfechas en su mediocridad” (sep, 1988, p. 7).

Lo enunciado pudiera parecer una obviedad, sin embargo, constituye una misión mucho más difícil precisar qué se entiende por calidad educativa y qué características debiera tener un sistema educativo de calidad. Así pues, el término calidad educativa abarca todo el espacio ideológico, por lo que genera controversia. La Organización para la Cooperación y el Desarrollo Económicos (OCDE, 1991) lo reconoce cuando afirma que el concepto calidad educativa significa cosas diferentes para distintos observadores, ya que no todos comparten problemas, objetivos y prioridades.

La calidad como prioridad de los sistemas educativos aparece en las agencias internacionales en 1983, cuando en la conferencia de la OCDE los ministros de educación de los países miembros manifestaron que la consecución de la calidad educativa constituiría una prioridad, aunque ésta posteriormente sólo se ha identificado con la productividad. La idea predominante es que la calidad de la educación viene determinada por el rendimiento escolar de los alumnos (Puelles, 2009).

Con ese espíritu se inició en 1997 el Programa para la Evaluación Internacional de los Alumnos (PISA), auspiciado por la OCDE para analizar el rendimiento escolar de los estudiantes de distintos países al final del período de escolarización obligatoria. Planteaba la necesidad de contar con datos comparables para establecer indicadores de evaluación.

Estas pruebas se organizan de manera conjunta por los países miembros de la OCDE y cuentan cada vez con mayor número de asociados. En el caso de España, cada Comunidad Autónoma, en ejercicio de sus competencias, decide su participación. La evaluación se realiza cada tres años (2000, 2003, 2006, 2009, 2012 y 2015). En el año 2000 participaron 32 países, entre ellos España; en la segunda edición 42, uniéndose las Comunidades Autónomas de Castilla-León, País Vasco y Cataluña. En 2006 ya eran 57 y, a las tres anteriores, se añadieron Galicia, Asturias, La Rioja, Aragón y Navarra. En 2009 participaron 64 países y 14 Comunidades Autónomas. En las pruebas celebradas en 2012 fueron evaluados un poco más de 500 000 alumnos de 65 países. Y en la última edición (2015), 540 000 estudiantes de 72 países. Además todas las Comunidades Autónomas, según la organización, han ampliado su muestra de participación para recabar datos representativos que sean comparables a nivel internacional.

Según los organizadores los objetivos del proyecto son:

Extraer conclusiones, a partir de los resultados, que permitan identificar fortalezas y debilidades de los sistemas educativos para orientar sus políticas.

Así pues, PISA constituye un estudio comparado, internacional, periódico y continuo (Turner, 2006) sobre las competencias adquiridas por los estudiantes al finalizar su escolarización obligatoria, si bien se toma como referencia los 15 años de edad, con el fin de unificar los posibles desajustes sobre la duración exacta del tramo obligatorio en los distintos sistemas educativos. Consta de una prueba cognitiva, de dos horas de duración, sobre tres dominios de aprendizaje: comprensión lectora, matemáticas y ciencias. Cada tres años la prueba se centra, predominantemente, en uno de ellos (en un porcentaje aproximado del 65%). Los ejercicios combinan preguntas de respuesta alternativa, concreta o directa, con otras que admitan una respuesta parcialmente correcta. Asimismo, los estudiantes cumplimentan un cuestionario complementario, de 30 minutos aproximadamente, sobre sus características personales y familiares, opiniones, preferencias e intereses.

Hasta 2006 los ejercicios consistían sólo en pruebas de papel y lápiz. En 2009 se incorporó un ejercicio de lectura en formato digital y en 2015 las pruebas cognitivas y los cuestionarios de contexto fueron exclusivamente en formato digital. Conviene señalar que PISA no pretende evaluar objetivos o contenidos académicos; es decir, lo que los alumnos han aprendido en la escuela, sino su capacidad de movilizarlos y aplicarlos en contextos distintos. “Puede afirmarse que más que la comprensión lectora, las matemáticas y las ciencias, PISA pretende evaluar la competencia lectora, la competencia matemática y la competencia científica” (Tiana, 2009a, p. 45 ). En definitiva, las destrezas y habilidades adquiridas y asimiladas que permitan a los jóvenes desenvolverse en espacios y situaciones propias del mundo adulto.

Además, los responsables de los centros educativos realizan un cuestionario complementario sobre las características del centro y su entorno, con la intención de extraer conclusiones sobre la relación entre los resultados y el contexto familiar y escolar.

Por tanto, además del rendimiento académico se miden también aspectos como la tipología y organización de los centros educativos, la cualificación de los padres, las dificultades de aprendizaje o el porcentaje de alumnos inmigrantes (Cárdenas y Huertas, 2013). Así pues, se puede afirmar que además de medir los resultados en términos de adquisición de competencias, aporta abundantes datos sobre factores de equidad -relación entre recursos, resultados e igualdad de oportunidades-, así como de ingresos familiares, nivel educativo y cualificación profesional de los padres, estructura y origen cultural de las familias, titularidad y organización de los centros educativos y procedimientos educativos puestos en práctica por el profesorado.

Los propios evaluadores han señalado la importancia de considerar cuatro ámbitos para la adecuada valoración del rendimiento escolar: el nivel de los resultados de aprendizaje, la relación de estos con los indicadores de bienestar social, igualdad de oportunidades y eficacia de los procesos. Por tanto, “la principal aportación de PISA a la evaluación de resultados consiste en combinar de manera equilibrada la valoración de la calidad de la educación, medida a través del logro de ciertas competencias, con la equidad de su distribución” (Tiana, 2009a, p. 54 ). Y no sólo eso, los Informes han aportado evidencias de que algunos sistemas educativos son capaces de contrarrestar con mayor eficacia la incidencia de estos factores en los resultados obtenidos.

Por tanto, algo que también pone de manifiesto PISA es la posibilidad de aunar equidad y calidad, “se pueden obtener buenos rendimientos para todos los alumnos sin disminuir el de los mejores y sin recurrir a la selección o a la exclusión de ninguno de ellos” (Puelles, 2009, p. 36 ). PISA evidenció que algunos de los sistemas con mejores resultados son también los más equitativos; países como Finlandia, Canadá, Dinamarca, Hong-Kong y Macao lograron buenos resultados en estudiantes de diferentes niveles socioeconómicos (OCDE, 2015).

En dicho Informe (OCDE, 2015), que se centró en la competencia científica, España en su conjunto, según el Instituto Nacional de Evaluación Educativa (INEE, 2016) obtuvo una puntuación media en lectura (496), ligeramente superior a la del promedio de la OCDE (493) y al de la Unión Europea (494). En matemáticas (486), por debajo de la OCDE y de la Unión Europea. Hay que precisar que en matemáticas España tiene una proporción de alumnos rezagados similar al de la Unión Europea (22%) y menor al de la OCDE (23%). Sin embargo, el porcentaje de alumnos excelentes es del 7%, inferior al de la OCDE (10%) y al de la Unión Europea (11%). En ciencias, se sitúa en el mismo promedio de la OCDE (493) y ligeramente por debajo del de la Unión Europea. Aunque, en este caso España presenta una proporción de alumnos rezagados (18%) sensiblemente menor al de la OCDE (22%) y al de la Unión Europea (21%). Por el contrario, el porcentaje de alumnos excelentes (5%) es inferior al de ambas organizaciones (8%).

En términos generales se trata de unos resultados que mejoran sensiblemente los obtenidos en evaluaciones precedentes. No obstante, parecen reafirmar las características del país: se sitúa ligeramente por debajo de los países que obtienen mejores resultados; con un porcentaje bajo de alumnos de nivel alto o excelentes; y mantiene buena posición con respecto a los indicadores de equidad.

La repercusión mediática de los resultados PISA puede calificarse de inusitada, máxime teniendo en cuenta que se trata de un tema educativo. La información se centra en destacar los ranking de los países y regiones, mencionando los más destacados, identificando los rezagados y, en el caso concreto de España, subrayando el bajo nivel obtenido por los estudiantes (Luzón y Torres, 2013; Tiana, 2009b ). La repercusión en la opinión pública de las abundantes informaciones y opiniones de trazo grueso en torno a los resultados no es cuestión baladí, habida cuenta que PISA constituye el programa de evaluación más amplio y es, sin duda, la empresa más influyente a la hora de orientar las reformas y políticas educativas de los distintos países (Lundgren, 2013; Marchesi y Martínez, 2006; Tiana, 2009a; Tiana, 2009b; Puelles, 2009), y así se pone de manifiesto en el caso de España.

La Ley Orgánica de la Mejora de la Calidad de la Educación (LOMCE, 2013) constituye un potente cambio de concepción de las prioridades y objetivos del sistema educativo, pasando de un modelo en el que la calidad de la educación se mide por los recursos puestos al servicio del sistema: inversión, centros, profesores y medios materiales, a otro donde los resultados también cuentan. O mejor dicho, lo que cuenta son los resultados.

Disminuir el fracaso escolar, aumentar la empleabilidad, mejorar los resultados en las evaluaciones internacionales, cohesionar los resultados entre comunidades, fomentar la especialización y autonomía del centro, impulsar las tic y el plurilingüismo, así como potenciar la orientación, la tutoría y el acompañamiento a los estudiantes, aparecen como objetivos en la LOMCE.

En ese sentido, la mayoría de las novedades que incorpora dicha ley están orientadas a la mejora de los resultados académicos: evaluación externa, diversificación de trayectorias, potenciación de materias instrumentales, planes de refuerzo, fortalecimiento de la función directiva o la revitalización de las enseñanzas de Formación Profesional. En concreto, se puede afirmar que la mayoría de las novedades prescritas en el texto legal parecen claramente orientadas a mejorar los resultados en PISA.

Así pues, cuando se afirma que la educación se encuentra en “crisis” y que no responde a las demandas sociales, convendría hacer una reflexión de trazo fino con relación a otros aspectos, tanto económicos como de inversión de coste humano.

Se parte de la hipótesis de que el mal uso de los resultados de PISA tiene consecuencias perniciosas para la finalidad del sistema educativo y para el desarrollo del quehacer docente. Por ello, el objetivo establecido es confirmar dicha hipótesis y enumerar y describir cuáles son y cómo afectan esos efectos perniciosos en la calidad de la educación y del proceso de enseñanza-aprendizaje.

Para conseguir dicho objetivo se tomaron los datos aportados por PISA para los alumnos españoles en las evaluaciones de 2006-2016; analizando la literatura existente en torno a esta problemática para, por último, utilizar una metodología de tipo hermenéutico que permita interpretar -no sólo explicar- de manera crítica y contextualizada estos resultados. En este sentido, frente a los fríos datos arrojados por PISA, se busca presentar un relato que dé sentido y comprensión a esta realidad. Como decía Gadamer (1977,p. 585), “lo que no logra la herramienta del método tiene que conseguirlo y puede realmente hacerlo, una disciplina del preguntar y el investigar, que garantice la verdad.”

PISA manifiesta la importancia de medir logros y resultados educativos (Jornet, 2016; Martínez-Rizo, 2016). Sin embargo, recabar indicadores de logro educativo dentro del marco general de indicadores que trabaja habitualmente la OCDE supone una dificultad en la significancia de dichos indicadores, especialmente en el diseño de los formatos de evaluación (Jornet, 2016):

Con ello, los resultados obtenidos por España en los últimos 10 años suponen un logro:

Estos datos evidencian una clarísima mejora de los resultados en Comprensión lectora (tabla I), posicionándose por encima de la media. Por competencia lectora entendemos la capacidad para comprender, utilizar, reflexionar e interesarse por los textos escritos, para alcanzar los propios objetivos, desarrollar conocimiento y potencial personal y participar en la sociedad (OECD, 2006). Probablemente una hipótesis a analizar para el incremento de estos resultados sea el impacto de la aparición de la Ley Orgánica de Educación (LOE, 2006) y su fuerte apuesta por la competencia lingüística y comunicativa, así como la aparición y fomento de programas de animación lectora. De igual forma, es innegable su apuesta por el desarrollo de la competencia digital. Dicho cambio favorece el aumento de la capacidad de leer en formato digital del alumnado, aspecto metodológico que se evalúa también en las pruebas PISA.

Tabla I

2006	2016	Incremento	OECD	Diferencia
461	496	7.05%	493	0.6% por encima de la media

Al igual que ocurre con la Competencia lectora, se observa una mejora significativa en la competencia matemática, aunque sin llegar a posicionarnos por encima de la media europea (ver tabla II). La competencia matemática se define como la capacidad de reconocer y formular problemas matemáticos en situaciones diversas (OECD, 2006). La mejora de estos resultados se puede atribuir a la aparición de metodologías activas en la enseñanza de las matemáticas en los últimos años. Sin embargo, tanto la competencia matemática como la competencia en ciencias (ver tabla III), aunque aumentan en sus resultados de logro, se mantienen en la media (en Ciencias) o por debajo de la media (en Matemáticas).

Tabla II

2006	2016	Incremento	OECD	Diferencia
480	486	1.23%	490	-.81% Por debajo de la media

Tabla III

2006	2016	Incremento	OECD	Diferencia
488	493	1.01%	493	En la media europea

Estos resultados varían en función de las comunidades autónomas, presumiblemente por no tener un sistema educativo centralizado que facilite los mismos recursos y políticas entre comunidades. Valdría la pena analizar, en estudios longitudinales a escala nacional, los factores que permiten conocer en profundidad la causa de las diferencias presentadas en estos resultados. Por otra parte, no se puede ignorar cómo la desigualdad en el reparto de recursos económicos entre comunidades afecta de forma evidente la equidad y competitividad de los alumnos españoles frente a los de otros países europeos (Ferrer et al., 2010).

Al respecto, Schleicher (2016) afirma que un aspecto a tener en cuenta en el análisis del impacto de los resultados del informe es la urgente necesidad de invertir en calidad y no sólo en cantidad de recursos. El informe Focus (OCDE, 2017) evidencia el decrecimiento, en los últimos años, de la equidad de recursos en España con relación a otros países y comunidades autónomas (figura 1). Este decrecimiento obedece a que las políticas educativas se han enfocado en mejorar los resultados de los alumnos excelentes.

Figura 1

Así pues, sería interesante analizar el nivel de inversión en costes y tiempo, así como, la preparación de la participación de España en PISA, para determinar con mayor rigor la repercusión por coste (rentabilidad) que supone no sólo la participación en el mismo, sino lo más importante, el aprovechamiento del impacto en la toma de decisiones político-educativas.

Por ejemplo, sabemos que España invierte mayor número de horas lectivas en educación Primaria y Secundaria que los demás países de Europa y, sin embargo, la inversión de tiempo no conlleva mejores resultados:

Por otra parte, resulta llamativo cómo el Informe del MECD (2016) sobre los resultados de la OCDE manifiesta que la ratio profesor-alumno en España es similar a la media de la OCDE y ligeramente inferior al de los países de la Unión Europea:

Sin embargo, países como Japón o Corea del Sur, que tienen mayor ratio profesor-alumno, han priorizado el salario del profesorado y la calidad de su formación (OECD, 2012) y presentan mejores resultados que el resto de países:

Podemos coincidir en que es positivo y necesario mejorar los resultados en los estándares de aprendizaje, aunque primero se deberían discutir cuáles son esos estándares, por qué deben ser esos y no otros, y quién debe decidir esas cuestiones.

Nadie se atrevería a afirmar que es negativo que aumente la calidad de la educación, ni que es malo que aumenten los resultados de los jóvenes en diferentes evaluaciones, aunque cada día son más los autores que se plantean al servicio de qué y de quién está esa llamada calidad de la educación, y si debemos evaluar realmente lo que estos programas evalúan.

En esa línea, también hay autores que analizan las consecuencias de un sistema educativo demasiado pendiente de los resultados y de un profesorado que está transformando su rol educativo, sus funciones, su formación, su estatus y reconocimiento social a causa de un proceso de enseñanza-aprendizaje demasiado orientado a la rendición de cuentas. Es, por ello, que nos planteamos si todo esto, realmente, nos sale a cuenta. La unesco (Bokova, 2015) establece la dicotomía entre una educación con poder emancipador, con utilidad práctica para enfrentarse a la vida, que fomenta la capacidad crítica y favorece la sostenibilidad económica, social y medioambiental frente a una educación en la que se acumulan saberes sin ocuparse de su empleo y utilidad, en la que el saber sólo tiene por objetivo superar diferentes pruebas académicas o está orientada a satisfacer al mercado (Sanz et al., 2018).

Hemos analizado algunas medidas recogidas en la lomce destinadas a aumentar los resultados en PISA y en cómo dichos resultados han sido utilizados, tanto por medios de comunicación como por representantes políticos, como arma arrojadiza, instrumento de descrédito del sistema educativo y de erosión de los gobiernos en turno. Pero, sin darnos cuenta, estas luchas ideológico-políticas tienen consecuencias en la estructura, finalidad y organización del sistema educativo y de su personal docente. Todo ello, aun siendo conscientes de que los resultados en lectura, matemáticas y ciencias han ido aumentando de forma progresiva.

Y es esa la razón por la que ponemos en la balanza los pros y los contra y analizamos si realmente valió la pena. Hargreaves y Fink (2008) describen una relación de efectos dañinos para la educación a causa de la estandarización educativa:

Creemos que PISA es “una forma un tanto camuflada de presionar a los Estados para reformular sus políticas educativas” (Torres-Santomé, 2011, p. 186 ). Sin embargo, el relato que presentan los medios de comunicación y la política partidista hace que construyamos alrededor de estos resultados un discurso de postverdad.

De esta manera, aspectos clave en la educación como la creatividad, la innovación, la atención a la diversidad, la educación en valores y el desarrollo de capacidades corren el riesgo de quedar supeditadas, marginadas, frente a un simple entrenamiento para superar exámenes. Como consecuencia, el currículum académico y el horario escolar priorizan ciertas asignaturas -Matemáticas, Lengua y Ciencias- en detrimento de otras, tanto en cantidad de horas como en franjas horarias.

Además, sitúa a los docentes en el ojo del huracán con cada publicación de los resultados PISA. Los análisis erróneos, sesgados o malintencionados cuestionan su trabajo, merman su autoridad y reconocimiento social y les someten a un proceso constante de rendición de cuentas. La equidad del sistema educativo se resquebraja con cada evaluación. La distancia entre algunos centros escolares de barrios marginales y de élite, así como entre diferentes comunidades autónomas se agranda, con las consiguientes consecuencias de fractura social.

Estas conclusiones ponen de manifiesto que la hipótesis de partida se confirma. El mal uso de los resultados PISA conduce a un proceso de mercantilización de la educación; los fines educativos viran desde una educación de carácter humanista (formar ciudadanos) hacia una educación de corte utilitarista (formar mano de obra eficiente); los docentes se convierten en simples técnicos de la educación y su motivación e identidad profesional disminuyen. Por ello, creemos que se puede afirmar que PISA favorece la deshumanización del proceso educativo y reclamamos la vuelta a una educación más centrada en la persona y en su desarrollo integral.