Palabras clave: Evaluación del aprendizaje, educación primaria, educación secundaria, comprensión lectora, matemáticas, México.

Cabe recordar que, con base en los resultados de evaluaciones internacionales, el INEE había realizado dos esfuerzos para conocer las tendencias educativas del país. El primero se llevó a cabo comparando los puntajes mexicanos obtenidos en 1995 en el estudio Trends in International Mathematics and Science Study (TIMSS)2, con la réplica del mismo examen en 2000, que realizó la Dirección General de Evaluación (DGE). Los resultados de esa comparación fueron publicados en el documento Tercer Estudio Internacional de Matemáticas y Ciencias (TIMSS): resultados de México en 1995 y 2000 (Backhoff y Solano-Flores, 2003), en el cual se señala que los estudiantes de 9 y 13 años de edad sólo muestran ganancias marginales en sus aprendizajes en dicho lapso de tiempo.

Un segundo esfuerzo realizado por el INEE para conocer las tendencias educativas de México fue la comparación de los resultados de las evaluaciones de PISA. Ese estudio denominado Resultados de las Pruebas PISA 2000 y 2003 en México (Vidal y Díaz, 2004) mostró que los niveles de aprendizaje de los estudiantes de 15 años fueron menores en 2003 que en 2000, o en el mejor de los casos, fueron iguales.

Sin embargo, es importante señalar que ambos estudios fueron realizados con información proveniente de pruebas internacionales que, aunque de gran calidad, no representan necesariamente lo que los estudiantes aprenden en las aulas mexicanas del currículum nacional:

PISA no está diseñado para evaluar el aprendizaje de los contenidos específicos fijados en los programas de las escuelas o de los distritos o regiones correspondientes. Tampoco está pensado para evaluar el desempeño de los docentes ni los programas vigentes. PISA se centra en el reconocimiento y valoración de las destrezas y conocimientos adquiridos por los alumnos al llegar a sus quince años”. (Organización para la Cooperación y el Desarrollo Económico [OCDE], 2006, p. 7).

Por lo anterior y con el ánimo de poder informar al público sobre los niveles nacionales de aprendizaje en los últimos años, el INEE realizó un estudio comparativo en 2005 —utilizando los mismos instrumentos, procedimientos y muestras de estudiantes que había utilizado la DGE de la Secretaría de Educación Pública (SEP) en el año 2000—, para evaluar a estudiantes de sexto de primaria y tercero de secundaria. Para este efecto se decidió utilizar las Pruebas de Estándares Nacionales de Comprensión Lectora y Matemáticas.

Bajo la consideración de que uno de los propósitos más relevantes del INEE es proporcionar un conocimiento de los aprendizajes de los estudiantes con distintos grados de desagregación (INEE, 2004), en dicho estudio se consideraron de especial interés los estratos y modalidades educativos de las escuelas primarias y secundarias que se muestran en la Tabla I. Cabe señalar que las abreviaturas se utilizan a lo largo de este trabajo en lugar de las categorías con su nombre extenso.

Tabla I. Estratos y modalidades educativos de las escuelas primarias y secundarias

Los resultados de este estudio fueron publicados por el INEE en el informe Estudio comparativo de la educación básica en México: 2000-2005 (Backhoff, et al, 2005).

El propósito de este artículo es hacer una síntesis del estudio referido, centrándose en el dominio de la Comprensión lectora y los conocimientos y habilidades en Matemáticas de los estudiantes que terminan la primaria y la secundaria. En particular, interesa saber si el sistema educativo ha progresado en el lapso de los últimos cinco años y si este cambio ha ocurrido en forma homogénea en las diversas poblaciones estudiantiles del país. Para ello se formularon las siguientes preguntas: ¿Es el cambio igual en los dos niveles educativos?, ¿lo es para los diversos estratos y modalidades escolares?, ¿para hombres y para mujeres?, ¿para los alumnos, independientemente de su edad?

Tabla II. Composición de la muestra de estudiantes de sexto de primaria y tercero de secundaria

Debe destacarse el reducido número de estudiantes de escuelas indígenas en 2005 (157), los cuales provenían de 14 escuelas del territorio nacional, por lo que la información que se proporciona en la sección de resultados se debe interpretar con reserva. No es el caso para los demás estratos y modalidades educativos.

1. Reconocer las diferencias entre diversos tipos de texto. Los reactivos están orientados principalmente a explorar los textos y a hacer predicciones con base en dicha exploración.
   
   
2. Construir el sentido del texto que se está leyendo. Los reactivos están orientados a construir la esencia del texto.
   
   
3. Valorar críticamente un texto. Se presupone que ya existe una integración global de la lectura y el alumno puede formar una opinión o reflexionar sobre aspectos de forma y contenido.
   

Por su parte, las Pruebas de Estándares Nacionales que miden el dominio de Matemáticas utilizan reactivos de opción múltiple con cuatro posibles respuestas: 48 reactivos para sexto de primaria y 39 para tercero de secundaria. Estas pruebas se enfocaron en evaluar las habilidades matemáticas del estudiante para la solución de problemas, tanto similares a los vistos en clase, como novedosos, que implicaran una generalización o transferencia de dichas habilidades, y no se centran en la comprensión de conceptos matemáticos.

En el caso de la prueba de sexto de primaria, se evaluaron los seis ejes temáticos correspondientes al currículo, agrupados en cuatro bloques: 1) Los números, sus relaciones y sus operaciones; 2) Geometría; 3) Medición; y 4) Tratamiento de la información, procesos de cambio, y predicción y azar.

Para tercero de secundaria, las grandes áreas temáticas en que se agrupa la prueba son: Aritmética; Geometría; Álgebra; Presentación y tratamiento de la información, y Probabilidad. Los contenidos de la prueba corresponden a contenidos curriculares, aunque no cubren de manera suficiente los diferentes ejes o áreas temáticas.

En el reporte en extenso se detallan un poco más los dominios que evalúan las pruebas de estándares nacionales. Sin embargo, este apartado es breve debido a que el énfasis del trabajo no está en el análisis curricular de las disciplinas evaluadas. Lo que interesa es la comparación de la ejecución de estudiantes de un mismo grado escolar, diferida cinco años en el tiempo, en condiciones similares, ante una misma prueba que tiene cercanía con el currículo nacional.

A manera de ejemplo, al final de este trabajo se presentan cuatro reactivos: dos de Comprensión lectora y dos de Matemáticas, para sexto de primaria y tercero de secundaria (ver Anexo 1).

Las dos pruebas de Comprensión lectora y las dos de Matemáticas se calibraron con el modelo de Rasch (Linacre, 2005), estableciendo un rango de puntuaciones de 200 a 800, una media de 500 puntos y una desviación estándar de 100 unidades. Sin embargo, hay que aclarar que las puntuaciones entre las diferentes pruebas no son comparables, debido a que evalúan dominios escolares distintos.

Para facilitar la interpretación de resultados, se establecieron cuatro niveles de logro —señalados como I, II, III y IV— utilizando las propiedades de la distribución normal de las puntuaciones. Cada nivel quedó definido por 25% de la población total de estudiantes. Así, en el nivel I se ubica 25% de los estudiantes con las calificaciones más bajas, mientras que en el nivel IV se encuentra 25% de los estudiantes con las puntuaciones más altas.

Los resultados obtenidos en este estudio comparativo se presentan de manera sintética en las tablas III, IV, V y VI, las cuales muestran para los dos ciclos evaluados un resumen que permite comparar los cambios en cuanto a:

• Las puntuaciones medias. Es decir, los promedios de las calificaciones que obtuvieron los distintos grupos de estudiantes.
• Los porcentajes de estudiantes ubicados en los niveles de logro I y IV. Es decir, los alumnos con las habilidades más bajas y más altas, respectivamente.

Tabla III. Síntesis de la comparación 2000-2005 de estudiantes
de sexto de primaria en Comprensión lectora

En la Tabla III, que se refiere a los estudiantes de sexto de primaria entre 2000 y 2005, puede verse a partir de las puntuaciones medias que el nivel de aprendizaje de Comprensión lectora aumentó en la mayoría de las escuelas, con excepción de los cursos comunitarios.

Se debe resaltar que los servicios educativos con mayores incrementos en el nivel de aprendizaje fueron las escuelas privadas y las indígenas. En las primeras el cambio se aprecia sobre todo por el aumento en la proporción de alumnos con niveles más altos de Comprensión lectora, y en las segundas, por la disminución de la proporción de alumnos con niveles más bajos de rendimiento.

Tabla IV. Síntesis de la comparación 2000-2005 de estudiantes
de tercero de secundaria en Comprensión lectora

La Tabla IV muestra que en secundaria, en Comprensión lectora, pareciera haber diferencias significativas en el total de la muestra. Sin embargo, al observar las diferentes modalidades sólo se encontró un cambio significativo, positivo, en las secundarias generales que por el tamaño de su muestra afecta la puntuación media del total. En las demás modalidades no se registraron cambios significativos.

Tabla V. Síntesis de la comparación 2000-2005 de estudiantes
de sexto de primaria en Matemáticas

En la Tabla VI puede observarse que el nivel de aprendizaje de Matemáticas de los estudiantes de sexto de primaria aumentó, en general, en los diferentes estratos educativos de 2000 a 2005, aunque no en escuelas rurales públicas ni en cursos comunitarios.

Debe notarse que en Educación Indígena, si bien la puntuación media aumentó y el porcentaje de alumnos en nivel I disminuyó, el porcentaje de alumnos en nivel IV no sólo no aumentó sino que disminuyó ligeramente. Algo similar ocurrió con los Cursos comunitarios, en los que la puntuación media aumentó, así como el porcentaje de estudiantes en nivel IV, pero el número de estudiantes en el nivel I incrementó ligeramente.

Tabla VI. Síntesis de la comparación 2000-2005 de estudiantes
de tercero de secundaria en Matemáticas

En secundaria, en Matemáticas, al igual que en Comprensión lectora, sólo se identificó un cambio significativo, positivo, en las secundarias generales. En las demás modalidades no se registraron cambios significativos.

En Matemáticas los hombres obtuvieron puntuaciones siempre ligeramente superiores a las de las mujeres en ambos estudios. Además, el incremento significativo observado de 2000 a 2005 para sexto de primaria es ligeramente superior para los hombres (de 20.1) que para las mujeres (de 15.7), mientras que en secundaria hay un decremento no significativo que es muy similar para hombres y para mujeres.

Por lo que se refiere a la edad de los estudiantes, los resultados en Comprensión lectora y Matemáticas de primaria muestran que los alumnos de la edad correspondiente al grado en que se encuentran —edad normativa— tienen un rendimiento superior a quienes rebasan esa edad. Más aún, las diferencias de aprendizaje entre ambas edades aumentaron en el lapso de cinco años.

En Matemáticas en secundaria el rendimiento de los alumnos en edad normativa también es superior al de quienes rebasan esa edad, pero estas diferencias permanecen relativamente estables en el transcurso de 2000 a 2005.

Figura 1. Porcentaje de estudiantes de sexto de primaria en cada nivel de ejecución en Comprensión lectora 2000-2005, por estrato educativo

Figura 2. Porcentaje de estudiantes de tercero de secundaria en cada nivel de ejecución  en Comprensión lectora 2000-2005, por modalidad educativa

Figura 3. Porcentaje de estudiantes de sexto de primaria en cada nivel de ejecución en Matemáticas 2000-2005, por estrato educativo

Figura 4. Porcentaje de estudiantes de tercero de secundaria en cada nivel de ejecución en Matemáticas 2000-2005, por modalidad educativa

En síntesis, según los datos obtenidos en primaria, las tendencias tanto para Comprensión lectora como para Matemáticas señalan que:

• Las escuelas privadas aumentaron sus brechas respecto a las demás.
• Las escuelas urbanas aumentaron su distancia respecto a las rurales y a los cursos comunitarios.
• Las escuelas rurales aumentaron sus brechas respecto a los cursos comunitarios.
• Las escuelas indígenas se acercaron a las demás escuelas —más aún, en 2005 sus resultados fueron mejores que los de los cursos comunitarios— con excepción de las privadas.

Respecto a las brechas en el nivel de secundaria, se encontró lo siguiente:

• La distancia entre las secundarias privadas y las públicas generales disminuyó ligeramente.
• La distancia entre las secundarias privadas y las técnicas disminuyó ligeramente, pero se mantuvo frente a las telesecundarias.
• Las secundarias generales aumentaron sus distancias respecto a las escuelas técnicas y telesecundarias.
• Las escuelas técnicas aumentaron sus brechas frente a las telesecundarias.
• Para el caso de Matemáticas, las diferencias entre años son muy pequeñas.

Por un lado, las que se relacionan con las diferencias en los niveles de aprendizaje alcanzados entre las poblaciones estudiadas independientemente del año evaluado. A este respecto, se encontró que en el año 2000 las modalidades y los estratos educativos se comportaron como en estudios anteriores reportados por el INEE (2003; 2004b): las escuelas privadas obtuvieron las mayores puntuaciones y las indígenas las menores, con una distancia mayor a una desviación estándar entre unas y otras, para las dos asignaturas en primaria. En el caso de secundaria, se encontraron distancias similares entre las escuelas privadas y las telesecundarias, a favor de las primeras. Las diferencias son un poco mayores en Comprensión lectora que en Matemáticas, en ambos niveles educativos.

Para el año 2005 las distancias entre algunos grupos cambiaron, pero en general el orden se mantuvo, excepto entre los cursos comunitarios y la educación indígena; sin embargo, ya se señaló que la muestra de este último estrato es muy pequeña, y sus resultados, por lo tanto, limitados en su representatividad. Algunas posibles explicaciones de estas diferencias de resultados entre modalidades y entre estratos, deberá tomar en cuenta las características de la población estudiantil, incluyendo las condiciones materiales y sociales de las escuelas y las familias de los estudiantes, así como las diferencias en las oportunidades de aprendizaje.

Por su parte, los resultados en Comprensión lectora siempre fueron un poco mejores para las mujeres como grupo, y los de Matemáticas, en los hombres; mientras que los alumnos en edad normativa siempre tuvieron mejores resultados que los alumnos con extra-dad. En el caso de las diferencias de género, éstas se han encontrado frecuentemente en estudios similares. Existe una serie de explicaciones que aún no están del todo consolidadas respecto a las diferencias entre edad normativa y extra-edad, parece sensato aventurar que la repetición de cursos o reprobación no está logrando nivelar a los estudiantes que pasan por ella.

Por otro lado, el estudio también respondió a las preguntas que se relacionan con los cambios en los niveles de aprendizaje de distintos subgrupos de estudiantes con el paso del tiempo. Se puede observar que en primaria hubo cambios favorables en casi todos los estratos educativos en Comprensión lectora, y en tres de cinco en Matemáticas. Por el contrario, en secundaria sólo se ve un cambio favorable significativo en las escuelas generales, en ambas asignaturas.

Respecto a cambios en el tiempo por género y por edad, en primaria se encontró que tanto las poblaciones de hombres como de mujeres y de alumnos en edad normativa, tienen cambios significativos entre 2000 y 2005.

En el caso de los estudiantes con extra-edad, hay cambios significativos en Comprensión lectora pero no los hay en Matemáticas de primaria. En secundaria ninguno de estos grupos tuvo diferencias significativas entre 2000 y 2005.

Todos los cambios significativos, tanto entre estratos y modalidades escolares como entre grupos de género y edad, pueden ser considerados como avances del sistema educativo para algunos grupos de estudiantes. Sin embargo, determinar sus causas no es una tarea fácil, y en todo caso no es claro si los cambios se deben o no a méritos del sistema educativo. Harían falta más elementos para poder determinarlo con claridad.

Finalmente, debe resaltarse la importancia de realizar estudios que aporten información sobre las tendencias de la educación en México, los cuales permitan definir mejores políticas educativas. Para ello, es indispensable contar con instrumentos robustos, con los cuales se obtenga información válida y confiable sobre las tendencias en el logro educativo.

Si bien este trabajo, basado en dos aplicaciones de las Pruebas de Estándares Nacionales, ya toma en cuenta las dificultades y especificidades con que se enfrentra un estudio para hacer comparaciones válidas en el tiempo, es necesario comentar que actualmente, una nueva generación de pruebas del INEE ha sustituido a las Pruebas de Estándares Nacionales (Backhoff, Sánchez, Peón, Monroy y Tanamachi, 2006). Una de las razones principales de esto es que estas nuevas pruebas permiten analizar con mayor detalle qué contenidos curriculares dominan o no los estudiantes, ya que están alineadas totalmente al currículo nacional.

Backhoff, E., Sánchez, A., Peón, M., E. Monroy y Tanamachi, M. L. (2006). Diseño y desarrollo de los Exámenes de la Calidad y el Logro Educativos. Revista Mexicana de Investigación Educativa, 11 (29), 617-638.

Backhoff, E. y Solano-Flores, G. (2003). Tercer Estudio Internacional de Matemáticas y Ciencias (TIMSS): resultados de México en 1995 y 2000 (Colección de Cuadernos de Investigación, No. 4). México: Instituto Nacional para la Evaluación de la Educación.

Instituto Nacional para la Evaluación de la Educación. (2003). La calidad de la educación básica en México. Primer informe anual 2003. México: Instituto Nacional para la Evaluación de la Educación.

Instituto Nacional para la Evaluación de la Educación (2004b). La calidad de la educación básica en México, Informe anual 2004. México: Instituto Nacional para la Evaluación de la Educación.

Instituto Nacional para la Evaluación de la Educación (2004). Plan maestro de desarrollo 2004-2012. México: Instituto Nacional para la Evaluación de la Educación.

Linacre, J. M. (2005). WINSTEPS Rasch measurement computer program. Chicago, IL: Winsteps.com

Martínez-Rizo, F. (2004). La comparabilidad de los resultados de las Pruebas Nacionales: 1998-2003 (Colección de Cuadernos de Investigación, No 10). México: Instituto Nacional para la Evaluación de la Educación.

Organización para la Cooperación y el Desarrollo Económicos (OCDE) (2006). El programa PISA de la OCDE. Qué es y para qué sirve. París: OCDE.

Poder Ejecutivo (2002). Decreto de creación del Instituto Nacional para la Evaluación de la Educación, publicado en el Diario Oficial de la Federación el día 8 de agosto de 2002.

Vidal, R. y Díaz, M. A. (2004). Resultados de las Pruebas PISA 2000 y 2003 en México. México: Instituto Nacional para la Evaluación de la Educación.

2Disponible en Internet en la página del INEE: http://www.inee.edu.mx