Palabras clave: Variables contextuales, evaluación del aprendizaje, pruebas estandarizadas, educación básica.

En México, la evaluación del logro académico en el nivel de educación básica emergió como la estrategia evaluativa de mayor importancia en el país, a la que se canalizan una buena cantidad de recursos y que experimenta mayor atención entre los principales actores del sistema educativo nacional. Los resultados de las evaluaciones son producto de la participación en diversos programas nacionales e internacionales realizados bajo la coordinación de la Secretaría de Educación Pública (SEP) y el Instituto Nacional para la Evaluación de la Educación (INEE) (Caso, González, Contreras y González, 2007).

En el ámbito nacional, desde hace más de una década se impulsan diversas acciones orientadas a evaluar la situación que guarda la calidad de la educación en el nivel básico. Los métodos de evaluación que destacan son: el Factor de Aprovechamiento Escolar, las Pruebas de Estándares Nacionales, el Examen de Calidad y Logro Educativos, la Olimpiada del Conocimiento Infantil, el Instrumento de Diagnóstico para Alumnos de Nuevo Ingreso a Secundarias, el Examen Diagnóstico Censal y la Evaluación Nacional del Logro Académico en Centros Escolares. México también ha participado en evaluaciones de carácter internacional, como el Tercer Estudio Internacional de Matemáticas y Ciencias, el Segundo Estudio Regional Comparativo y Explicativo del Laboratorio Latinoamericano de Evaluación de la Calidad de la Educación y el Programa Internacional para la Evaluación de Estudiantes.

Las Pruebas de Estándares Nacionales representan una de las estrategias evaluativas que más ha contribuido a la medición de niveles de logro educativo en estudiantes mexicanos del nivel básico. Estas pruebas, aplicadas por primera vez en 1998, tenían como propósito inicial evaluar conocimientos y habilidades en comprensión de lectura y matemáticas en estudiantes de segundo, tercero, cuarto, quinto y sexto grados de primaria y de primero, segundo y tercero de secundaria. En 2003 cambiaron su denominación y orientación; se nombraron Pruebas Nacionales y se concentraron exclusivamente en la evaluación de estos dominios en estudiantes de sexto de primaria y tercero de secundaria. La administración de estas pruebas se interrumpió en 2005 con la creación de una nueva generación de pruebas desarrolladas por el INEE denominadas Exámenes de Calidad y Logro Educativos (Backhoff, Andrade, Monroy, Tanamachi, Bouzas, Sánchez y Peón, 2005).

La aplicación de las Pruebas Nacionales permitió generar diversos informes pormenorizados en los que se describen los niveles de competencia de los estudiantes por dominio, modalidad y entidad participante (Instituto Nacional para la Evaluación y la Educación [INEE], 2003; 2004, 2005). También permitió evaluar el comportamiento de variables personales y contextuales tales como el sexo, los antecedentes escolares, el nivel socioeconómico, la configuración, el ambiente y las expectativas familiares, y el efecto de éstas sobre los niveles de logro.

Sin embargo, las conclusiones derivadas del análisis de la muestra nacional registran algunas limitaciones. En primera instancia, ignoran particularidades asociadas con las enormes desigualdades sociales, económicas y educativas registradas en el país, lo que genera resultados incorrectos puesto que no es acertado asumir que el efecto de las variables de contexto sobre el logro educativo es el mismo para estudiantes de distintas regiones o entidades. Por otro lado, el desconocimiento del comportamiento específico de las variables contextuales en cada entidad, limita la fundamentación de estrategias de intervención diferencial que permita abatir la problemática específica que enfrentan los sistemas educativos estatales.

A este respecto, es indiscutible la influencia que ejercen el nivel socioeconómico y los factores familiares en el rendimiento académico. Diversas investigaciones realizadas en el ámbito nacional e internacional lo confirman. Las expectativas y el nivel de involucración con las tareas escolares, el nivel ocupacional y de escolaridad de los padres, así como el clima, la estructura, el ambiente cultural y el ingreso familiar y los estilos de crianza, son variables que determinan, en buena medida, el éxito o fracaso escolar de un estudiante (Casanova, Cruz, de la Torre y de la Villa, 2005; González-Pienda, Núñez, González-Pumariega, Álvarez, Roces & García, 2002; Jones & White, 2000; Ruiz, 2001). Cuanto más bajas son las posibilidades económicas, mayores probabilidades hay de que la dinámica familiar sea inestable, que los padres muestren desinterés por la supervisión de las tareas académicas y subestimen las actividades escolares y extracurriculares de sus hijos; esto tiene como consecuencia la falta de estímulo y apoyo al estudiante, lo que puede afectar y disminuir su rendimiento escolar.

Estudios realizados con adolescentes mexicanos que involucran muestras considerables de estudiantes, exploraron el efecto de la escolaridad y ocupación de los padres, del ingreso familiar y del capital cultural sobre el rendimiento académico. Los resultados de diversas evaluaciones nacionales realizadas con estudiantes de secundaria, revelaron que pertenecer a una escuela privada, los niveles altos en las expectativas de los padres, el nivel de estudios de la madre y del padre, el organizarse con las tareas en el hogar y escolares y el deseo de seguir estudiando, explican con niveles de significancia estadística los resultados registrados en los dominios de matemáticas y español (Backhoff, et al., 2006).

Con base en lo anterior y con el propósito analizar el efecto de las variables de contexto en el logro educativo de una muestra de estudiantes del estado de Baja California, así como de contrastar los resultados con los hallazgos de estudios nacionales e internacionales, se propone el presente estudio.

La muestra de estudiantes de Baja California se obtuvo a través del diseño muestral propuesto para la aplicación de las Pruebas Nacionales, conformada en dos etapas: 1) selección de las escuelas mediante el modelo de probabilidad proporcional al tamaño, y 2) selección de los alumnos dentro de la escuela (INEE, 2004). Con excepción de las escuelas primarias de educación indígena y urbanas particulares, y las secundarias privadas y telesecundarias, las escuelas contaron con representatividad estatal.

1.2. Participantes

En el estudio participaron 1,817 alumnos de sexto año de primaria y 1,239 de tercero de secundaria, inscritos en el ciclo escolar 2003-2004 en 71 escuelas primarias (38 escuelas urbanas públicas, 24 escuelas rurales públicas, 5 escuelas urbanas particulares y 4 escuelas de educación indígena) y en 40 escuelas secundarias (22 secundarias generales privadas, 14 secundarias técnicas públicas, 3 secundarias generales privadas y 1 telesecundaria) de Baja California.

La muestra de estudiantes de sexto año de primaria se conformó con 896 hombres (49.3%) y 921 mujeres (50.7%), con edades que fluctuaban entre los 10 y los 13 años; de ellos, 1,259 alumnos pertenecían al turno matutino (69.3%) y 558 (30.7%) en el vespertino. La muestra de estudiantes de tercer año de secundaria se constituyó con 588 hombres (47.5%) y 651 mujeres (52.5%), con edades entre los 13 y los 16 años; 1,183 de ellos cursaban sus estudios en el turno matutino (95.5%) y 56 en el vespertino (4.5%).

1.3. Instrumentos

Las dos versiones de las Pruebas Nacionales se dividen en dos secciones: las pruebas de logro y los cuestionarios de contexto.

• Cuestionario del logro académico. Las pruebas de logro para sexto de primaria se conformaron con 86 reactivos de opción múltiple, 42 reactivos para comprensión lectora y 44 para matemáticas. Por su parte, las pruebas para tercer año de secundaria agruparon 89 reactivos de opción múltiple, 45 de comprensión lectora y 44 de matemáticas. Los resultados de logro académico de los alumnos en comprensión lectora y matemáticas se indican por separado en escala Rasch, con un mínimo de 200 puntos y un máximo de 800, con la media en 500 puntos. Los índices de confiabilidad en la aplicación nacional para las cuatro evaluaciones registran índices de consistencia interna con valores alpha de Cronbach que fluctúan entre .838 y .866.

• Cuestionarios de contexto. Los cuestionarios evaluaron aspectos contextuales del entorno, entre los que destacan: antecedentes escolares, configuración y ambiente familiar, escolaridad de los padres, condiciones de vida, organización del tiempo libre, situación laboral, actividades de estudio, expectativas familiares y relación con el maestro, entre otros. En la versión para primaria se emplearon 51 preguntas y en la de secundaria, 53.

1.4. Análisis de datos
Se realizaron los siguientes análisis: a) análisis comparativo, a fin de de contrastar los puntajes de logro académico por sexo, edad, turno y tipo de escuela; b) análisis multinivel a través del método de regresión lineal jerárquica para determinar el efecto del contexto, de la escuela, del alumno y del profesor en el logro educativo; y c) análisis del efecto de las variables contextuales en el logro educativo. La información fue procesada y analizada con el apoyo de los programas SPSS versión 14.0 y HLM versión 6.02.

Tabla I. Diferencias de logro educativo por género

Por otro lado, la relación entre los resultados de estas evaluaciones y la edad de los examinados, muestra una disminución en el desempeño académico de estudiantes que superan la edad “natural” estimada para sexto grado de primaria o tercero de secundaria, según sea el caso (Tabla II). En otras palabras, estudiantes mayores de 13 años en primaria y de 16 años en secundaria, presentaron puntajes de logro académico inferiores a los de sus compañeros de menor edad. Estas diferencias son estadísticamente significativas.

Tabla II. Diferencias de logro educativo por edad

También se observaron diferencias estadísticamente significativas en el logro de los estudiantes con respecto al turno escolar; los inscritos en el turno matutino evidenciaron mejor desempeño en los dominios y niveles educativos evaluados (Tabla III).

Tabla III. Diferencias de logro educativo por turno escolar

El desempeño de los alumnos también presentó variaciones en función de la escuela de procedencia, tanto para sexto de primaria como para tercero de secundaria. En el caso de la educación primaria, los alumnos de las escuelas privadas presentaron mejor desempeño que los de escuelas urbanas públicas en los dos dominios evaluados, las escuelas urbanas públicas superaron a las escuelas indígenas, y éstas a su vez, a las escuelas rurales (Tabla IV).

Tabla IV. Diferencias en logro educativo por tipo de escuela en primarias

En el caso de las escuelas secundarias, las privadas presentaron puntajes superiores al del resto en los dos dominios evaluados, las escuelas generales públicas superaron a las técnicas públicas y a las telesecundarias en comprensión lectora; las telesecundarias superaron a las técnicas y generales en matemáticas (Tabla V). Las diferencias observadas presentaron valores estadísticamente significativos.

Tabla V. Diferencias en logro educativo por tipo de escuela en secundarias

Por otro lado, para el análisis del efecto de las variables de contexto sobre la ejecución de los examinados se utilizaron modelos de dos y tres niveles. El primer nivel correspondió al alumno, el segundo nivel al grupo o al profesor y el tercero a la escuela. Cuando se aplicaron modelos de dos niveles, se suprimió el correspondiente al del profesor.

En un primer análisis se determinó, mediante el coeficiente de correlación intraclase, la proporción de varianza explicada por la escuela en los dos niveles educativos y en los dos dominios evaluados, presentando valores de 23.5% en comprensión lectora y 21.8% en matemáticas para el caso de sexto de primaria, y de 20.2% en comprensión lectora y 14.9% en matemáticas en tercero de secundaria (Tabla VI).

Tabla VI. Efecto de escuela

El segundo análisis permitió medir el efecto que tiene el contexto dentro de la variación ocasionada por el efecto de la escuela en el logro educativo. La mayor parte de la literatura sobre eficacia escolar, reconoce el efecto que tiene el contexto de la escuela como uno de los factores que más impacta el desempeño de los alumnos, donde el promedio de su estatus socioeconómico al interior de la escuela, resulta uno de los indicadores más utilizados para este propósito (Carvallo, 2005).

Dentro de las Pruebas Nacionales 2004 se incluyeron varias preguntas relacionadas con el estatus socioeconómico del alumno, tanto para los alumnos de secundaria como para los alumnos de primaria, que aglutinan las condiciones de vivienda y las posesiones de la familia de recursos o bienes específicos considerados representativos a nivel nacional. Los resultados del efecto del contexto de la escuela se muestran en la tabla VII.

Tabla VII. Efecto del contexto de la escuela

Posteriormente, se estimó el porcentaje de la reducción en la variación entre escuelas y se incluyó como variable de primer nivel, el socioeconómico del alumno (NSE). Los resultados se presentan en la tabla VIII.

Tabla VIII. Reducción en la variación entre escuelas
al incorporar la variable NSE del alumno

En un tercer análisis se procedió a realizar modelos de tres niveles que incorporaron el nivel de grupo o profesor, para calcular el efecto del maestro. Los resultados se muestran en la Tabla IX.

Tabla IX. Porcentaje de varianza explicada en cada nivel

Al igual que en el caso anterior, se estimó el impacto del nivel socioeconómico en el modelo, cuyos efectos se integran en la Tabla X.

Tabla X. Porcentaje de varianza explicada en cada nivel controlado por NSE

En lo referente al efecto de variables contextuales específicas en el logro educativo analizadas simultáneamente en modelos de regresión lineal múltiple, así como en modelos HLM, se identificaron variables personales, familiares, escolares y del maestro que explicaran con valores de significancia estadística del orden de p<.05, el logro educativo de los estudiantes.

A este respecto, como se puede apreciar en las tablas XI y XII, sólo un par variables tienen un efecto significativo en los cuatro dominos evaluados. El resto de las variables provocan efectos diferenciados según sea el caso del dominio y grados analizados.

En el caso de sexto de primaria, los estudios del padre, las expectativas personales de estudio, la supervisión familiar de las tareas escolares y el seguimiento a exámenes, favorecen el logro académico tanto para matemáticas como para comprensión lectora (Tabla XI). Además, contar con computadora en casa y ser mujer favorecen los puntajes en comprensión lectora, mientras que el número de libros en casa, las horas dedicadas a tareas escolares y el número de años en preescolar lo hacen en matemáticas.

Por su parte, los niveles de logro educativo en secundaria se encuentran favorecidos por el gusto hacia la lectura, las expectativas de estudio y la frecuencia en que la familia pregunta por los resultados en exámenes (Tabla XII). En contraparte, los consejos del maestro, la exigencia de la familia en el repaso de tareas en primaria, así como la asignación de tareas especiales, las visitas a la biblioteca escolar y el enojo del maestro en secundaria, son aspectos que desfavorecen el desempeño escolar.

Tabla XI. Efecto de variables contextuales sobre el logro educativo
en estudiantes de sexto año de primaria

Tabla XII. Efecto de variables contextuales sobre el logro educativo
en estudiantes de tercer año de secundaria

Por otro lado, los resultados observados en el análisis del efecto de las variables de contexto sobre la ejecución de los examinados son similares a los registrados en 2003 a nivel nacional (Carvallo, 2006) donde el efecto de la escuela es mayor en primaria que en secundaria y mayor en comprensión lectora que en habilidad matemática (Fernández, 2004a; Marzano, 2003; Murillo, 2003; Lastra, 2001).

Las proporciones de varianza observadas también son consistentes con los hallazgos de Fernández y Blanco (2004b), quien analizó los resultados de diversos estudios realizados en México entre los años 1998 y 2003. En ellos se documentaba el efecto de la escuela en el logro educativo con valores entre 26% y 38% en matemáticas y de 29% a 34% en español. En 2001, después de aislar el contexto en matemáticas, las variaciones resultantes fueron de 20%, a diferencia de los resultados de 1998, donde se llegó a 36%; en este mismo contexto, las diferencias en 1998 en español alcanzaron 29.3% y en 2001 sólo 19.5%.

En el presente estudio llama la atención el hecho de que el efecto del contexto haya sido muy similar en los dominios y en los niveles de escolaridad evaluados. Estudios nacionales anteriores, donde se midió el efecto del contexto en estas pruebas, registran resultados con variaciones que fluctúan entre 10% y 64% en tercero de secundaria (Carvallo, 2006). Estos resultados presentan diferencias mínimas cuando se estima el porcentaje de la reducción en la variación entre escuelas ocasionado por incluir el nivel socioeconómico del alumno (NSE) como variable de primer nivel; esta varianble explica entonces una proporción mínima de la variación del logro educativo.

El hecho de que la reducción en la variación entre escuelas sea muy poco explicada por el nivel socioeconómico del alumno, contradice lo escrito en la literatura nacional e internacional sobre este tema. Podría parecer que no existe una variación alta de esta variable entre los alumnos de la muestra, ya que son pocos los provenientes de niveles socioeconómicos alto y bajo, y que por ello los indicadores utilizados se comportan de acuerdo a una distribución normal. Otra posible explicación es la suma de condiciones del contexto fronterizo local que requiere ser interpretado de manera reservada, pues en la franja de la frontera con Estados Unidos, particularmente la de Baja California con California, dichos bienes difícilmente podrían considerarse indicadores adecuados del nivel socioeconómico. En esta parte, el argumento explicativo expresa la posibilidad de que la ecuación propuesta para determinar el índice de nivel socioeconómico no sea la más precisa ni la más plausible para esta entidad.

Por otro lado, el efecto del maestro en el logro educativo de los estudiantes es bajo y considerablemente menor que el de la escuela (con excepción de matemáticas en tercero de secundaria). Lo anterior contrasta con lo reportado por la literatura especializada en donde se ha documentado un mayor efecto del maestro con respecto al de la escuela. Llama la atención el resultado obtenido acerca del efecto en tercero de secundaria en la prueba de matemáticas, en donde el efecto de la escuela, además de ser muy bajo, su efecto en el modelo correspondiente no es significativo. Este dato implicaría que todas las escuelas impactan por igual y que la variación entre ellas no es significativa, explicación a la que se sumaría el argumento de que los datos observados sugieren que el impacto del nivel socioeconómico tampoco registra efectos importantes.

Finalmente, al analizar el efecto desagregado de las variables contextuales en el logro educativo, destacan el gusto por la lectura y la frecuencia con que los familiares preguntan los resultados en los exámenes. En estudios recientes donde se integran diversas variables del entorno familiar en una dimensión más amplia denominada capital cultural y que ha demostrado su poder predictivo en dominios y niveles educativos similares, las dos variables mencionadas se documentaron como pronosticadoras del logro educativo (Backhoff, et al., 2006).

En conclusión, la información generada por el presente estudio, aún cuando se reconozcan las limitaciones asociadas al tamaño y configuración de la muestra estatal, permite ampliar el conocimiento sobre el efecto de variables contextuales en el logro académico de estudiantes de nivel de educación básica. El esquema analítico propuesto, apoyado en el análisis multinivel, representa una herramienta útil que además de permitir evaluar el efecto diferenciado del alumno, la escuela y el contexto, puede conducir a evaluaciones más justas.

Carvallo, M. (2005). Análisis de los resultados obtenidos en estudios de eficacia escolar en México, comparados con los de otros países. Revista electrónica iberoamericana sobre calidad, eficacia y cambio en la educación, 3 (2). Consultado el 10 de septiembre de 2005 en: http://www.ice.deusto.es/rinace/reice

Carvallo, M. (2006). Factores que afectan el desempeño académico de alumnos de educación secundaria. Tesis doctoral no publicada, Centro Universitario de la Costa de la Universidad de Guadalajara, México.

Casanova, P., Cruz, M., de la Torre, M. J. & de la Villa, M. (2005). Influence of family and socio-demographic variables on students with low academic achievement. Educational Psychology, 25 (4), 423-435.

Caso, J., González, M., Contreras, L. A. y González, I. (2007). Antecedentes de la evaluación del aprendizaje a gran escala en Baja California. UEE RT 07 001. Ensenada, México: Universidad Autónoma de Baja California.

Fernández, T. (2004a). Distribución del conocimiento escolar, clases sociales, escuelas y sistema educativo en Latinoamérica. Tesis doctoral no publicada, El Colegio de México.

Fernández, T. y Blanco, E. (2004b). ¿Cuánto importa la escuela? El caso de México en el contexto de América latina. Revista Electrónica Iberoamericana sobre Calidad, Eficacia y Cambio en Educación, 2 (1). Consultado el 14 de octubre de 2006 en: http://www.ice.deusto.es/RINACE/reice/vol2n1/FernandezyBlanco.htm

González-Pienda, J. A., Nuñez, J. C., González-Pumariega, S., Alvarez, L., Roces, C. & García, M. (2002). A structural equation model of parental involvement, motivational and aptitudinal characteristics, and academic achievement. The Journal of Experimental Education, 70 (3), 257-287.

Instituto Nacional para la Evaluación de la Educación (2003). La calidad de la Educación Básica en México. México: INEE.

Instituto Nacional para la Evaluación de la Educación (2004). La calidad de la Educación Básica en México. México: INEE.

Instituto Nacional para la Evaluación de la Educación (2005). La calidad de la Educación Básica en México. México: INEE.

Jones, I. & White, S. (2000). Family composition, parent involvement, and young children´s academic achievement. Early Child Development and Care, 161, 71-82.

Lastra, E. (2001). School effectiveness, a study of elementary public schools in a Mexican city. Tesis doctoral no publicada, Universidad de Stanford, California.

Marzano, R. (2003). Classroom Management that works. Virginia: ASCD.

Murillo, F. J. (2003). El movimiento de investigación de eficacia escolar. En F. J. Murillo (Ed.), La investigación sobre eficacia escolar en Iberoamérica. Revisión internacional del estado del arte. Bogotá: CIDE.

Ruiz, C. (2001). Factores familiares vinculados al bajo rendimiento. Revista Complutense de Educación, 12 (1), 81-113.