Revista Electrónica de Investigación Educativa

Vol. 16, Núm. 2, 2014

Propiedades psicométricas de la escala
de cómputo para el EXANI-II

José Antonio Martínez Pineda (*)
antonio.martinezpineda@gmail.com

Miguel Herrera Ortíz (*)
miguel.herrera@ceneval.edu.mx

(*) Centro Nacional de Evaluación para la Educación Superior, A. C.

Av. Camino al Desierto de los Leones (Altavista) 19
Col. San Ángel, Deleg. Álvaro Obregón, C.P. 01000
México, D. F., México

(Recibido: 2 de julio de 2013; Aceptado para publicación: 23 de abril de 2014)

Resumen

El impacto de las Tecnologías de Información y Comunicación en el desempeño académico de los estudiantes se ha estudiado desde diferentes perspectivas, entre las que se encuentran las escalas de autoeficacia en el uso de la computadora (CSE) que han sido utilizadas como predictor de los conocimientos y habilidades reales de los estudiantes (Johnson, 2005; Marakas, Johnson y Clay, 2007). El objetivo de este estudio es analizar las propiedades psicométricas de una escala de CSE y su asociación con el desempeño en el Examen Nacional de Ingreso a la educación superior (EXANI-II). Los resultados en una muestra nacional (n=548,756) sugieren que la escala presenta una confiabilidad (α=.92) e indicadores de bondad de ajuste (RMSEA=.05, CFI=.96) aceptables, así como una asociación estadísticamente significativa (r=.346) con el desempeño en el EXANI-II, confirmando la pertinencia de la CSE como predictor del desempeño académico.

Palabras clave: tecnologías de la información, propiedades psicométricas, instrumentos de medición.

I. Introducción

Los logros de aprendizaje de los estudiantes están determinados por múltiples factores internos y externos a las instituciones educativas. El uso de Tecnologías de Información y Comunicación (TIC) constituye una variable relativamente nueva en el ambiente educativo, y aprender a utilizar estas tecnologías –principalmente la computadora– se ha ido integrando a diversos programas educativos, desde la educación básica hasta la educación superior (Hernández, 2009). Además de incluirse como parte de la currícula, se ha considerado como variable de contexto que favorece el logro académico (Harrison et al., 2002).

La información respecto al impacto de las TIC en el desempeño de los estudiantes aún no es concluyente. Existen estudios que destacan el impacto favorable del uso de la tecnología, principalmente la computadora, sobre los resultados académicos (Coll, Mauri y Onrubia, 2008; Corbett y Willms, 2002) o de un impacto negativo al no tener acceso en casa a las TIC (Fertig, 2003). Algunos estudios, como el de Fuchs y Wöessmann (2004), reportan un efecto diferencial sugiriendo que la inversión de tiempo en el uso de la computadora tiene un efecto de U invertida sobre el desempeño escolar, lo cual implica que no utilizarla o invertir demasiado tiempo en su uso conlleva a resultados deficientes.

Otros estudios reportan una mayor ganancia educativa de los niños que en casa no tienen acceso a una computadora; que los alumnos que utilizan TIC en las clases de matemáticas obtienen calificaciones más bajas en comparación a los que no las utilizan o que no existe un impacto en el desempeño de los estudiantes que cuentan con una computadora en el salón de clases (Johnson, 2005; Mann, Shakeshaft, Becker y Kottkamp, 1999; Tremblay, Ross y Berthelot, 2001; Wenglinsky, 1998).

Bussière y Gluszynski (2004) utilizando datos de la aplicación del Programa Internacional para la Evaluación de Estudiantes en el 2000 (PISA, por sus siglas en Inglés) y el proyecto canadiense de los Jóvenes en la Encuesta de Transición (YITS, por sus siglas en Inglés) describieron que el 87.9% de los estudiantes canadienses de 15 años cuenta por lo menos con una computadora personal y que alrededor del 50% de ellos utiliza la computadora en sus hogares diariamente. La Internet tiene el segundo puesto entre las nuevas tecnologías en cuanto a su uso; además, reportaron que el 60% de los estudiantes que cuentan con Internet en sus casas lo utilizan a diario, mientras que sólo el 3.4% reportó utilizarlo sólo una vez a la semana.

Aunque pudiera pensarse que la actividad de los jóvenes en Internet es puramente recreativa, los resultados de la aplicación PISA 2003 indican que más del 50% de los estudiantes participantes utilizan el Internet como fuente primaria de información y que se utiliza frecuentemente con fines educativos (OECD, 2005), resultados que se confirman en diversos estudios que informan sobre el creciente acceso de los jóvenes a la computadora y los usos que hacen de esta y sus aplicaciones, de las cuales el procesador de textos y el navegador web son las de mayor uso (Amorós, Buxarrais y Casas, 2002; Castells, 2001; Martínez, León y Reyes, 2009; Naval, Sádaba, Bringué y Pérez-Alonso, 2003).

Los resultados obtenidos por Fuchs y Wöessmann (2004), así como los de Bussière y Gluszynski (2004), sobre el uso y acceso a Internet en el hogar son congruentes entre sí en cuanto a que el efecto del uso de las nuevas tecnologías esté mediado por otras variables como el nivel socioeconómico y el tipo de familia. Los resultados de otro estudio reportaron datos sobre una muestra de adolescentes estadounidenses entre 10 y 18 años con características contextuales regularmente adversas para el rendimiento académico –que pertenecen principalmente a un grupo poblacional minoritario, de familias uniparentales y con un nivel económico de bajo a medio bajo– en la que encontraron una correlación positiva entre la mayor frecuencia en el acceso a Internet y un mejor desempeño en pruebas estandarizadas, así como un mejor rendimiento escolar (Jackson, von Eye, Biocca, Barbatis, Zhao y Fitzgerald, 2006).

En el mismo sentido, un estudio realizado por Park (2008) reporta que el uso de nuevas tecnologías explica un considerable porcentaje de la varianza en el desempeño en matemáticas de estudiantes hispanos aun después de controlar los factores más influyentes en los contextos familiar y escolar.

Como apuntan los estudios mencionados, el uso de las TIC tiene un efecto (ya sea positivo o negativo) sobre el desempeño académico, la siguiente pregunta sería si dicho efecto se relaciona únicamente con el uso de las TIC o si depende de las capacidades de los estudiantes en el uso de las mismas. En las últimas décadas se han instrumentado diferentes investigaciones (Compeau y Higgins, 1995; Wood y Bandura, 1989) sobre la autoeficacia en el uso de la computadora o programas específicos como predictores de la capacidad de los estudiantes en el uso de éstos.

1.1 Autoeficacia en el uso de la computadora

El concepto de autoeficacia fue utilizado por primera vez por Bandura (1977) y se refiere a la confianza del individuo en sus capacidades para organizar y llevar a cabo una actividad de manera exitosa. Wood y Bandura (1989) sugirieron que la autoeficacia hacia una tarea representa un buen predictor del desempeño en ese dominio. De acuerdo con Compeau y Higgins (1995), la autoeficacia en el uso de la computadora (CSE, por sus siglas en inglés) se define como la propia percepción que tiene un individuo respecto a su capacidad para el uso de la computadora. Cabe señalar que esta definición guió el presente estudio.

Por otro lado, Marakas, Yi y Johnson (1998) propusieron una diferenciación entre CSE general –autoeficacia en cuanto al uso general de la computadora–, y CSE específica –autoeficacia en el uso de una aplicación determinada. Cuando la experiencia con la computadora no es muy alta, la CSE específica explica un porcentaje mayor de varianza que la CSE general (Johnson y Marakas, 2000). En estudios recientes se ha investigado la CSE en cuanto a tareas en aplicaciones específicas (Johnson, 2005; Marakas et al., 2007).

Algunos autores coinciden en que la percepción y confianza de estudiantes universitarios y docentes, respecto al manejo de aplicaciones de escritorio, es mayor la CSE específica en el uso del navegador de Internet y el procesador de textos y menor en el uso de bases de datos (Fetter, 2009; González, 1999; Martínez, León y Reyes, 2009).

Dada la relevancia de la CSE (tanto específica como general) en relación al desempeño académico de los estudiantes, el Centro Nacional de Evaluación para la Educación Superior (Ceneval) ha desarrollado una escala de autoeficacia en cómputo (EAEC), considerándola de acuerdo a la definición de Compeau y Higgins (1995). Esta escala se incluye en el cuestionario de contexto que responden los sustentantes del Examen Nacional de Ingreso a la Educación Superior (EXANI-II). El cuestionario forma parte del Sistema Integral de Cuestionarios de Contexto (Ceneval, 2013).

El presente estudio analiza las propiedades psicométricas de la EAEC y la relación de la autoeficacia en cómputo con el desempeño académico de los sustentantes.

II. Método

Se trabajó con la base de datos nacional de aplicaciones del EXANI-II correspondientes al año 2010 (N=555,949). Para los análisis únicamente se incluyó a los sustentantes que contestaron al 100% la EAEC (n=548,756) quienes tenían una edad promedio de 19.53 años (DE=3.13). En la Tabla I se observan las características descriptivas de la muestra.

Tabla I. Características descriptivas de la muestra

2.1 Instrumentos

a) EXANI-II, un examen de selección diseñado para medir las habilidades y conocimientos básicos de los aspirantes a cursar estudios de nivel superior. Está conformado por 110 reactivos que conforman 5 áreas de 22 reactivos cada una: 2 de habilidades (razonamiento lógico-matemático y razonamiento verbal) y 3 de conocimientos (matemáticas, español y TIC). La calificación del EXANI-II se reporta en una escala estandarizada denominada Índice Ceneval, la cual tiene una media de 1000 y desviación estándar de 100 puntos en un rango de calificación de 700 a 1300 puntos.

b ) Cuestionario de contexto del EXANI-II 2010 (Ceneval, 2009), el cual consta de 102 reactivos, 47 reactivos individuales y 55 agrupados en 7 escalas incluidas en el cuestionario. Tanto los reactivos individuales como las escalas se agrupan en 10 sub áreas que a su vez conforman las tres áreas principales de estudio del cuestionario: personal, social y escolar.

La Escala de autoeficacia en cómputo consta de 10 reactivos con 4 opciones de respuesta (No lo sé hacer, poco hábil, hábil y muy hábil) que evalúan la percepción del sustentante con respecto a su habilidad en la realización de tareas específicas (Tabla II).

2.2 Procedimiento

Todas las aplicaciones del EXANI-II son estandarizadas y grupales, siguiendo estrictamente el procedimiento del manual de aplicación del Ceneval (2008). La aplicación del cuestionario de contexto se realiza al momento de registrarse al examen y puede realizarse en lápiz y papel o en línea.

Tabla II. Reactivos incluidos en la EAEC

III. Resultados

Los análisis de la información se realizaron mediante los programas SPSS 17.0, Winsteps (Linacre, 2007) y LISREL 8.80 (Jöreskog y Sörbom, 2006). Se realizó un análisis de confiabilidad de Guttman con los reactivos incluidos en la escala de autoeficacia en cómputo, este análisis reporta seis medidas de confiabilidad que representan límites inferiores de la confiabilidad real de la escala (ver Tabla III). El primero es un cálculo inicial que se utiliza en la obtención de los siguientes cinco; Lambda 3 es equivalente al alfa de Cronbach; Lambda 2 es siempre mayor al alfa de Cronbach pero por su cálculo complejo no se ha generalizado su uso; Lambda 5 se utiliza cuando un solo reactivo presenta una alta covarianza con los demás, en dicho caso L5 será mayor a L2; Lambda 6 se interpreta con relación al alfa de Cronbach, cuando L6 es mayor que alfa, como es el caso en el presente estudio, indica la existencia de un factor general (Revelle y Zinbarg, 2009).

Tabla III. Análisis de confiabilidad de Guttman

3.1 Calibración de reactivos

Se utilizó el análisis de Rasch con el modelo de crédito parcial mediante el programa Winsteps (Linacre, 2007) para la calibración de los reactivos y la obtención de un indicador numérico de la escala considerando como rango de ajuste al modelo un INFIT y OUTFIT entre 0.7 y 1.3 (Wright y Linacre, 1994; Herrera, García, Monroy y Pérez, 2009). El modelo de crédito parcial está indicado para el análisis de reactivos politómicos (González-Montesinos, 2008) por lo cual no fue necesario dicotomizar las respuestas de los reactivos.

La calibración de los reactivos indicó que el reactivo Detectar y eliminar virus no ajustaba al modelo (INFIT =.80, OUTFIT =.69) por lo que fue eliminado para los siguientes análisis.

Los nueve reactivos restantes que ajustaron al modelo explicaron un 77.7%, indicando que se cubre un amplio rango de habilidad (individuos) y dificultad (reactivos), y el Alfa de Cronbach fue de .92. En la Figura 1 se observan las curvas características de los reactivos destacando que todos discriminaron de manera aceptable, presentaron una dificultad de baja a media y los reactivos Buscar información en internet y emplear funciones básicas de la hoja de cálculo fueron los que mostraron menor y mayor dificultad, respectivamente.

Figura 1. Curvas características de los reactivos incluidos en la EAEC

En la Figura 2 se observan los mapas conjuntos de personas-reactivos y personas-umbral de opción de respuesta en la EAEC. Se puede observar que la escala tiene un sesgo en la parte superior de la distribución cubriendo hasta los cinco lógitos y aproximadamente un 15% de los sustentantes con autoeficacia alta quedan fuera del alcance de medición de la escala.

3.2 Análisis factorial confirmatorio

Para evaluar la estructura obtenida en la calibración de la escala se realizó un análisis factorial confirmatorio (AFC) dada la naturaleza ordinal de las variables y para mantener los reactivos como politómicos se utilizó el método de mínimos cuadrados ponderados (WLS, por sus siglas en inglés).

Figura 2. Mapa reactivo-persona para la EAEC

En la Figura 3 se observan las saturaciones factoriales de cada reactivo siendo estadísticamente significativas (t>1.96, p<.01). Los índices de bondad de ajuste del modelo se presentan en la Tabla IV, todos con niveles satisfactorios (Cole y Maxwell, 1985; González, 2007; Hu y Bentler, 1995).

Figura 3. Análisis factorial de la EAEC (n=548,756)

Tabla IV. Indicadores de bondad de ajuste para la estructura factorial de la EAEC

3.3 Valor predictivo de la EAEC

Se obtuvieron la correlación y regresión lineal simple del indicador numérico de la EAEC con los puntajes globales del EXANI II y de la sub área de tecnologías de la información y comunicación (ver Tabla V).

Tabla V. Valores estadísticos del análisis de correlación y regresión lineal
de la EAEC y los puntajes del EXANI II

IV. Discusión

Los resultados obtenidos al estudiar las propiedades psicométricas de la EAEC en una muestra de 548,756 sustentantes del EXANI II informaron niveles adecuados de ajuste y confiabilidad.

El análisis de confiabilidad de Guttman informó un rango de confiabilidad alto para la EAEC con un valor máximo de .92, mismo valor del coeficiente que se obtuvo durante la calibración de los reactivos aun cuando se eliminó el reactivo de habilidad para eliminar documentos en la computadora por presentar niveles de ajuste que sugieren determinismo de los datos observados (Wright y Linacre, 1994).

La calibración de los nueve reactivos restantes indicó la unidimensionalidad de la escala y el análisis factorial confirmó el modelo unifactorial presentando coeficientes de bondad de ajuste satisfactorios. A diferencia de la Teoría Clásica que proporciona un índice global de confiabilidad, la Teoría de Respuesta al Ítem permite identificar que el intervalo del continuo de habilidad se mide en forma más precisa. En este estudio la EAEC muestra mayor precisión al evaluar niveles bajos y medios de la autoeficacia en cómputo.

Si bien la escala explica un porcentaje considerable de varianza, contiene en su mayoría reactivos que discriminan entre los sustentantes con una autoeficacia en cómputo de baja a media y muy pocos reactivos para discriminar entre los sustentantes de auto eficacia alta, por lo que incluir un par de reactivos de mayor dificultad (por ejemplo uso de fórmulas en la hoja de cálculo) permitiría cubrir el extremo superior de la distribución.

En acuerdo con lo reportado por otras investigaciones (Jackson et al., 2006; Park, 2008) al analizar la asociación de los indicadores obtenidos con la EAEC los puntajes del EXANI II se encontraron coeficientes de correlación superiores a .30.

A modo de conclusión, la EAEC es una escala de CSE que mide adecuadamente la autoeficacia de los estudiantes en el uso de la computadora y presenta coeficientes de correlación importantes con el desempeño académico. Por lo anterior, los indicadores obtenidos mediante esta escala pueden ser utilizados para la conformación de modelos explicativos del desempeño académico y como criterio adicional a la selección de aspirantes si esto es consistente con las características de ingreso de la institución educativa usuaria del EXANI II.

Referencias

Amorós, P., Buxarrais, M. R. y Casas, F. (2002). La influencia de les tecnologies de la informació i comunicació en la vida dels nois i nois de 12 a 16 anys. Recuperado de http://www.ciimu.org/images/stories/CIIMU/Estudios_e_Investigaciones/7la_influen_de_las_tecno/1influencia_TIC.pdf

Bandura, A. (1977). Self-efficacy: Toward a unifying theory of behavioral change. Psychological Review, 84 (2), 191-215.

Bussière, P. y Gluszynski, T. (2004). The impact of computer use on reading achievement of 15-years-olds. Quebec, Can.: The Learning Policy Directorate, Strategic Policy.

Castells, M. (2001). La galaxia Internet: reflexiones sobre Internet, empresa y sociedad. Barcelona: Areté.

Centro Nacional de Evaluación para la Educación Superior. (2008). Metodología Ceneval. México: Autor.

Centro Nacional de Evaluación para la Educación Superior. (2009). Estructura del cuestionario de contexto para EXANI II 2010 [Documento técnico]. México: Autor.

Centro Nacional de Evaluación para la Educación Superior. (2013). Plan de desarrollo del sistema integral de cuestionarios de contexto. Distrito Federal, México: Autor.

Cole, D. y Maxwell, S. E. (1985). Multitrait-multimethod comparisons across populations: A confirmatory factor analysis approach. Multivariate Behavioral Research, 20(4), 147-167.

Coll, C., Mauri, T. y Onrubia, J. (2008). Análisis de los usos reales de las TIC en contextos educativos formales: una aproximación sociocultural. Revista Electrónica de Investigación Educativa, 10(1), 1-18. Recuperado de http://redie.uabc.mx/vol10no1/contenido-coll2.html

Compeau, D. R. y Higgins, C. A. (1995). Computer self-efficacy: Development of a measure and initial test. MIS Quarterly, 19(2), 189-212.

Corbett, B. A. y Willms, D. (2002). Information and communication technology: Access and use. Education Quarterly Review, 8(4), 8-15. Recuperado de http://www.statcan.gc.ca/pub/81-003-x/81-003-x2001004-eng.pdf

Fertig, M. (2003). Who’s to blame? The determinants of German students’ achievement in PISA 2000 study [Documento 739]. Bonn, Alemania: IZA.

Fetter, M. S. (2009). Graduating nurses’ self-evaluation of information technologies competencies. Research Brief, 48(2), 86-90.

Fuchs, T. y Wöessmann, L. (2004). Computer and students learning: Bivariate and multivariate evidence on the availability and use of computers at home and at school. Recuperado de http://papers.ssrn.com/sol3/papers.cfm?abstract_id=619101

González, J. A. (1999). Tecnología y percepción social evaluar la competencia tecnológica. Estudios sobre las Culturas Contemporáneas, 5(9), 155-165. Recuperado de http://www.redalyc.org/articulo.oa?id=31600908

González, M. J. (2007). Modelamiento de ecuaciones estructurales. Manuscrito inédito.

González-Montesinos, M. J (2008). Análisis de reactivos a través del Modelo de Rasch. Recuperado de http://www.winsteps.com/recursos

Harrison, C., Comber, CH., Fisher, T., Haw, K., Lewin, C., Lunzer, E. et al. (2002). ImpaCT2: The Impact of Information and Communication Technologies on pupils learning and attainment. ICT in schools research and evaluation series No. 7. British Educational Communication and Technology Agency. Recuperado de www.becta.org.uk/research/impact2

Hernández, G. (2009). Las TIC como herramientas para pensar e interpensar: un análisis conceptual y reflexiones sobre su empleo. En F. Díaz-Barriga, G. Hernández y M. A.
Rigo, Aprender y enseñar con TIC en educación superior: contribuciones del socioconstructivismo (pp. 17-62). México: UNAM.

Herrera, M., García, I., Monroy, L. y Pérez, R. (2009). Escalamiento de variables de contexto (Cuaderno Técnico Núm. 7). México: Ceneval.

Hu, L. y Bentler, P. M. (1995). Evaluating model fit. En R. H. Hoyle (Ed.), Structural equation modeling: Concepts, issues and applications (pp. 76-99). California: Sage.

Jackson, L. A., von Eye, A., Biocca, F. A., Barbatsis, G., Zhao, Y. y Fitzgerald, H. E. (2006). Does home Internet use influence the academic performance of low-income children? Developmental Psychology, 42(3), 429-435. Recuperado de http://www.apa.org/pubs/journals/releases/dev-423429.pdf

Johnson, R. D. (2005). An empirical investigation of sources of application specific computer self-efficacy and mediators of the efficacy-performance relationship. International Journal of Human-Computer Studies, 62, 737-758.

Johnson, R. D. y Marakas, G. M. (2000). The role of behavioral modeling in computer skills acquisition: Toward refinement of the model. Information Systems Research, 11 (4), 403-417.

Jöreskog, K. y Sörbom, D. (2006). LISREL 8.80 for Windows [Software de cómputo]. Lincolnwood, ILL: Scientific Software International.

Linacre, J. M. (2007). Winsteps: Rasch measurement (Versión 3.64.2) [Software de cómputo]. Chicago, ILL: Mesa Press.

Mann, D., Shakeshaft C., Becker, J. y Kottkamp, R. (1999). West Virginia story: Achievements gains from a state wide comprehensive instructional technology program. Richmond, VA: West Virginia Department of Education.

Marakas, G. M., Johnson, R. D. y Clay, P. F. (2007). The evolving nature of the computer self-efficacy construct: An empirical investigation of measurement construction, validity, reliability and stability over time. Journal of the Association for Information Systems, 8 (1), 16-46.

Marakas, G. M., Yi, M. Y. y Johnson, R. D. (1998). The multilevel and multifaceted character of computer self-efficacy: Toward clarification of the construct and an integrative framework for research. Information Systems Research, 9(2), 126-163.

Martínez, J. A., León, R. y Reyes, I. (2009). Los usos de la computadora por estudiantes universitarios: conocimiento y dominio. Conferencia presentada en el XXV Simposio Internacional de Computación en la Educación. México: Sociedad Mexicana de Computación en la Educación.

Naval, C., Sábada, C., X. Bringué, B. y Pérez-Alonso, P. (2003). Los lenguajes de las pantallas. Impacto en las relaciones sociales de los jóvenes y retos educativos. XXII Seminario Interuniversitario de Teoría de la Educación: Otros Lenguajes en Educación. Recuperado de http://www.ucm.es/info/site/site22f.html

Organization for Economic Co-operation and Development (2005). Are students ready for a technology-rich world? What PISA study tell us. Recuperado de http://www.oecd.org/document/31/0,3343,en_32252351_32236173_35995743_1_1_1_1,00.html

Park, H. S. (2008). The impact of technology use on hispanic students’ mathematics achievement within family and school contexts: Subgroup analysis between English and non-English-speaking students. Journal of Educational Computing Research, 38(4), 453-468.

Revelle, W. y Zinbarg, R. E. (2009). Coefficients alpha, beta, omega and the glb: comments on Sijtsma. Psychometrika, 74(1), 145-154.

Tremblay, S., Ross, N. y Berthelot, J. M. (2001). Factors affecting grade 2 student performance in Ontario: A multilevel analysis. Education Quarterly Review, 7, 25-36.

Wenglinsky, H. (1998). Does it compute? The relationship between educational technology and student achievement in mathematics. Princeton, NJ: Educational Testing Service.

Wood, R. E. y Bandura, A. (1989). Social cognitive theory of organizational management. Academy of Management Review, 14(3), 361-384.

Wright, B. D. y Linacre, J. M. (1994). Reasonable mean-square fit values. Rasch Measurement Transactions, 8(3), 370. Recuperado de http://www.rasch.org/rmt/rmt83b.htm

Para citar este artículo, le recomendamos el siguiente formato:

Martínez, J. A. y Herrera, M. (2014). Propiedades psicométricas de la escala de cómputo para el EXANI-II. Revista Electrónica de Investigación Educativa, 16(2), 68-80. Recuperado de http://redie.uabc.mx/vol16no2/contenido-mtnez-herrera.html