Revista Electrónica de Investigación Educativa

Vol. 19, Núm. 4, 2017

Propiedades psicométricas del TMBS en universitarios

Angélica Garzón Umerenkova (1) agarzonu@gmail.com
Javier Gil Flores (2) jflores@us.es

(1) Universidad del Bosque
(2) Universidad de Sevilla

(Recibido: 5 de abril de 2016; Aceptado para su publicación: 25 de mayo de 2016)

Resumen

Se analizan las características psicométricas de la prueba Time Management Behavior Questionnaire (TMBS), adaptada para el alumnado universitario colombiano. Se exploran: la validez de constructo mediante el modelo Rasch; la validez discriminante frente a una prueba de procrastinación académica, y la validez concurrente con el rendimiento promedio. Se analiza también la confiabilidad, la longitud de la escala y el comportamiento diferencial de los ítems (DIF). La muestra estuvo constituida por 494 universitarios de nueve carreras y dos universidades. Los resultados indican un buen ajuste al modelo Rasch, valores adecuados de confiabilidad, ítems sin funcionamiento diferencial y que las categorías de la escala Likert podrían reducirse de cinco a cuatro. Se obtuvieron asociaciones negativas y significativas con la procrastinación y asociaciones positivas significativas con las calificaciones. En las conclusiones se plantean recomendaciones para el uso de la prueba en el contexto latinoamericano.

Palabras clave: Estudiantes universitarios, psicometría, evaluación.

I. Introducción

La gestión del tiempo académico se define como un elemento de la autorregulación académica (Gray, 2015). Por tanto, esta habilidad está relacionada con factores cognitivos (autoevaluación y automonitoreo) y motivacionales (autoeficacia y creencias de control) propios de la autorregulación académica.

Sin embargo, no existe una definición unificada para este constructo, ya que la gestión del tiempo se ha definido y operacionalizado para fines investigativos de muy variadas formas (Liu, Rijmen, MacCann y Roberts, 2009). En este trabajo se asumirá la definición de Claessens, Van Eerde, Rutte y Roe (2007), quienes tras la revisión de 34 estudios concluyen que la gestión del tiempo se refiere a “conductas que buscan lograr un efectivo uso del tiempo, mientras se ejecutan ciertas actividades dirigidas a una meta” (p. 262).

La investigación en la gestión del tiempo en universitarios indica que: primero, este constructo presenta un valor predictivo en la retención del alumnado superior a variables tradicionales; segundo, se puede evaluar objetivamente con instrumentos psicométricos y, tercero, se puede entrenar efectivamente (Kitsantas, Winsler y Huie, 2008; MacCann, Fogarty y Roberts, 2012; Robbins, Oh, Le y Button, 2009).

Al analizar los factores personales y académicos como predictores del rendimiento académico se encuentran, en orden de importancia: las habilidades de gestión del tiempo, la inteligencia, el tiempo dedicado al estudio, el levantarse temprano, tener computador propio y el menor tiempo dedicado al descanso pasivo (George, Dixon, Stansal, Lund y Pheri, 2008). Olowookere, Alao, Odukoya, Adekeye y Ade’ Agbude (2015) encontraron una asociación positiva entre el buen manejo del tiempo, el desarrollo del carácter y la ejecución académica en universitarios. En revisiones meta-analíticas se confirma una consistente relación negativa entre la procrastinación y el rendimiento académico (Rozental y Carlbring, 2014; Steel, 2007), entendiendo que la procrastinación es lo contrario a un buen manejo del tiempo. Diversas evidencias apuntan a que las habilidades de mejora en el manejo del tiempo y disminución de la procrastinación son alcanzables mediante un entrenamiento sistemático (Nadinloyi, Hajloo, Garamaleki y Sadeghi, 2013; Pehlivan, 2013).

Debido a su relevancia en la predicción de la retención universitaria, hay autores que sugieren que en los comités para la selección de universitarios se debería evaluar esta habilidad como parte de las condiciones de ingreso; igualmente, que profesores y administrativos deben poner especial atención a las habilidades de manejo del tiempo de sus estudiantes, siendo un blanco potencial de intervenciones (Kitsantas et al., 2008; Robbins et al., 2009). Por ello, una parte de la investigación sobre el manejo del tiempo debería dirigirse al incremento de la confiabilidad y validez de las herramientas disponibles, para facilitar la generalización de los resultados empíricos y su comparación con estudios similares en otros momentos, poblaciones o ámbitos (Claessens et al., 2007; Liu et al., 2009).

Sin embargo, la mayoría de los instrumentos de manejo del tiempo de estudio no han sido adaptados al español, ni a poblaciones latinoamericanas. A pesar de que el TMBS es uno de los instrumentos de gestión del tiempo más validados en distintas poblaciones, sólo se tiene constancia de una caracterización psicométrica con estudiantes venezolanos (Durán-Aponte y Pujol, 2013), pero sin ajuste lingüístico previo.

La necesidad de instrumentos de gestión del tiempo de contrastada confiabilidad y validez cobra mayor relevancia dado su potencial como predictor del rendimiento académico. Además, teniendo en cuenta las elevadas tasas de deserción universitaria en la región, entre el 2000 y el 2010 hubo un incremento del 40% en la tasa de universitarios matriculados en América Latina y el Caribe, pero en el 2010 sólo uno de cada diez estudiantes entre 25 a 29 años había completado los cinco años de formación universitaria (UNESCO, 2013).

El objeto del estudio de esta investigación fue realizar un ajuste lingüístico y caracterizar psicométricamente la prueba Time Management Behavior Questionnaire (TMBS) (Macan, 1994; Macan, Shahani, Dipboye y Phillips, 1990) en una muestra de alumnado universitario colombiano. Se pretende obtener un instrumento con indicadores psicométricos de acuerdo al modelo Rasch y con evidencia de validez discriminante y concurrente, usando como criterios la procrastinación académica (medida con la prueba PASS) y las calificaciones, para que eventualmente el TMBS pueda ser usado en la evaluación de la gestión del tiempo en universitarios latinoamericanos de nuevo ingreso.

II. Método

La muestra estuvo constituida por 494 estudiantes universitarios, con edades comprendidas entre los 16 y 46 años (ver tabla I). Se realizó un muestreo por conveniencia teniendo en cuenta, por una parte, el número de participantes necesarios para responder al objetivo del estudio y, por otra parte, dotar a la muestra de un nivel de heterogeneidad (considerando dos universidades, nueve titulaciones y dos jornadas de estudios).

Tabla I. Características sociodemográficas de la muestra

La aplicación de las pruebas fue colectiva en las aulas de Informática, a través de una plataforma web construida para la investigación. Los participantes contaron con tiempo ilimitado y la posibilidad de un período de descanso entre encuestas. Durante la aplicación siempre estuvo presente un investigador.

La TMBS fue creada por Macan et al. (1990), consta de 34 ítems y utiliza una escala de respuesta tipo Likert de cinco puntos: 1 (nunca), 2 (pocas veces), 3 (algunas veces), 4 (habitualmente) y 5 (siempre). La prueba está integrada por cuatro subescalas (Macan, 1994; Macan et al., 1990) que dieron cuenta del 72% de la varianza y la consistencia interna global de la prueba fue de .68.

Se utilizó la traducción al español del TMBS, adaptado con población estudiantil española de la Universidad de Valencia (García-Ros y Pérez-González, 2012). Antes de su aplicación en Colombia, un traductor profesional y dos psicólogos colombianos revisaron la adecuación lingüística. Posteriormente, se aplicó la versión modificada a cinco estudiantes universitarios colombianos, a quienes se les realizó una entrevista semiestructurada en busca de términos confusos o ambiguos desde el punto de vista cultural. Aunque no se consideraron cambios sustanciales, ya que los ítems carecían de expresiones confusas, se modificaron algunas palabras y orden gramatical de poco uso en el contexto colombiano, en aras de la claridad (ver tabla II ).

Tabla II. Cambios del TMBS entre la versión española y colombiana

Para la obtención de evidencia de validez discriminante se utilizó como criterio la prueba Procrastination Assessment Scale for Students (PASS) (Solomon y Rothblum, 1984) que consta de 44 ítems, dos secciones y una escala de respuesta tipo Likert de cinco puntos que va de 1 (nunca) a 5 (siempre). La primera sección, empleada para este estudio, contiene 18 ítems que determinan la frecuencia de la procrastinación y el grado en el cual ésta culmina en ansiedad. Divide la procrastinación por actividades académicas (por ejemplo, preparar un examen o un trabajo) y, a su vez, indaga sobre cuánta molestia o tensión le genera al estudiante el aplazar cada una de estas actividades. La segunda sección indaga sobre las razones para procrastinar y no se empleó en este estudio, ya que no tiene relevancia para la caracterización de la gestión del tiempo.

Para el análisis estadístico se realizó un análisis Rasch con un Modelo de Crédito Parcial, mediante el paquete estadístico Winsteps versión 3.72.3, por medio del cual se estableció: validez de constructo de acuerdo a los parámetros del modelo Rasch (dimensionalidad y ajuste al modelo), confiabilidad, análisis del Funcionamiento Diferencial de los Ítems (DIF), estimación del parámetro b y comprobación de la longitud de la escala Likert.

Los estadísticos de ajuste al modelo son el criterio de medias cuadráticas (MNSQ), se calculan mediante el establecimiento de una expectativa probabilística, acorde a la dificultad de cada ítem y a la habilidad de cada persona (Bond y Fox, 2012). El modelo supone que quienes tienen mayor habilidad responderán correctamente a todos los ítems, mientras que si tienen un nivel bajo de habilidad no responderán ni a los reactivos más fáciles. Se tomaron como indicadores de ajuste valores del infit y outfit entre 0.5 y 1.5 (Bond y Fox, 2012). Valores por arriba de 1.5 indican que el ítem es errático y valores por debajo de 0.5 que el ítem es muy predecible.

Finalmente, para obtener evidencia de la validez discriminante y concurrente del TMBS, se correlacionaron las puntuaciones con el PASS y con el rendimiento académico; esperando que la relación fuera inversa con la prueba PASS y positiva con el rendimiento académico. Los procedimientos descriptivos y correlacionales se realizaron mediante el programa estadístico SPSS versión 21.

III. Resultados

3.1 Ajuste al modelo Rasch

Se identificó que del total de la varianza de las puntuaciones, el 30.4% es explicado por las medidas (atributo) y el 25.7% por los ítems. Las medidas, los ítems y las personas explican más del 40% de la varianza total y al contrastar estos resultados con las estimaciones del infit y outfit de la tabla III (valores MNSQ de todos los ítems comprendidos entre 0.5 y 1.5), indicando una bondad de ajuste al modelo es adecuada. No hay correlaciones negativas entre los ítems y la medida (columna PT-Medida-CORR, en la tabla III), lo que significa una alineación entre la pregunta y las habilidades de la persona.

Tabla III. Estimaciones del infit y outfit para cada uno de los ítems de la TMBS

3.2 Funcionamiento de las categorías

Recordemos que las categorías de respuesta de la prueba son: (1) nunca, (2) pocas veces, (3) algunas veces, (4) habitualmente y (5) siempre. De éstas, cuatro se diferencian a lo largo de las mediciones del atributo (1, 3, 4 y 5), mientras que la categoría 2 (pocas veces) se encuentra dentro del mismo nivel del atributo de la categoría 1 (nunca). Por lo tanto, las categorías 1 y 2 tienden a fundirse en una única. Por otra parte, en relación con el funcionamiento de las cinco categorías en cada uno de los ítems y a lo largo de la medida del atributo, se identificó que 29 ítems mantienen el orden de las categorías, mientras que los ítems 2, 16, 19, 20 y 30 presentan algunas categorías invertidas.

3.3 Confiabilidad

En el modelo de Rasch, la confiabilidad se estima con el error de medida para cada uno de los ítems. Para el TMBS se encontró que el error superior fue de .05 para los ítems: 1, 8, 9, 12, 16 y 35 (ver tabla III columna “Modelo SE”) este resultado indica que las estimaciones del parámetro b tienen una alta confiabilidad. La Función de Información del TMBS tiene su punto más alto en -0.8 logits (unidad de medida del atributo), en donde el TMBS es más confiable.

3.4 Interpretación del mapa ítem-persona

Dado que el TMBS mide comportamientos relacionados con la gestión del tiempo, cada comportamiento descrito en cada ítem representa un nivel determinado de lo que podría denominarse gestión del tiempo. De este modo los ítems 12, 16, 20 y 25, son los comportamientos del TMBS que denotan mayor gestión del tiempo, mientras que los ítems 34, 1 y 8 corresponden a comportamientos que también están relacionados con la gestión del tiempo, pero en menor grado (figura 1).

Figura 1. Mapa Wright de personas e ítems para la gestión del tiempo

Nota: A la derecha se presenta la distribución de los ítems y a la izquierda la de personas; abajo los ítems más fáciles y arriba los más difíciles. Desde el modelo, se espera una distribución normal en las personas y una correspondencia entre los ítems y las personas de aproximadamente un 70%.

3.5 Análisis DIF

Se realizó un análisis de Funcionamiento Diferencial del Ítem (DIF) respecto al sexo, jornada y semestre al que pertenecía cada estudiante. Existe DIF cuando un grupo de personas evaluadas aunque tengan el mismo nivel de la variable medida, en este caso habilidades en la gestión del tiempo, no tienen la misma probabilidad de acertar la respuesta a un ítem. Sin embargo, la existencia del DIF no implica necesariamente un sesgo en el ítem (Wright y Stone, 1999). Los resultados evidenciaron que ningún ítem presentaba DIF, pero al realizar la corrección de Bonferroni al método empleado (comparación del parámetro b), se identificaron cuatro ítems (3, 12, 14 y 26) que funcionan de forma diferencial entre hombres y mujeres, en beneficio de las mujeres. Sin embargo, no hay suficiente evidencia para demostrar la existencia de sesgo que justifique su eliminación.

3.6 AFE y evidencia de validez

Considerando las recomendaciones de Tennant y Pallant (2006) respecto a la comprobación de la multidimensionalidad cuando se realiza un análisis Rasch y teniendo en cuenta que la prueba original reporta cuatro subescalas, se procedió a realizar un Análisis Factorial Exploratorio (AFE).

Se aplicó la prueba de esfericidad de Bartlett con un resultado de Chi-cuadrado 4332.918 p<0.001, y la medida de Kaiser-Meyer-Olkin con un resultado de (0.87), siendo adecuados para el AFE. El análisis se realizó mediante Componentes Principales, con rotación varimax y para la extracción del número de factores se consideraron el test de Scree, la interpretabilidad de las estructuras resultantes (Gorsuch, 1983) y el criterio de Kaiser (valores propios por encima de 1). Se generó una estructura de cuatro factores que explican el 39.9% de la varianza. Los resultados en Colombia señalan una composición distinta de los factores frente a la prueba original, con algunos movimientos de ítems de uno a otro factor (ver tabla IV); similares a otros estudios con la prueba fuera del ámbito anglosajón.

Tabla IV. Descriptivos y alfa de Cronbach para el TMBS y las subescalas

Nota. En la primera columna, frente al nombre de cada subescala se presenta el número de cada uno de los ítems que la componen y la proporción de la varianza total explicada, de acuerdo al resultado del AFE.

Igualmente, se obtuvieron las correlaciones entre los factores resultantes del TMBS contra el PASS y el rendimiento académico. Entre el PASS y TMBS se obtuvieron correlaciones inversas significativas al 0.01 en todas las asociaciones, con valores entre bajos y moderados (ver tabla V). Los resultados indican que el rendimiento promedio tiene una asociación positiva y significativa con la puntuación total en el TMBS y tres de las subescalas.

Tabla V. Correlaciones de las puntuaciones TMBS (general y en las subescalas) con la frecuencia de procrastinación y el rendimiento académico

IV. Conclusiones

Desde el punto de vista de los autores, el análisis Rasch ofrece una visión más amplia sobre el comportamiento psicométrico de los ítems en comparación a una análisis con Teoría Clásica de los Test. Para el TMBS se encontró un buen ajuste general de los ítems y categorías al modelo Rasch, sin embargo, se hallaron algunos resultados relevantes a considerar de los que no se tenían referencias previas en la literatura sobre el TMBS:

1. Tener en cuenta la posibilidad de reducir la escala Likert usada en la prueba, de 5 a 4 valores.
2. Debido a que los 34 ítems que conforman la prueba son muy precisos en el nivel medio de la escala, pero menos precisos en las puntuaciones extremas, convendría estudiar la adición de nuevos ítems para medir con mayor precisión la gestión del tiempo de personas que se encuentran, ya sea en los niveles bajos o altos de la escala.
3. Revisar el comportamiento psicométrico de los ítems 2, 16, 19, 20 y 30 debido a que presentan algunas categorías invertidas, cuyo funcionamiento errático podría estar influenciado por su naturaleza inversa.
4. Analizar hasta qué punto el funcionamiento errático de estos ítems podrían explicar algunas dificultades relacionadas con las subescalas de Preferencias por la desorganización o Percepción del control del tiempo, a las que pertenecen.
5. Evaluar si existe sesgo en el comportamiento de los ítems 3, 12, 14 y 26, cuyos resultados indican un funcionamiento diferencial entre hombres y mujeres.

En cuanto a las subescalas que componen la prueba, los resultados indican que es recomendable seguir investigando el contenido y caracterización psicométrica de las subescalas Percepción del control del tiempo y Preferencias por la desorganización, ya que presentan algunos ítems ambiguos o poco discriminativos que tienden a variar de colocación de acuerdo a la muestra empleada, además de presentar dificultades en su consistencia interna. En concreto, para población colombiana, las subescala Preferencias por la desorganización está compuesta exactamente por los mismos ítems de la prueba original, sin embargo, obtuvo un alfa de Cronbach deficiente (.46); al igual que en el estudio de validación en Venezuela (Durán-Aponte y Pujol, 2013) (.63) a pesar de la incorporación, en este caso, de dos ítems de la subescala de Percepción. Mientras el estudio en España, a pesar de la eliminación de tres ítems, esta subescala obtiene una consistencia aceptable (.72).

Por otra parte, incluso en algunas adaptaciones realizadas en otros contextos, no se ha empleado la subescala de “Percepción del control del tiempo” (ver por ejemplo, Adams y Jex, 1997; Azar y Zafer, 2013).

En cuanto a la evidencia de validez del TMBS, los análisis muestran que a mayor habilidad en gestión del tiempo menor frecuencia de procrastinación. Igualmente, se encontró una asociación positiva pequeña entre la gestión del tiempo y el rendimiento académico. Este resultado abre la perspectiva del empleo de la versión en español del TMBS para la detección temprana de problemas de manejo del tiempo, en el contexto del desarrollo y ejecución de programas preventivos de la deserción universitaria.

Se recomienda el uso de la prueba en su calificación completa (los 34 ítems) y en caso de que se quieran obtener calificaciones de sus dimensiones sólo tener en cuenta las subescalas “Fijar metas, Herramientas y Percepción”.

En cuanto a las limitaciones del estudio realizado, convendría investigar el TMBS en otros semestres y programas universitarios, además de explorar sus características psicométricas para otras poblaciones de América Latina y el Caribe. Para futuros estudios también sería de interés identificar variables moderadoras asociadas a la gestión del tiempo y su efecto sobre el rendimiento académico. La identificación de estas variables puede ayudar a describir las relaciones estructurales que pueden darse entre diversos factores y ser de utilidad para caracterizar “perfiles de riesgo” entre el alumnado, que permita la creación de programas preventivos de la deserción académica universitaria.

Referencias

Adams, G. A. y Jex, S. M. (1997). Confirmatory factor analysis of the time management behavior scale. Psychological Reports, 80(1), 225-226.

Azar, S. y Zafer, S. (2013). Confirmatory factor analysis of time management behavior scale: evidence from Pakistan. Interdisciplinary Journal of Contemporary Research in Business, 4(12), 946-959.

Bond, T. y Fox, C. (2012). Applying the Rasch model: fundamental measurement in the Human Sciences. Nueva York: Routledge.

Claessens, B., Van Eerde, V., Rutte, Ch. y Roe, R. (2007). A review of the time management literature. Personnel Review, 36(2), 255-276.

Durán-Aponte, E. y Pujol, L. (2013). Manejo del tiempo académico en jóvenes que inician estudios en la Universidad Simón Bolívar. Revista Latinoamericana de Ciencias Sociales, Niñez y Juventud, 11(1), 93-108.

García-Ros, R. y Pérez-González, F. (2012). Spanish version of the Time Management Behavior Questionnaire for university students. The Spanish Journal of Psychology, 15(3), 1485-1494.

George, D., Dixon, S., Stansal, E., Lund, S. y Pheri, T. (2008). Time diary and questionnaire assessment of factors associated with academic and personal success among university undergraduates. Journal of American College Health, 56(6), 706-715.

Gorsuch, R. (1983). Factor analysis. Hillsdale, NJ: Erlbaum.

Gray, L. E. (2015). Exploring time management as a construct of selfregulated learning in first-year college students taking online classes. Tesis doctoral, University of the West Indies.

Kitsantas, A., Winsler, A. y Huie, F. (2008). Self-regulation and ability predictors of academic success during college: a predictive validity study. Journal of Advanced Academics, 20(1), 42-68.

Liu, L., Rijmen, F., MacCann, C. y Roberts, R. (2009). The assessment of time management in middle-school students. Personality and Ind. Differences, 47, 174-179.

Macan, Th., Shahani, C., Dipboye, R. L. y Phillips, A. P. (1990). College students’ time management: correlations with academic performance and stress. Journal of Educational Psychology, 82(4), 760-768.

Macan, Th. (1994). Time Management: Test of a process model. Journal of Applied Psychology, 79(3), 381-391.

MacCann, C., Fogarty, G. J. y Roberts, R. D. (2012). Strategies for success in education: Time management is more important for part-time than full-time community college students. Learning and Individual Differences, 22(5), 618-623.

Nadinloyi, K. B., Hajloo, N., Garamaleki, N. S., y Sadeghi, H. (2013). The study efficacy of time management training on increase academic time management of students. Procedia-Social and Behavioral Sciences, 84, 134-138.

Olowookere, E., Alao, A., Odukoya, J., Adekeye, O. y Ade’ Agbude, G. (2015). Time management practices, character development and academic performance among university undergraduates. Creative Education, 6, 79-86. doi: 10.4236/ce.2015.61007

Pehlivan, A. (2013) The effect of the time management skills of students taking financial accounting course on their course grades and grade point averages. International Journal of Business and Social Science, 4(5), 196-199.

Robbins, S., Oh, I., Le, H. y Button, C. (2009). Intervention effects on college performance and retention as mediated by motivational, emotional, and social control factors: integrated meta-analytic path analyses. Journal of Applied Psychology, 94(5),1163-1184.

Rozental, A. y Carlbring, P. (2014). Understanding and treating procrastination: a review of a common self-regulatory failure. Psychology, 5(13), 1488-1502.

Solomon, L. y Rothblum, E. (1984). Academic procrastination: frequency and cognitive-behavioral correlates. Journal of Couseling Psychology, 31(4), 503-509.

Steel, P. (2007). The nature of procrastination: A meta-analytic and theoretical review of quintessential self-regulatory failure. Psychological Bulletin, 133(1), 65-94.

UNESCO (2013). Situación educativa de América Latina y el Caribe: Hacia la educación de calidad para todos. Oficina Regional de para América Latina y el Caribe. Santiago de Chile: Autor. Recuperado de http://www.unesco.org/new/fileadmin/MULTIMEDIA/FIELD/Santiago/images/SITIED-espanol.pdf

Tennant , A. y Pallant , J. (2006). Unidimensionality matters! (A tale of two Smiths?). Rasch Measurement Transactions, 20(1), 1048-1051.

Wright, B. y Stone, M. (1999). Measurement essentials. Wilmington: Wide Range.