Traducción y adaptación de pruebas: Lecciones aprendidas y recomendaciones para países participantes en TIMSS, PISA y otras comparaciones internacionales

Autores/as

  • Guillermo Solano-Flores School of Education University of Colorado, Boulder
  • Luis Ángel Contreras Niño Instituto de Investigación y Desarrollo Educativo Universidad Autónoma de Baja California
  • Eduardo Backhoff Escudero Instituto de Investigación y Desarrollo Educativo Universidad Autónoma de Baja California

Palabras clave:

Pruebas de aprovechamiento, pruebas internacionales, traducción de pruebas, TIMSS, PISA.

Resumen

En este artículo presentamos un modelo conceptual y una metodología para la revisión de traducciones de pruebas en el contexto de comparaciones internacionales, como es el caso de TIMSS y PISA. También presentamos resultados de una investigación sobre la calidad de la traducción mexicana de TIMSS-1995 a la lengua española. Identificamos errores de traducción en un porcentaje considerable de los ítems, así como correlaciones relativamente altas entre la severidad de los errores de traducción y los valores p de los ítems. Estos hallazgos indican que nuestro sistema de codificación de errores es altamente sensible a los errores de traducción de pruebas. Los resultados ponen de manifiesto la necesidad de mejores procedimientos para traducir y revisar la traducción de pruebas en comparaciones internacionales. En nuestra opinión, para poder implementar apropiadamente los lineamientos para la traducción de pruebas en comparaciones internacionales, cada país participante debe tener procedimientos internos para la revisión rigurosa de sus propias traducciones. El artículo concluye con cuatro recomendaciones para países participantes en comparaciones internacionales. Dichas recomendaciones tienen que ver con: (a) las características del personal a cargo de traducir instrumentos, (b) la revisión durante del proceso de traducción de pruebas (no simplemente al final del mismo), (c) el tiempo mínimo necesario para que tengan lugar varias iteraciones de revisión de la traducción de las pruebas, y (d) la necesidad de documentar adecuadamente todo el proceso de traducción de pruebas.

Descargas

Los datos de descargas todavía no están disponibles.

Biografía del autor/a

Guillermo Solano-Flores, School of Education University of Colorado, Boulder

Licenciado en Psicología por la Universidad Nacional Autónoma de México. Doctor en Medición Educativa por la Universidad de California, en Santa Barbara (E.U.A). Investigador decano adjunto en el laboratorio West Ed y director del proyecto Validez cultural en la evaluación, auspiciado por la Fundación Nacional para las Ciencias (E.U.A.), el cual examina la influencia de la cultura en la forma en que los estudiantes interpretan y responden a los reactivos de matemáticas y ciencias. En 1995 recibió el "Premio a la Disertación Sobresaliente", otorgado por la Asociación Americana de Psicología, por su trabajo en el desarrollo de la evaluación.

Luis Ángel Contreras Niño, Instituto de Investigación y Desarrollo Educativo Universidad Autónoma de Baja California

Licenciado en Psicología por la Universidad Nacional Autónoma de México y Maestro en Ciencias Educativas por el Instituto de Investigación y Desarrollo Educativo de la UABC, donde actualmente participa como investigador. Ha participado en publicaciones nacionales e internacionales con temas relacionados con la evaluación del aprendizaje, la metodología para evaluar la calidad de las traducciones de las pruebas internacionales, innovación educativa. También participó en el XIII Congreso Mexicano de Psicología en 2005 y en el VIII Congreso Nacional de Investigación Educativa, en el mismo año.

Eduardo Backhoff Escudero, Instituto de Investigación y Desarrollo Educativo Universidad Autónoma de Baja California

Licenciado en Psicología por la UNAM, Maestro en Educación por la Universidad de Washington (Estados Unidos) y Doctor en Educación por la Universidad Autónoma de Aguascalientes (México). Es miembro del Sistema Nacional de Investigadores desde 1990; actualmente tiene el nivel II. Su campo de interés es el desarrollo y validación de pruebas de aprendizaje de gran escala y la evaluación asistida por computadora. Es coautor del Examen de Habilidades y Conocimientos Básicos (EXHCOBA), que se utiliza en varias universidades públicas de México para seleccionar a sus estudiantes, y responsable del desarrollo de los Exámenes de la Calidad y el Logro Educativos (EXCALE), que se utilizan para evaluar la calidad del Sistema Educativo Nacional. Ha participado en múltiplez congresos y publicado textos en el área de la Evaluación Educativa. De 1993 a 2003 fue Director del Instituto de Investigación y Desarrollo Educativo de la Universidad Autónoma de Baja California. De febrero de 2004 a diciembre de 2008 fue Director de Pruebas y Medición del Instituto Nacional para la Evaluación de la Educación (INEE). Desde 2009 es Editor Científico de la Revista Electrónica de Investigación Educativa (REDIE) y pertenece al grupo de especialistas en cuestionarios de contexto de la prueba PISA-2012. Recientemente, coordinó le elaboración del informe nacional Estudio Internacional sobre la enseñanza y el aprendizaje (TALIS): resultados de México.

Referencias

American Educational Research Association, American Psychological Association-National Council on Measurement in Education. (1999). Standards for Educational and Psychological Testing. Washington, DC: Autor.

American Translators Association. (2003). Framework for standard error marking and explanation. Consultado el 10 de octubre de 2003 en: http://www.atanet.org

Backhoff, E. y Solano-Flores, G. (2003). Tercer estudio internacional de matemáticas y ciencias naturales (TIMSS): resultados de México en 1995 y 2000. (Col. Cuadernos de Investigación No. 4). México: Instituto Nacional para la Evaluación de la Educación.

Behling, O. y Law, K. S. (2000). Translating questionnaires and other research instruments: Problems and solutions. Thousand Oaks, CA: Sage.

Ercikan, K. (1998). Translation effects in international assessment. International Journal of Educational Research, 29, 543-553.

Greenfield, P. M. (1997). You can't take it with you: Why ability assessments don't cross cultures. American Psychologist, 52 (10), 1115-1124.

Grisay, A. (2002). Translation and cultural appropriateness of the test and survey material. En R. Adams y M. Wu (Eds.), PISA 2000 Technical Report (pp. 42-54). París: Organisation for Economic Co-operation and Development

Hambleton, R.K. (1994). Guidelines for adapting educational and psychological tests: A progress report. European Journal of Psychological Assessment, 10 (3), 229-244.

Hambleton, R. K. (2005). Issues, designs, and technical guidelines for adapting tests into multiple languages and cultures. En R. K. Hambleton, P. Merenda y C. D. Spielberger (Eds.), Adapting educational and psychological tests for cross-cultural assessment (pp. 3-38). Mahwah, NJ: Erlbaum.

Maxwell, B. (1996). Translation and cultural adaptation of the survey instruments. En M.O. Martin y D.L. Kelly (Eds), Third International Mathematics and Science Studdy (TIMSS) Technical Report, Volume 1: Design and Development. Chestnut HIll, MA: Boston College.

Mullis, I.V.S., Kelly, D.L., y Haley, K. (1996). Translation verification procedures. En M.O. Martin e I.V.S. Mullis (Eds.), Third International Mathematics and Science Study: Quality assurance in data collection. Chestnut Hill, MA: Boston College. Consultado el 10 de octubre de 2003 en: http://timss.bc.edu/timss1995i/TIMSSPDF/QACHP1.PDF

O’Connor, K. M. y Malak, B. (2000). Translation and cultural adaptation of the TIMSS instruments. En M. O. Martin, K. D.Gregory y S. E. Stemler, (Eds.), TIMSS 1999 technical report (pp. 89-100). Chestnut Hill, MA: International Study Center, Boston College.

Solano-Flores, G. (en prensa). Successive test development. En C.R. Reynolds, R.W. Kamphaus y C. DiStefano (Eds.), Encyclopedia of psychological and educational testing: Clinical and psychoeducational applications. New York: Oxford University Press.

Solano-Flores, G. y Backhoff-Escudero, E. (2003). La traducción de pruebas en las comparaciones internacionales: un estudio preliminar (Informe técnico para el Instituto Nacional para la Evaluación de la Educación). México, D.F.: Instituto Nacional para la Evaluación de la Educación.

Solano-Flores, G., Contreras-Niño, L. A. y Backhoff-Escudero, E. (2005, 12-14 de abril). The Mexican translation of TIMSS-95: Test translation lessons from a post-mortem study. Trabajo presentado en la Annual Meeting of the National Council on Measurement in Education. Montreal, Québec, Canadá.

Solano-Flores, G., Contreras-Niño, L. A., Backhoff-Escudero, E. y Andrade, E. (2006). Development and evaluation of software for test translation review sessions. Poster presented at the 5th Conference of the International Test Commission: Psychological and Educational Test Adaptation Across Languages and Cultures: Building Bridges Among People. Brussels, Belgium, July 6-8.

Solano-Flores, G. y Nelson-Barber, S. (2001). On the cultural validity of science assessments. Journal of Research in Science Teaching, 38 (5), 553-573.

Solano-Flores, G. y Trumbull, E. (2003). Examining language in context: The need for new research and practice paradigms in the testing of English-language learners. Educational Researcher, 32 (2), 3-13.

Solano-Flores, G., Trumbull, E. y Nelson-Barber, S. (2002). Concurrent development of dual language assessments: An alternative to translating tests for linguistic minorities. International Journal of Testing, 2 (2), 107-129.

Solano-Flores, G., Trumbull, E., y Kwon, M. (2003, 21-25 de abril). The metrics of linguistic complexity and the metrics of student performance in the testing of English language learners. Symposio presentado en 2003 Annual Meeting de la American Evaluation Research Association. Chicago, IL.

Vijver, F. van de y Hambleton, R. J. (1996). Translating tests: Some practical guidelines. European Psychologist 1, 89-99.

Vijver, F. van de y Poortinga, Y. H. (2005). Conceptual and methodological issues in adapting tests. En R. K. Hambleton, P. Merenda y C. D. Spielberger (Eds.), Adapting educational and psychological tests for cross-cultural assessment (pp. 39-63). Mahwah, NJ: Erlbaum.

Publicado

2006-11-01

Número

Sección

Artículos

Metricas