Methodological Considerations concerning the Assessment of Oral Competency in a Second Language (L2)
Keywords:
Evaluation, Proficiency assessment, Second language learning.Abstract
In this paper we review methodological considerations about the assessment of oral proficiency in a second language. We discuss the characteristics of the construct and its definition, in this case with reference to proficiency, including competence in listening comprehension and oral expression. Also, we review concepts like how to design instruments and/or evaluative techniques for assessing the competencies that are involved, and considerations about reliability, validity and standard setting.Downloads
Download data is not yet available.
References
Alderson, J. y Banerjee, J. (2001). Language testing and assessment (Part I). Language Teaching, 34, 213-236.
Alderson, J. y Banerjee, J. (2002). Language testing and assessment (Part 2). Language Teaching, 35, 79-113.
Bonk, W. y Ockey, G. (2003). A many-facet Rasch analysis of the second language group oral discussion task. Language Testing, 20(1), 89-110.
Bonk, W. J. y Van Moere, A. (2004). L2 group oral testing: the influence of shyness/outgoingness, match of interlocutors’ proficiency level, and gender on individual scores. Documento presentado en el Language Testing Research Colloquium.
Bordón, T. (2007a). La evaluación de la actuación oral en aprendices de EL2 mediante cuadros o escalas de niveles. En E. Balmaseda (Coord). Las destrezas orales en la enseñanza del español L2-LE. (pp. 97-112). Logroño: Asociación del Español como lengua extranjera (ASELE).
Bordón, T. (2007b). La evaluación de la expresión e interacción orales. En B. Montmany y N. Sans (Eds.). XVI encuentro práctico de profesores de ELE (pp.18-23). Barcelona: International House Barcelona y Difusión.
Brindley, G. (1998). Outcomes-based assessment and reporting in language learning programmes: A review of the issues. Language Testing, 15(1), 45-85.
Buck, G. (2001). Assessing listening. Cambridge: Cambridge University Press.
Carey, M. D., Mannell, R. H. y Dunn, P. K. (2011). Does a rater’s familiarity with a candidate’s pronunciation affect the rating in oral proficiency interviews? Language Testing, 28(2), 201-219.
Chapelle, C. (1999). Validity in language assessment. Annual Review of Applied Linguistics, 19, 254-272.
Coniam, D. (1998). Interactive evaluation of listening comprehension: How the context may help. Computer Assisted Language Learning, 11(1), 35–53.
Crystal, D. (1997). A dictionary of linguistics and phonetics. Oxford: Basil Blackwell.
Fernández Álvarez, M. y Sanz Sainz, I. (2005). Metodología para el diseño de una prueba de inglés en selectividad. En H. Herrera Soler y J. García Laborda (Coord.). Estudios y criterios para una selectividad de calidad en el examen de inglés. Valencia: Universidad Politécnica de Valencia.
Figueras, N. (2008). El MCER, más allá de la polémica. Monográficos Marco ELE, 7. Recuperado de http://marcoele.com/descargas/evaluacion/03.figueras.pdf
Fulcher, G. y Reiter, R. M. (2003). Task difficulty in speaking tests. Language Testing, 20(3), 321-344.
Jornet, J. M. y González-Such, J. (2009). Evaluación criterial: determinación de estándares de interpretación (EE) para pruebas de rendimiento educativo. Estudios sobre Educación, 16, 103-123.
Jornet, J. M., González-Such, J. y Suárez, J. M. (2010). Validación de los procesos de validación de estándares de interpretación (EE) para pruebas de rendimiento educativo. Estudios sobre Educación, 19, 11-29.
Jornet, J. M. y González-Such, J. (2010). Métodos de Construcción de Pruebas. Material de aula, Métodos de Investigación y Diagnóstico en Educación. Valencia: Universidad de Valencia.
Jornet, J. M., González-Such, J., Suárez, J. M. y Perales, M. J. (2011). Diseños de procesos de evaluación de competencias: consideraciones acerca de los estándares en el dominio de las competencias. Bordón, 63(1), 125-145.
Kaga, M. (1991). Dictation as a measure of Japanese proficiency. Language Testing, 8(2), 112–24.
Kim, Y. (2009). An investigation into native and non-native teachers’ judgments of oral english performance: A mixed methods approach. Language Testing, 26(2), 187-217.
Kunnan, A.J. (ed.) (1998). Validation in language assessment. Mahwah, NJ: L. Erlbaum.
Lazaraton, A. (1996). Interlocutor support in oral proficiency interviews: the case of CASE. Language Testing, 13, 151–72.
Leech, G. (1983). Principles of pragmatics. Londres: Longman.
Liskin-Gasparro, J. E. (2007). La evaluación de las destrezas orales: Perspectivas norteamericanas. En E. Balmaseda (Coord). Las destrezas orales en la enseñanza del español L2-LE (pp. 19-37). Logroño: Asociación del Español como lengua extranjera (ASELE).
Lynch, B. y McNamara, T. (1998). Using G theory and Many-facet Rasch measurement in the development of performance assessments of the ESL speaking skills of immigrants. Language Testing, 15, 158–80.
Magnusson, D. (1990). Teoría de los tests. México: Trillas
Martín, L. y Ramírez, M. (2007). La evaluación de las destrezas orales en la educación superior: estudio de dos universidades británicas. En E. Balmaseda (Coord). Las destrezas orales en la enseñanza del español L2-LE (pp. 811-822). Logroño: Asociación del Español como lengua extranjera (ASELE).
McNamara, T. F. y Lumley, T. (1997). The effect of interlocutor and assessment mode variables in overseas assessments of speaking skills in occupational settings. Language Testing, 14, 142–51.
Messick, S. (1989). Validity. In R. L. Linn (Ed.), Educational measurement (pp. 13-103). Nueva York: Macmillan.
Messick, S. (1994). The interplay of evidence and consequences in the validation of performance assessments. Educational Researcher, 23(2), 13-23.
Messick, S. (1996). Validity and washback in language testing. Language Testing, 13(3), 241-56.
Ministerio de Educación, Cultura y Deporte (2002). Marco común europeo de referencia para las lenguas: aprendizaje, enseñanza, evaluación. Madrid: Secretaría General Técnica del MECD-Subdirección General de Información y Publicaciones y grupo Anaya.
Muñoz, A. P. y Álvarez, M. E. (2010). Washback of an oral assessment system in the EFL classroom. Language Testing, 27(1), 33-49.
Nunnally, J.C. (1978). Teoría Psicométrica. México: Trillas.
O’Loughlin, K. (2002). The impact of gender in oral proficiency testing. Language Testing, 19, 169-192.
Papageorgiou, S. (2010). Investigating the decision-making process of standard setting participants. Language Testing, 27(2), 261-282.
Pinilla, R. (2007). La competencia estratégica del estudiante de ELE en su producción oral: algunas consideraciones para su evaluación. En E. Balmaseda (Coord). Las destrezas orales en la enseñanza del español L2-LE (pp. 89-96.). Logroño: Asociación del Español como lengua extranjera (ASELE).
Roever, C. (2011). Testing of second language pragmatics: Past and future. Language Testing, 28(4), 463-481.
Scott, M. L., Stansfield, C. W. y Kenyon, D. M. (1996). Examining validity in a performance test: The listening summary translation exam (LSTE). Language Testing, 13, 83-109.
Solano-Flores, G. y Trumbull, E. (2003). Examining language in context: The need for new research and practice paradigms in the testing of english-language learners. Educational Researcher, 32(2), 3-13.
Teasdale, A.; y Leung, C. (2000). Teacher assessment and psychometric theory: A case of paradigm crossing? Language Testing, 17(2), 163-184.
Van Moere, A. (2006). Validity evidence in a university group oral test. Language Testing, 23(4), 411-440.
Wall, D. (2000). The impact of high-stakes testing on teaching and learning: Can this be predicted or controlled? System, 28, 499-509.
Weigle, S. (1998). Using FACETS to model rater training effects. Language Testing, 15, 263–87.
Weir, C.J. (2005). Limitations of the Common European Framework for developing comparable examinations and tests. Language Testing, 22(3), 281-300.
Xi, X. (2010). How do we go about investigating test fairness? Language Testing, 27(2), 147-170.
Young, R. y Milanovic, M. (1992). Discourse validation in oral proficiency interviews. Studies in Second Language Acquisition, 14, 403-24.
Alderson, J. y Banerjee, J. (2002). Language testing and assessment (Part 2). Language Teaching, 35, 79-113.
Bonk, W. y Ockey, G. (2003). A many-facet Rasch analysis of the second language group oral discussion task. Language Testing, 20(1), 89-110.
Bonk, W. J. y Van Moere, A. (2004). L2 group oral testing: the influence of shyness/outgoingness, match of interlocutors’ proficiency level, and gender on individual scores. Documento presentado en el Language Testing Research Colloquium.
Bordón, T. (2007a). La evaluación de la actuación oral en aprendices de EL2 mediante cuadros o escalas de niveles. En E. Balmaseda (Coord). Las destrezas orales en la enseñanza del español L2-LE. (pp. 97-112). Logroño: Asociación del Español como lengua extranjera (ASELE).
Bordón, T. (2007b). La evaluación de la expresión e interacción orales. En B. Montmany y N. Sans (Eds.). XVI encuentro práctico de profesores de ELE (pp.18-23). Barcelona: International House Barcelona y Difusión.
Brindley, G. (1998). Outcomes-based assessment and reporting in language learning programmes: A review of the issues. Language Testing, 15(1), 45-85.
Buck, G. (2001). Assessing listening. Cambridge: Cambridge University Press.
Carey, M. D., Mannell, R. H. y Dunn, P. K. (2011). Does a rater’s familiarity with a candidate’s pronunciation affect the rating in oral proficiency interviews? Language Testing, 28(2), 201-219.
Chapelle, C. (1999). Validity in language assessment. Annual Review of Applied Linguistics, 19, 254-272.
Coniam, D. (1998). Interactive evaluation of listening comprehension: How the context may help. Computer Assisted Language Learning, 11(1), 35–53.
Crystal, D. (1997). A dictionary of linguistics and phonetics. Oxford: Basil Blackwell.
Fernández Álvarez, M. y Sanz Sainz, I. (2005). Metodología para el diseño de una prueba de inglés en selectividad. En H. Herrera Soler y J. García Laborda (Coord.). Estudios y criterios para una selectividad de calidad en el examen de inglés. Valencia: Universidad Politécnica de Valencia.
Figueras, N. (2008). El MCER, más allá de la polémica. Monográficos Marco ELE, 7. Recuperado de http://marcoele.com/descargas/evaluacion/03.figueras.pdf
Fulcher, G. y Reiter, R. M. (2003). Task difficulty in speaking tests. Language Testing, 20(3), 321-344.
Jornet, J. M. y González-Such, J. (2009). Evaluación criterial: determinación de estándares de interpretación (EE) para pruebas de rendimiento educativo. Estudios sobre Educación, 16, 103-123.
Jornet, J. M., González-Such, J. y Suárez, J. M. (2010). Validación de los procesos de validación de estándares de interpretación (EE) para pruebas de rendimiento educativo. Estudios sobre Educación, 19, 11-29.
Jornet, J. M. y González-Such, J. (2010). Métodos de Construcción de Pruebas. Material de aula, Métodos de Investigación y Diagnóstico en Educación. Valencia: Universidad de Valencia.
Jornet, J. M., González-Such, J., Suárez, J. M. y Perales, M. J. (2011). Diseños de procesos de evaluación de competencias: consideraciones acerca de los estándares en el dominio de las competencias. Bordón, 63(1), 125-145.
Kaga, M. (1991). Dictation as a measure of Japanese proficiency. Language Testing, 8(2), 112–24.
Kim, Y. (2009). An investigation into native and non-native teachers’ judgments of oral english performance: A mixed methods approach. Language Testing, 26(2), 187-217.
Kunnan, A.J. (ed.) (1998). Validation in language assessment. Mahwah, NJ: L. Erlbaum.
Lazaraton, A. (1996). Interlocutor support in oral proficiency interviews: the case of CASE. Language Testing, 13, 151–72.
Leech, G. (1983). Principles of pragmatics. Londres: Longman.
Liskin-Gasparro, J. E. (2007). La evaluación de las destrezas orales: Perspectivas norteamericanas. En E. Balmaseda (Coord). Las destrezas orales en la enseñanza del español L2-LE (pp. 19-37). Logroño: Asociación del Español como lengua extranjera (ASELE).
Lynch, B. y McNamara, T. (1998). Using G theory and Many-facet Rasch measurement in the development of performance assessments of the ESL speaking skills of immigrants. Language Testing, 15, 158–80.
Magnusson, D. (1990). Teoría de los tests. México: Trillas
Martín, L. y Ramírez, M. (2007). La evaluación de las destrezas orales en la educación superior: estudio de dos universidades británicas. En E. Balmaseda (Coord). Las destrezas orales en la enseñanza del español L2-LE (pp. 811-822). Logroño: Asociación del Español como lengua extranjera (ASELE).
McNamara, T. F. y Lumley, T. (1997). The effect of interlocutor and assessment mode variables in overseas assessments of speaking skills in occupational settings. Language Testing, 14, 142–51.
Messick, S. (1989). Validity. In R. L. Linn (Ed.), Educational measurement (pp. 13-103). Nueva York: Macmillan.
Messick, S. (1994). The interplay of evidence and consequences in the validation of performance assessments. Educational Researcher, 23(2), 13-23.
Messick, S. (1996). Validity and washback in language testing. Language Testing, 13(3), 241-56.
Ministerio de Educación, Cultura y Deporte (2002). Marco común europeo de referencia para las lenguas: aprendizaje, enseñanza, evaluación. Madrid: Secretaría General Técnica del MECD-Subdirección General de Información y Publicaciones y grupo Anaya.
Muñoz, A. P. y Álvarez, M. E. (2010). Washback of an oral assessment system in the EFL classroom. Language Testing, 27(1), 33-49.
Nunnally, J.C. (1978). Teoría Psicométrica. México: Trillas.
O’Loughlin, K. (2002). The impact of gender in oral proficiency testing. Language Testing, 19, 169-192.
Papageorgiou, S. (2010). Investigating the decision-making process of standard setting participants. Language Testing, 27(2), 261-282.
Pinilla, R. (2007). La competencia estratégica del estudiante de ELE en su producción oral: algunas consideraciones para su evaluación. En E. Balmaseda (Coord). Las destrezas orales en la enseñanza del español L2-LE (pp. 89-96.). Logroño: Asociación del Español como lengua extranjera (ASELE).
Roever, C. (2011). Testing of second language pragmatics: Past and future. Language Testing, 28(4), 463-481.
Scott, M. L., Stansfield, C. W. y Kenyon, D. M. (1996). Examining validity in a performance test: The listening summary translation exam (LSTE). Language Testing, 13, 83-109.
Solano-Flores, G. y Trumbull, E. (2003). Examining language in context: The need for new research and practice paradigms in the testing of english-language learners. Educational Researcher, 32(2), 3-13.
Teasdale, A.; y Leung, C. (2000). Teacher assessment and psychometric theory: A case of paradigm crossing? Language Testing, 17(2), 163-184.
Van Moere, A. (2006). Validity evidence in a university group oral test. Language Testing, 23(4), 411-440.
Wall, D. (2000). The impact of high-stakes testing on teaching and learning: Can this be predicted or controlled? System, 28, 499-509.
Weigle, S. (1998). Using FACETS to model rater training effects. Language Testing, 15, 263–87.
Weir, C.J. (2005). Limitations of the Common European Framework for developing comparable examinations and tests. Language Testing, 22(3), 281-300.
Xi, X. (2010). How do we go about investigating test fairness? Language Testing, 27(2), 147-170.
Young, R. y Milanovic, M. (1992). Discourse validation in oral proficiency interviews. Studies in Second Language Acquisition, 14, 403-24.
Downloads
-
HTML
-
PDFSPANISH 1094
Article abstract page views: 2777
Published
2013-11-27
