Debilidades de la evaluación de la calidad en la universidad española. Causas, consecuencias y propuestas de mejora

Clemente Rodríguez Sabiote, José Gutiérrez Pérez





Resumen


El proceso de evaluación de la calidad que está viviendo la universidad española desde comienzos de la década de los noventa ha generado avances incuestionables. Sin embargo, se han detectado una serie de debilidades que han afectado el proceso con consecuencias a priori imprevisibles. En este artículo se revisan algunas debilidades, sus posibles causas y consecuencias y se presentan sugerencias para la mejora del proceso de evaluación de la calidad de las instituciones universitarias.

Palabras clave


Evaluación de la calidad en la universidad; indicadores de rendimiento en la universidad.

Referencias


Apodaca, P. (2001). Calidad y evaluación de la educación superior: situación actual y prospectiva. Revista de Investigación Educativa, 19 (2), 367-382.

Apodaca, P. y Grao, J. (1996). Autoevaluación, planificación estratégica y calidad total en la evaluación y mejora de la educación superior. En J. Tejedor y J. Rodríguez (Eds.). Evaluación educativa. II Evaluación Institucional (pp. 90-110). Salamanca: Universidad de Salamanca.

Barnetson, B. (1999). Key performance indicators in higher education. Alberta: Alberta Colleges and Institutes Faculties Association.

Benítez, C. (2002). Los estímulos académicos ¿instrumentos de superación o medios de compensación salarial? [Reseña del libro: La experiencia institucional con los programas de estímulos: La UNAM en el periodo 1990-1996]. Revista Electrónica de Investigación Educativa, 4 (1). Consultado el 5 de agosto de 2002 en: http://redie.ens.uabc.mx/vol4no1/contenido-benitez2.html

Berry, C. (1999). University league tables: artefacts and inconsistencies in individual rankings. Higher Education Review, 31 (3), pp. 3-10.

Bormans, M., Brouwer, R., In´t Veld, R. J. y Mertens, F. J. (1987). The role of performance indicators in improving the dialogue between government and universities. International Journal of Management in Higher Education, 11 (2), 181-194.

Bricall, J. M. (2000, 3 de abril). Si los gobiernos no reforman la universidad, lo harán los mercados. El País, pp. 41-43

Caparrós, J. (2001, 22 de enero). Por una ley de autonomía universitaria. El País. Consultado el 15 de enero de 2002 en:

http://www.elpais.es/suplementos/educa/20010122/01edu22a.html

Cave, M., Hanney, S., Henkel, M. y Kogan, M. (1988). The use of performance indicators in Higher Education: a critical analysis of developing practice. Londres. Jessica-Kingsley.

Coba, E. (2001). La evaluación de la calidad de las universidades. Revista de Investigación Educativa, 19 (2), 383-388.

Creación de la Agencia Nacional de Evaluación de la Calidad y Acreditación de las Universidades. (2002). Comunidad Escolar, 20 (704). Consultado el 12 de enero de 2003 en: http://comunidad-escolar.pntic.mec.es/704/

univer1.html

Conferencia de Rectores de las Universidades Españolas (1997, 17-18 de noviembre). Resultados del grupo de trabajo: Universidad y poderes públicos. Trabajo presentado en el Seminario “Los objetivos de la universidad ante el nuevo siglo”. Consultado el 18 de enero de 2003 en: http://www.crue.org/confsal.htm

Conferencia Mundial sobre la Educación Superior (1998). Declaración mundial sobre la educación superior en el Siglo XXI: Visión y acción. Consultado el 18 de enero de 2003:

http://www.unesco.org/education/educprog/wche/declaration_spa.htm

Consejo de Universidades (1994). Informe final del comité técnico. Programa experimental de la evaluación de la calidad del sistema universitario (Documento No.13). Madrid: Secretaría General.

Cuenin, S. (1987). L’utilisation des indicateurs de performance dans les universités: une enquête internationale. Revue Internationale de Gestion des Établissements de ‘Enseignement Supérieur, 11 (2), 146-169.

De Miguel, M. (1995). Revisión de programas académicos e innovación en la enseñanza superior. Revista de Educación, 306, 427-453.

De Miguel, M. (1997a). La evaluación de los centros educativos. Una aproximación a un enfoque sistémico. Revista de Investigación Educativa, 15 (2), 145-178.

De Miguel, M. (1997b). La evaluación de los centros educativos. En H. Salmerón (Ed.), Evaluación educativa. Teoría, metodología y aplicación en áreas de conocimiento (pp. 151-175). Granada: Grupo Editorial Universitario.

De Miguel, M. (1998). La evaluación del profesorado universitario. Criterios y propuestas para mejorar la función docente. Revista de Educación, 315, 67-83.

De Miguel, M. (1999a). El Plan Nacional de Evaluación de la Calidad de las Universidades. Problemas y alternativas. Revista Interuniversitaria de Formación del Profesorado, 34, 99-114.

De Miguel, M. (1999b). La evaluación de la enseñanza. Propuesta de indicadores para las titulaciones. Manuscrito no publicado.

De Miguel, M. (1999c). La evaluación de programas: entre el conocimiento y el compromiso. Revista de Investigación Educativa, 17 (2), 345-348.

De Miguel, M. (2001). Modelos académicos de evaluación y mejora de la enseñanza superior. Revista de Investigación Educativa, 19 (2), 397-400.

De Miguel, M., Mora, J. G. y Rodríguez, S. (1991). La evaluación de las instituciones universitarias. Madrid: Consejo de Universidades.

De la Orden, A., Asensio, I., Carballo, R., Fernández Díaz, J., Fuentes, A., García Ramos, J.M, et. al. (1997). Desarrollo y validación de un modelo de calidad universitario como base para su evaluación. Revista Electrónica de Investigación y Evaluación Educativa, 3 (1), 1-24. Consultado el día 5 de agosto de 2002 en:

http://www.uv.es/RELIEVE/v3n1/RELIEVEv3n1_2.htm

Dochy, F. J., Segers, M. S. y Wijnen, W. H. (Eds.). (1990a). Management information and performance indicators in higher education: An international issue. Assen, Países Bajos: Van Gorcum.

Dochy, F. J., Segers, M. S. y Wijnen, W. H. (1990b). Selecting performance indicators. En L. C. Goedegebuure, P. A. Maasen y D. I. Westerheijden (Eds.). Peer review and performance indicators (pp.27-45). Utrecht: Uitgeverij Lemma.

Donaldson, J., Staropoli, A., Ottenwaelter, M.O., Thune, C. y Vroeijenstijn, T. (1994). Projects pilots européens pour l´évaluation de la qualité dans l´enseignement supérieur: lignes directrices pour les établissements participants. Bruselas: Comisión de las Comunidades Europeas.

Escudero, T. (1997). Enfoques modélicos y estrategias en la evaluación de los centros educativos. Revista Electrónica de Investigación y Evaluación Educativa, 3 (1), 1-22. Consultado el día 5 de agosto de 2002 en: http://www.uv.es/RELIEVE/v3n1/RELIEVEv3n1_1.htm

Escudero, T. (1999). Los estudiantes como evaluadores de la docencia y de los profesores: nuestra experiencia. Revista Interuniversitaria de Formación del Profesorado, 34, 31-37.

Escudero, T. (2000). Evaluación de centros e instituciones educativas: las perspectivas del evaluador. En D. González, E. Hidalgo y J. Gutiérrez (Coords.), Innovación en la escuela y mejora de la calidad educativa (pp. 57-76). Granada: Grupo Editorial Universitario.

Frackmann, E. (1991). Lecciones que deben aprenderse de una década de discusiones sobre indicadores de rendimiento. En M. de Miguel, G. Mora y S. Rodríguez (Eds.), La evaluación de las instituciones universitarias (pp.399-422). Madrid: Consejo de Universidades.

Frazer, M. (1997). Report on the modalities of external evaluation of higher education in Europe (1995-1997). Higher Education in Europe, 22 (3), 349-401.

García, E. (1992, mayo). Evaluación de la Enseñanza en la Universidad. Trabajo presentado en el simposio de Evaluación de las Reformas Educativas, Madrid.

Grao, J. y Winter, R. (1999). Indicadores para la calidad de los indicadores. En J. Vidal (Coord.), Indicadores en la universidad, información y decisiones (pp. 81-87). Madrid: Consejo de Universidades.

Gurrutxaga, A. (2001, 4 de junio). La reforma universitaria que no queremos. El País. Consultado el 5 de julio de 2001 en:

http://www.elpais.es/suplementos/educa/20010604/aula.html

Gutiérrez, F. (2000, 2 de octubre). Debilidades en la evaluación universitaria. El País, p. 38

House, E. (1993). Professional evaluation. Social impact and political consequences. Londres: Sage.

Harman, G. (1999, primavera). Management of quality assurance. International Higher Education, 15, 8-9. Consultado el 18 de enero de 2003 en:

http://www.bc.edu/bc_org/avp/soe/cihe/newsletter/News15/text5.html

Hüfner, K. y Rau, E. (1987). Measuring performance in higher education: problems and perspectives. Higher Education in Europe, 12 (4), 5-13.

In’t Veld, R. (1990, septiembre). Threats and opportunities for evaluation in higher education. Trabajo presentado en la 10th General Conference of Member Institutions of Progamm on Institutional Management in Higher Education, Paris.

Kells, H. R. (1992). Self-regulation in higher education: a multi-national perspective on collaborative systems of quality assurance and control. Londres. Jessica Kingsley Publishers.

Kirkpatrick, D. W. (2001, 7 de noviembre). Merit pay: Theory and practice. Consultado el 18 de julio de 2002 en:

http://schoolreformers.com/editorials/2001/meritpay.html

Levesque, K., Bradby, D. y Rossi, K. (1996, mayo). Using data for program improvement: how do we encourage schools to do it? Centerfocus, 12, 59-76.

López, P. (1998). Evaluación institucional: hacia un modelo europeo. En F. Michavila (Ed.). Experiencias y consecuencias de la evaluación universitaria (pp. 95-110). Madrid: Fundación Universidad-Empresa.

Maassen, P. A. M. (1987). Quality control in Dutch higher education: Internal versus external evaluation. European Journal of Education, 22 (2), 161-170.

Mateo, J. (2001). La evaluación institucional universitaria. Una nueva cultura de la evaluación en un contexto de cambio. Revista de Investigación Educativa, 19 (2), 641-647.

Menéndez, J. (2001, 16 de julio). Sobre la proyectada reforma de las universidades. ABC, p. 40.

Michavila, F. (2001, 25 de junio). La ley universitaria se ha hecho con la vista en el retrovisor. El País. Consultado el 14 de noviembre de 2001 en:

http://www.elpais.es/suplementos/educa/20010625/42francis.html

Mora, J. G. (1991). Calidad y rendimiento en las instituciones universitarias. Madrid: Consejo de Universidades.

Mora, J. G. (1998). La evaluación institucional de la universidad. Revista de Educación, 315, 29-44.

Mora, J. G. (1999, julio). Indicadores y decisiones en las universidades. Trabajo presentado en el Primer Seminario de Indicadores en la Universidad: información y decisiones, León, España.

Mora, J. G. (2001). El marco español y europeo en las políticas de calidad. Revista de Investigación Educativa, 19 (2), 389-395.

Morrison, H. G., Magennis, S. P. y Carey, L. J. (1995). Performance indicators and league tables: a call for standars. Higher Education Quaterly, 49 (2), 128-145.

Muir, E. (s.f.). Merit pay and pay for performance. Consultado el 18 de julio de 2002 en: http://aft.org//newmembers/K12/merit.html

Neave, G. (1997, septiembre). The evaluative State: the moment of truth from an imagined Spanish perspectives. Trabajo presentado en las jornadas Retos presentes y futuros de la Universidad, IVIE y Consejo de Universidades, Valencia, septiembre de 1997.

Neave. G. y Van Vught, F. A. (1991). Prometheus bound. Oxford: Pergamon.

Osoro, J. M. y Salvador, L. (1994). Criterios y procedimientos para la selección de indicadores de rendimiento en evaluación institucional universitaria. Revista de Investigación Educativa, 23, 279-282.

Pérez García, F. (1998). Causas y consecuencias de la evaluación de las universidades: para qué debe servir. Revista de Educación, 315, 109-124.

Pérez Rubalcaba, A. (1997, septiembre). Ley de Reforma Universitaria, Universidad y poderes públicos. Trabajo presentado en el seminario Objetivos de la Universidad ante el Nuevo Siglo. Consultado el 18 de enero de 2003 en: http://www.crue.org/pperezru.htm

Quintanilla, M. A. (1998). En pos de la calidad: notas sobre una nueva frontera para el sistema sobre el sistema universitario español. Revista de Educación, 315, 85-95.

Raga, J. (1998). Claros y oscuros en el proceso de evaluación de la calidad de las Universidades. En F. Michavila (Ed.). Experiencias y consecuencias de la evaluación universitaria (pp. 111-121). Madrid: Fundación Universidad-Empresa.

Rodríguez , S. (1995). La evaluación de la enseñanza universitaria. En E. Oroval (Ed.). Planificación, evaluación y financiación de los sistemas educativos (pp. 150-175). Barcelona: Civitas.

Rodríguez, S. (1997). La evaluación institucional universitaria. Revista de Investigación Educativa, 15 (2), 179-214.

Rodríguez Gómez , R. (2000). La reforma de la educación superior. Señas del debate internacional a fin del siglo. Revista Electrónica de Investigación educativa, 2 (1). Consultado el 14 de noviembre de 2001 en:

http://redie.ens.uabc.mx/vol2no1contenido-rodgo.html

Segers, M. y Dochy, F. (1996). Quality assurance in higher education: Theoretical considerations and empirical evidence. Studies in Educational Evaluation, 22 (2), 115-137.

Sizer, J., Spee, A. y Bormans, R. (1992). The role of performance indicators in higher education. Higher Education, 24 (2), 133-155.

Shadish, W. R., Cook, T. D. y Levinton, L. C. (1991). Foundations of program evaluation: theories of practice. Newbury Park, CA: Sage.

Tejedor, J. (2000). Evaluación de la calidad de la docencia. En D. González, E. Hidalgo y J. Gutiérrez (Coords.), Innovación en la escuela y mejora de la calidad educativa (pp.21-57). Granada: Grupo Editorial Universitario.

Tognolini, J. (1991, septiembre). Performance indicators in education: some practical problems and issues. En J. Hewton, Performace indicators in education: what can the tell us? Trabajo presentado en Third National Conference, Camberra.

Van Vught, F. (1995). Managament for quality. Paris: Organización para la Cooperación y Desarrollo Económicos.

Van Vught, F. y Westerheijden, D. (1995). Evaluation institutionelle et gestion de la qualité. Ginebra: Programme CRE.

Vicente, J. (2001, 2 de abril). Universidad: primero evaluar; luego aumentar la financiación. El País. Consultado el 18 de enero de 2002 en:

http://www.elpais.es/suplementos/educa/20010402/aula.html

Vidal, J. (2001, noviembre). ¿Cómo se utiliza la información estadística en las Instituciones de Educación Superior en España? Trabajo presentado en el V Encuentro Internacional de Responsables de Información Estadística de las Instituciones de Educación Superior. México, D. F.

Villarreal, E. (1998). La financiación del sistema universitario. En J. M. De Luxán (Ed.). Política y Reforma Universitaria (pp. 159-174). Barcelona: Centro de Estudios de Derecho, Economía y Ciencias Sociales.

Villarreal, E. (1999, junio). La utilización de indicadores de rendimiento en la financiación de la Educación Superior. Trabajo presentado en el Primer Seminario de Indicadores en la Universidad: información y decisiones, León, España.

Vroejenstijn, A.I. (1995). Improvement and accountability: navigating between Scylla and Charybdis. Londres: Jessica Kingsley.

Vroejenstijn, A. I. y Acherman, H. (1990). Control-oriented quality assessment vs improvement-oriented quality assessment. En L. C. Goedegebuure, P. A. Maasen y D. I. Westerheijden (Eds.), Peer review and performance indicators (pp.81-101). Utrecht: Uitjeverij Lemma.

Wagner, A. (1996). Le financement de l’enseignement supérieur: nouvelles méthodes, nouveaux problèmens. Gestion de l’enseignement supérieur, 8 (1), 7-19.

Weert, E. (1990). A macro-analysis of quality assessment in higher education. Higher Education, 19, 57-62.

Westerheijden, D. (1996). Use of quality assessment in Dutch universities. En P. A. M. Maassen y F. Van Vught (Eds.), Inside Academia. New challenges of the academic profession (pp. 269-289). Enschede, Países Bajos: Center for Higher Education Policy Studies.

Williams, G. (1986). The missing bottom line. En G. C. Moodie (Ed.), Standards and criteria in Higher Education (pp. 110-125). Guildford, Reino Unido: Society for Research into Higher Education.

Wyatt, T., Ruby, A., Norton, S., Davies, B. y Shrubb, S. (1989, marzo). Reporting on educational progress: performance indicators in education. Trabajo presentado en Conference of Directors-General of Education, Sidney.