Metaevaluación del sistema de evaluación integral de calidad

• Autores: Carmen Pozo Muñoz, Baltasar Fernández Ramírez, Pilar Cantón Andrés, Enrique Rebolloso Pacheco
• Localización: Revista de psicología del trabajo y de las organizaciones = Journal of work and organizational psychology, ISSN 1576-5962, Vol. 17, Nº 1, 2001, págs. 21-44
• Idioma: español
• Enlaces
  • Texto completo (pdf)
• Resumen
  • español

    El presente estudio describe la metaevaluación de un sistema de Evaluación Integral de la Calidad, desarrollado para valorar la calidad de los servicios de administración universitaria. La evaluación sigue un procedimiento activo y participativo, comprometido con los valores de negociación, consenso y responsividad. En consecuencia, la metaevaluación se centra en la perspectiva de los clientes o participantes en el proceso, con el fin de aproximar el marco de la guía EFQM a las necesidades y perspectivas del personal de administración y servicios. En concreto, se utilizan los criterios de comprensión, claridad, relevancia, utilidad y esfuerzo. Las limitaciones muestrales se superan aplicando una combinación de pruebas no paramétricas en el análisis de los datos. Los resultados muestran los niveles de concordancia alcanzados entre evaluadores y participantes, sugieren cierta redundancia entre los criterios de metaevaluación y aconsejan la revisión y mejora de algunos factores de calidad incluidos en la guía original de autoevaluación. Se señala la importancia del contexto y del liderazgo como elementos fundamentales para comprender y mejorar el Servicio que ha sido evaluado, así como la escasa trascendencia de los factores de impacto social y gestión de recursos

  • English

    This paper describes the meta-evaluation of a total quality management evaluation system aimed at rating the quality of college management services. Evaluation follows an active and participative procedure, committed with values such as negotiation, consensus and responsiveness. Hence, meta-evaluation focuses in customer -or participant- view in order to adapt the frame of EFQM guide to the needs and goals of administration and services personnel. Particularly, criteria of understanding, clearness, relevance, utility and effort are used. A combination of non-parametric tests balances sample restrictions. Results show the agreement between assessors and participants and some redundancy in meta-evaluation criteria, and suggest the need of a revision and improvement of a number of quality factors in the original self-evaluation guide. Results emphasize the relevance of context and leadership as key factors for the understanding and improvement of services being assessed. They also show the limited relevance of social impact and resource management factors.

• Referencias bibliográficas
  • Blanco, A. (1998). La coherencia en los compromisos. En I. Martín-Baró, Psicología de la liberación. Madrid: Trotta.
  • Chelimsky, E. (1983). The definition and measurement ofrece evaluation quality as a management tool. New Directions for Program Evaluation,...
  • Chelimsky, E. (1997). The coming transformations in Evaluation. En E. Chelimsky y W. R. Shadish (Eds.). Evaluation for the 21st century. A...
  • Chen, H. T. (1988). Validity in evaluation research: A critical assessment ofrece current issues. Policy and Politics, 16, 1-16.
  • Chen, H. T. (1990). Theory-driven evaluations. Newbury Park, CA: Sage.
  • Choi, T. Y. y Eboch, K. (1998). The TQM paradox: Relations among TQM practices, plant performance, and customer satisfaction. Journal ofrece...
  • Conner, D. G. Altman y C. Jackson (Eds.). Evaluation Studies Review Annual (Vol. 9). (pp. 12-22). Beverly Hills, CA: Sage.
  • Conner, R. F., Altman, D.G. y Jackson, C. (1984). 1984: A brave new world for evaluation. En R.F.
  • Consejo de Universidades (1998). Plan nacional de evaluación de la calidad de las universidades. Madrid: Secretaría General del Consejo de...
  • Cook, T. D. (1984). Opportunities for evaluation in the next few years. En R.F. Conner, D.G. Altman y C. Jackson (Eds.). Evaluation Studies...
  • Cook, T. D. (1984). Opportunities for evaluation in the next few years. En R.F. Conner, D.G. Altman y C. Jackson (Eds.). Evaluation Studies...
  • Cook, T. D. (1997). Lessons learned in evaluation over the past 25 years. En E. Chelimsky y W.R. Shadish (Eds.). Evaluation for the 21st century....
  • Cronbach, L. J. ( 1982). In praised ofrece uncertainty. En P.H. Rossi (Ed.). Standards for evaluation practice (pp. 49-58). San Francisco,...
  • Cronbach, L. J. y asoc. (1980). Toward reform ofrece program evaluation. San Francisco, CA: Jossey-Bass.
  • De Cock, C. y Hipkin, I. (1997). TQM and BPR: Beyond the beyond myth. Journal ofrece Management Studies, 34, 659-675.
  • Deming, W.E. (1986). Japan: Quality control and innovation. Business Week, 2697, 18-44.
  • European Foundation for Quality Management (1996/1997). Premio europeo a la calidad. Madrid: Club de Gestión de la Calidad.
  • European Foundation for Quality Management (1999). Modelo EFQM de excelencia. Madrid: Club de Gestión de la Calidad.
  • Evaluation Research Society (1981). Standards for program evaluation. Potomac, MD: Evaluation Research Society.
  • Fabi, B. y Pons, 0. (1995). Los círculos de calidad: la experiencia internacional. Alta Dirección, 182, 275-282.
  • Fernández Dols, J. M. (1990). Patrones para el diseño de la Psicología social. Madrid: Morata.
  • Glass, G. V. y Ellet, F. S. (1980). Evaluation research. Annual Review ofrece Psychology, 31, 211-228.
  • Guba, E. G. (1967). Evaluation and the process ofrece change. En Notes and worhng papers concerning the administration ofrece programs: Title...
  • Guba, E. G. y Lincoln, Y. S. (1989). Fourth generation evaluation. Newbury Park, CA: Sage.
  • Joint Committee on Standards for Educational Evaluation (1981). Standards for evaluations ofrece educational programs, projects and materials....
  • Joint Committee on Standards for Educational Evaluation (1988). The personnel evaluation standards: How to assess systems for evaluating educators....
  • Kaplan, A. (1964). The conduct ofrece inquiry. San Francisco, CA: Chandler.
  • Lincoln, Y. S. y Cuba, E. G. (1986). But is it rigorous? Trustworthiness and authenticity in naturalistic evaluation. En D.D. Williams (Ed.)....
  • Miller, G. A. (1969). Psychology as a mean ofrece promoting human welfare. American Psychologist, 24, 1063-1075.
  • Ministerio de Administraciones Públicas (1999). Guia de autoevaluación para la administración pública. Madrid: MAP/BOE.
  • Oakland, J. S. (1993). Total quality management. The route to improving performance. Oxford: Butterworth-Heinemann.
  • Patton, M. Q. (1994). Developmental evaluation. Evaluation Practice, 15, 311-320.
  • Patton, M. Q. (1997). Utilization-focused evaluation. Newbury Park, CA: Sage.
  • Peiró, J. M. y González Romá, V. (1993). Círculos de calidad. Madrid: Eudema.
  • Rebolloso, E. (1990). Algunos apuntes sobre la utilidad de la evaluación en el marco de la toma de decisiones políticas. En Actas del III...
  • Rebolloso, E. (1994a). La evaluación del personal profesional: ¿Un modelo de evaluación nuevo o una síntesis de modelos previos? Revista de...
  • Rebolloso, E. (1994b). Los standards de evaluación de la Joint Committee. Su utilidad como guía para la práctica profesional en educación...
  • Rebolloso, E. (1999). La evaluación de la calidad como estrategia de supervivencia y futuro de la universidad. Almería: Universidad de Almería.
  • Rebolloso, E. y Rebolloso, J.R. (1998). Significado y desarrollo actual de la evaluación de programas. En E. Rebolloso (Ed.). Evaluación de...
  • Rebolloso, E., Fernández Ramírez, B., Cantón, P. y Pozo, C. (2000). El papel de la investigación cualitativa en la evaluación de los servicios...
  • Rebolloso, E., Fernández Ramírez, B., Pozo, C. y Cantón, P. (2001). Estrategias de calidad en la Universidad. Guia para la autoevaluación...
  • Rebolloso, E., Fernández Ramírez, B., Pozo, C. y otros (2000). Gestión Integral de la Calidad. Satisfacción de los usuarios y del personal...
  • Rebolloso, E., Fernández Ramúez, B., Pozo, C. y Peñín, R. (1999). Autoevaluación del Servicio de Alumnos -1999. Informe de resultados. Almería:...
  • Rossi, P. H. y Freeman, H. E. (1989). Evaluación. Un enfoque sistemático para programas sociales. México: Trillas.
  • Scriven, M. (1969). An introduction to meta-evaluation. Educational Product Report, 2, 36-38.
  • Scriven, M. (1983). Evaluation ideologies. En G.F. Madaus, M. Seriven y D.L. Stufflebeam (Eds.). Evaluation models (pp. 229-260). Boston,...
  • Scriven, M. (1991). Beyond formative and summative evaluation. En G.W. McLaughlin y D.C. Philips (Eds.). Evaluation and education: At quarter...
  • Scriven, M. (1996). Types ofrece evaluation and types ofrece evaluators. Evaluation Practice, 17, 151-61.
  • Seoane, J. (1996). El escenario postmoderno de la psicología social. En G. Collier, H. L. Minton y G. Reynolds (Autores). Escenarios y tendencias...
  • Shadish, W. R., Cook, T. D. y Leviton, L. C. (1991). Foundations of program evaluation. Newbury Park, CA: Sage.
  • Sonnichsen, R. C. (2000). High impact internal evaluation: A practitioner's guide to evaluating and consulting inside organizations. Thousand...
  • Stake, R. E. (1975). Evaluating the arts in education: A responsive approach. Columbus, OH: Merril.
  • Stufflebeam, D. L. (1975). Metaevaluation. Kalamazoo, MI: Evaluation Center, Western Michigan University.
  • Stufflebeam, D. L. y Shinkfield, A. J. (1987). Evaluación sistemática. Barcelona: Paidós.
  • Trow, M. (1999). Confianza, mercados y rendición de cuentas en la educación superior. Cuadernos IRC, 2, 47-63.
  • VanVught y otros(1993). Gestión de la calidad y garantia de calidad en la enseñanza superior europea: Métodos y mecanismos. Bruselas: Oficina...
  • Weiss, C. H. (1990). Investigación evaluativa. Mexico: Trillas.
  • Westphal, J. D, Gulati, R. y Shortell, S. M. (1997). Customization or conformity? An institutional and network perspective on the content...
  • Ziman, J. (1981). La credibilidad de la ciencia. Madrid: Alianza.