Capítulo 2
Calidad y aseguramiento de la calidad
 |
L as cuestiones de calidad y aseguramiento de la calidad adquieren cada vez más importancia en el sector de la educación superior. La finalidad de este capítulo es plantear una introducción al significado de esos conceptos complejos, analizar los diferentes enfoques para evaluar la calidad, e identificar algunas de las tendencias y preocupaciones mundiales relacionadas con el aseguramiento de la calidad y la educación superior.
La creciente preocupación por la calidad
Muchos gobiernos consideran que el progreso de la sociedad radica en tener una cifra prominente de personas con educación de alto nivel. Por consiguiente, asignan un sustancial porcentaje del erario público a la educación superior, con miras a que un mayor número de estudiantes tenga acceso a diplomados, y a cursos de licenciatura y posgrado. Aparejado a la asignación de fondos está el interés gubernamental por garantizar tres consideraciones: primera, ¿los planes y organización de las instituciones de educación superior están encaminados a producir los egresados que requiere la sociedad? (por ejemplo, ¿son adecuados sus objetivos?). Segunda: ¿se emplean bien los fondos? (por ejemplo, ¿están operando con eficiencia las instituciones de educación superior?). Tercera: ¿están produciendo los egresados deseados? (por ejemplo, ¿funcionan adecuadamente?). Estas preocupaciones dan lugar a nuevas interpretaciones del concepto de calidad. Tradicionalmente, la palabra calidad se asociaba con los conceptos de excelencia o desempeño sobresaliente. En los últimos años mucho se ha escrito acerca de la evolución del significado de "calidad" en la educación superior y se han sugerido muchas definiciones (Harvey y Green, 1993), pero la más aceptada hoy día es "idoneidad con los fines". Esto permite que los fines institucionales queden definidos dentro del marco de los objetivos y principios, de modo que la "calidad" queda demostrada al lograrlos. Esta definición también permite que haya variabilidad en las instituciones, en vez de forzarlas a ser clones entre sí. Esto, al menos en la teoría, porque el logro depende también de la cultura de que se trate. Por ejemplo, los sistemas basados en el modelo estadounidense tienden a adaptarse bien a las diferentes instituciones de educación superior; en cambio, los sistemas británicos suelen tener políticas tendientes a reducir la variabilidad. Dichas preocupaciones también repercuten en el incremento de las actividades externas a las instituciones de educación superior, las cuales podrían denominarse revisión externa de la calidad (EQR), y en el establecimiento de dependencias EQR, cuyas funciones son: vigilar que las instituciones de educación superior se responsabilicen de los recursos que se les asignan, dar testimonio independiente de la calidad que consiguen y apoyarlas a elevar su nivel de calidad. Es probable que la EQR se relacione con las necesidades nacionales, regionales o sectoriales, pero en el fondo es una cuestión institucional. Los objetivos específicos de la EQR antes mencionados son inherentes a las diferentes razones en los distintos lugares. Como categorización generalizada, en los Estados Unidos la EQR (acreditación) fue establecida por las propias instituciones a fin de brindar respuesta fundamentada a la transferencia de estudiantes y a la admisión a programas de posgrado en un país de tal diversidad. En Europa occidental, hasta hace poco, los gobiernos optaban por la microadministración en las instituciones de educación superior; sin embargo, ahora se deslindan a cambio de que las instituciones se sometan al régimen EQR. En el Reino Unido sucede lo contrario, pues las instituciones muy independientes han estado sujetas a múltiples regímenes de EQR. En Europa oriental, Sudamérica y, hasta cierto punto, en África, fue preciso intensificar la acción de la EQR para afrontar al proliferante sector privado; y en Asia, la EQR está implantando cierto orden en los extendidos sistemas de educación superior. Las actitudes institucionales ante el régimen de EQR dependen no sólo del régimen en sí, sino también de lo que lo precedió (por ejemplo, si es más o menos riguroso que los controles externos anteriores) y del contexto cultural. La frase aseguramiento de la calidad se refiere a las políticas, actitudes, acciones y procedimientos necesarios para asegurar que se mantendrá y elevará la calidad. Es probable que incluya uno o más de los enfoques que se abordarán en la siguiente sección. El aseguramiento de la calidad se emplea a veces en un sentido más estricto, ya sea para denotar el logro de un estándar mínimo o para garantizar a los grupos involucrados que se está logrando la calidad (por ejemplo, la responsabilidad). Enfoques sobre la calidad
Los diferentes sistemas educativos y las distintas etapas de madurez de las instituciones y sistemas implican que las dependencias de EQR apliquen diversos enfoques según el país de que se trate. Algunos sistemas usan más de un enfoque, ya sea aplicado por una misma dependencia o por otras distintas.
Auditoría
Es una revisión de las exigencias implícitas o explícitas de una organización sobre sí misma. Cuando una institución fija sus objetivos, implícitamente está afirmando lo que hará y la auditoría de calidad verifica el grado en que alcanza dichos objetivos. Cuando las exigencias son explícitas (como en los informes financieros o si la institución realizó una auditoría de calidad interna), la auditoría se convierte en una validación (o algo semejante) de esas exigencias. La auditoría cuestiona la eficacia de los procesos (por ejemplo, para alcanzar los objetivos). Su resultado describe el grado de precisión de las exigencias. Una auditoría a veces recibe el nombre de revisión. El ISO (Standards New Zealand, 1994) define la auditoría de calidad
como un proceso tripartita que verifica: 1) lo idóneo de los procedimientos
de calidad frente a los objetivos propuestos; 2) la congruencia entre las
actividades actuales de calidad y los planes; y 3) la eficacia de las actividades
para lograr los objetivos. Es decir, la auditoría de calidad se apega a la curva
del siguiente esquema:
Pueden distinguirse las siguientes variantes:
- Auditoría directa: La dependencia de EQR investiga si funcionan los procesos institucionales. En teoría, las instituciones de educación superior no requieren presentar ninguna documentación especial. - Auditoría de validación: La institución revisa sus propios procesos (como debe hacerlo de tanto en tanto) e informa los resultados en un documento específico. Al determinar si el resultado es válido, será inevitable que la dependencia de EQR efectúe una auditoría directa, por ejemplo, revisar si los procesos funcionan. - Meta-auditoría: La institución tiene procesos para garantizar la calidad y para verificar su eficacia. La dependencia de EQR investiga estos últimos. En teoría no se requiere ninguna documentación especial.
Evaluación
La evaluación es una valoración que da como resultado un grado, sea numérico (un porcentaje o una escala más corta como de 1 a 4), literal (A a la F) o descriptivo (excelente, bueno, satisfactorio, insatisfactorio). El espectro de gradación puede o no tener un límite de aprobación/reprobación (o simplemente una escala de dos puntos). La evaluación determina qué tan adecuados son los resultados a partir del grado que se obtiene. Una evaluación también suele llamarse valoración. La definición de la evaluación depende del significado del término "adecuado". Más que tratar de elegir entre las muchas definiciones, es más útil saber quién tiene la responsabilidad y autoridad para definir dicho término. Pueden ser:
- La institución/departamento, etc. - La dependencia de EQR, con la misma definición para todas las instituciones/programas, etc. - La dependencia de EQR con definiciones variables.
Estas posibilidades no son tan diferentes como parecería a primera vista. Por ejemplo, si una dependencia de EQR define como adecuada a cada institución que consigue sus objetivos, la definición encaja en las tres categorías. La diferencia primordial entre auditoría y evaluación radica en sus
resultados: sus procesos son los mismos en el sentido en que ambas investigan el logro de los objetivos (La naturaleza de la investigación dependería de
la naturaleza de los objetivos).
Acreditación
La acreditación es una valoración que indica si una institución alcanza un estatus determinado. El estatus puede tener implicaciones para la institución misma (licencia de operación) y/o sus estudiantes (elegibilidad para becas). A partir de la acreditación, se decide si la institución es adecuada (en diversos sentidos) y, por ende, debe recibir aprobación, es decir, debe ser "aprobada" o admitida en una categoría determinada. En teoría, el resultado de una acreditación es una decisión
afirmativa/negativa o aprobación/reprobación, pero son posibles las gradaciones,
por lo general en el contexto de una fase transitoria (hacia la aprobación o
reprobación). De este modo, el resultado tanto de la evaluación como de
la acreditación pueden ser varias calificaciones en una escala lineal. La
acreditación también recibe el nombre de licencia o registro. Estas dos actividades tienen diferentes objetivos, pero resultados semejantes. La acreditación especializada o profesional es una valoración sobre el grado de preparación que reciben los egresados para el empleo en un ámbito específico (como Derecho o Medicina). Los tres conceptos pueden compararse conforme a una secuencia natural de revisión de cinco puntos:
 Pese a que las definiciones hacen una distinción entre los tres conceptos (auditoría, evaluación y acreditación), existen interpretaciones que sostienen su posible coincidencia. Tras una auditoría que haya determinado el grado de validez de las exigencias de la institución, dicho grado puede indicarse mediante un porcentaje, que convierte a la auditoría en una evaluación como se definió anteriormente. Pero, si la calificación para un determinado estatus se define conforme a los logros de por lo menos cierto porcentaje de una de las exigencias, entonces la auditoría habrá sido también una acreditación. Todos estos procesos pueden ser realizados por la institución o por un órgano externo, pero la autoevaluación y la autoacreditación, en general, no gozan de credibilidad. Sin embargo, al igual que con la auditoría, en principio una institución puede autoevaluarse o autoacreditarse, de modo que el proceso externo se convierta en una auditoría de validación (o impugnación) a partir de las conclusiones de la institución. De nuevo, hay una situación en que los tres conceptos se fusionan o entremezclan. Cualquier intento por obtener una definición precisa es confuso debido a que la mayoría de estos términos se emplea también genéricamente para referirse a cualquier proceso de revisión o valoración. Bien sea por debajo o por encima del umbral de la acreditación, en lo que a responsabilidad se refiere el mejoramiento es una cuestión distinta, y muchos opinan que ambas funciones son incompatibles y que no pueden ser realizadas por la misma dependencia de EQR. Sin embargo, están tan estrechamente vinculadas que resulta más sensato que la misma dependencia las maneje juntas en vez de que las separe. Asimismo, al verificar el logro del umbral, un acreditador enriquece su experiencia respecto a lo que es eficaz y adecuado, y puede colaborar a que las instituciones mejoren ya sea para alcanzar o superar el nivel del umbral. Sin embargo, el mejoramiento de la calidad no requiere de los mismos métodos de investigación que la acreditación, la auditoría o la evaluación. Gran parte de la revisión externa de la calidad se basa en una inspección, aunque quizá no sea el mejor enfoque para combinar el mejoramiento de la calidad o las consideraciones estratégicas con la visita de acreditación en la que se define la responsabilidad. Otras posibilidades incluyen:
Tendencias y problemas
Dada la tendencia hacia sistemas semejantes y la coincidencia de intereses sobre el desempeño de las instituciones de educación superior, no sorprende que existan en distintos países diversos eslabones comunes en cuanto a los métodos para abordar esas preocupaciones, y que surjan problemas similares de manera independiente (Woodhouse, 1996).
Aspectos internacionales
Hace 15 años, había apenas unas cuantas dependencias de EQR fuera de los Estados Unidos. En esa época, este país comenzó a interesarse en la calidad de sus operaciones institucionales más allá de sus fronteras, y las dependencias de acreditación regional enviaron equipos al extranjero para realizar las acreditaciones. Desafortunadamente, aunque los diversos acreditadores regionales utilizan factores similares, sus enfoques son tan diferentes que la calidad y eficacia del proceso quedan en tela de duda. Una institución que ofrece programas de instituciones estadounidenses en tres regiones está sujeta a tres procedimientos de acreditación estadounidenses ligeramente distintos. Hace algunos años, el Reino Unido comenzó a interesarse también por las actividades de sus instituciones en el extranjero y ahora envía equipos para auditarlas. Los programas de auditoría y acreditación que se ofrecen en el extranjero siempre son problemáticos, no sólo desde el punto de vista logístico sino filosófico. En los Estados Unidos, el Center for Quality Assurance in International Education se fundó en 1991 para abordar algunas de las preocupaciones referentes a la educación internacional estadounidense. El acelerado aumento en la cifra de dependencias de EQR en todo el mundo durante los últimos diez años provocó un nuevo problema: si una institución en un país A ofrece programas en un país B, ¿deben estar estos programas sujetos a las normas de calidad externa del país A, del B o de ambos? En 1995, se fundó una organización internacional llamada Global Alliance for Transnational Education (GATE), cuyo objetivo es garantizar que los problemas de calidad no se pasen por alto cuando la educación cruza los límites nacionales, y proporcionar a las instituciones un mecanismo de certificación de calidad independiente que les evite tener que sujetarse a múltiples procesos de revisión. Otro enfoque para evitar una revisión múltiple es proporcionar un mecanismo de reconocimiento mutuo del trabajo que realizan las dependencias de aseguramiento de calidad, y éste es precisamente el proyecto actual de la International Network of Quality Assurance Agencies in Higher Education.
Comparación internacional
Las consideraciones económicas representadas por los bloques comerciales y asociaciones profesionales repercuten cada vez más en los intereses y desarrollo en este renglón. En Europa, por ejemplo, se ha convertido en un asunto de grandes proporciones. Pese a que en las declaraciones iniciales de la Comunidad Europea, la educación no se abordó a fondo, los convenios de movilidad por Europa tienen consecuencias incuestionables para el reconocimiento mutuo de egresados, programas, etcétera, al igual que convenios como el GATS (General Agreement on Trade in Services). Los programas de desplazamiento de estudiantes, como el ERASMUS, son populares y funcionan bastante bien; varias asociaciones profesionales están La cuestión de los estándares está estrechamente relacionada tanto con la comparación internacional como con la calidad. ¿Tienen los egresados de un país el mismo estándar que los de otro? Esto ha sido un impedimento en muchos sistemas. Los consejos encargados de evaluar las asignaciones en el Reino Unido intentaron evaluar la calidad de la enseñanza tomando en cuenta estándares absolutos, y acabaron por hacerlo con relación a los objetivos de cada departamento, pero interponiendo un factor de excelencia subjetivo. Al Higher Education Quality Council del Reino Unido (HEQC) se le solicitó que revisara la calidad y estándares de los procedimientos institucionales, pero pasaron varios años para que abordaran estos últimos. Luego se aventuraron en un amplio proyecto (Proyecto de estándares de egresados) para investigar la concepción y comprensión general de los estándares, y explorar las posibilidades de establecerlos de manera más explícita y con mayor certeza de alcanzarlos (HEQC, 1997). Las conclusiones preliminares son que los estándares académicos no existen objetivamente pero que es posible establecerlos en niveles de umbral mínimos. Sin embargo, esto sería costoso y de escaso valor temporal, dado que los estándares se modifican con el tiempo. Pese a ello, la Quality Assurance Agency (QAA, sucesora de la HEQC) sigue con el dedo en el renglón (QAA, 1998).
Autonomía
La calidad es responsabilidad de cada institución, y se espera que éstas sean responsables de ofrecerla. Desafortunadamente, a menudo se confunden autonomía institucional y libertad académica, de tal manera que ambas se vuelven excusas de la sordera institucional ante la opinión general. Esto conduce a los académicos a considerar su empleo como un trabajo voluntario.
Propiedad
Es común que las dependencias de EQR las establezcan los gobiernos o las propias instituciones de educación superior, a menudo por instigación o requerimiento gubernamental. Hay varios elementos que contrapesan la propiedad y el gobierno. En los Estados Unidos las dependencias de acreditación nacionales y regionales están en poder de las instituciones a las que acreditan. Este país tiene una larga tradición de instituciones independientes, por lo que los encargados de la acreditación encontrarían muchas dificultades para imponer algún requerimiento más allá de lo convenido, conjuntamente por los representantes de las instituciones en las juntas de gobierno de las dependencias acreditadoras, como algo esencial para la calidad institucional. En otros países el sistema más común es que la dependencia de EQR esté vinculada con el gobierno, ya sea como un órgano estatutario que reporta a éste, o como una dependencia gubernamental. El sistema estadounidense está en tela de duda porque las dependencias de EQR podrían ser un mecanismo de defensa institucional y/o demasiado condescendientes con sus instituciones. Los sistemas de otros países quizá hagan énfasis en las prioridades financieras y/o nacionales, y la dependencia tenga menos libertad de acción. Los profesionales (especializados), encargados de la acreditación, pueden tender hacia la cautela y el conservadurismo (Dill, 1998).
Número de dependencias
En muchos casos, los programas profesionales están sujetos a dos formas de revisión externa: una de la asociación profesional pertinente y otra más general. En algunos sistemas de educación superior, todos los programas y/o instituciones son responsables ante dos o más dependencias de revisión. Cuando se recurre a varias dependencias, debe considerarse con todo cuidado la eficiencia del sistema: ¿se duplican las actividades? ¿Se aplican requerimientos que entran en conflicto? (Woodhouse, 1995).
Finalidad de la revisión
Las revisiones tienen una o más finalidades. Las razones típicas para efectuar una revisión son:
No todas las finalidades son compatibles. Mejoramiento vs. responsabilidad
Estas dos finalidades suscitan la interrogante de la incompatibilidad con más frecuencia que cualquiera de las demás, y como objetivos de una EQR tienen un equilibrio precario (Vroeijenstijn, 1995). Es un conflicto que se observa en términos generales en la disciplina de la valoración (House, 1978). Muchos afirman que son incompatibles porque estará ausente la apertura esencial para el mejoramiento si la meta es la responsabilidad. Otros sostienen que son inseparables, porque la responsabilidad siempre puede replantearse para enfocarse en el mejoramiento. En muchos países el doble requerimiento se aborda de modos distintos. En el Reino Unido, la HEQC tenía dos grupos, uno que realizaba las auditorías académicas, y otro que atendía explícitamente el mejoramiento de la calidad (Middlehurst y Woodhouse, 1996). Este último aprovechaba los informes de la auditoría para diseñar actividades de mejoramiento de la calidad; también desarrollaba lineamientos sobre la práctica correcta e identificaba métodos en los que podía mejorarse el proceso mismo de auditoría.
Enfoque: vertical
El objetivo central de la revisión de la calidad podría ser la institución en general, o cada uno de los departamentos, programas, la biblioteca, las coordinaciones de área, etcétera. Y cada vez se reconoce más la necesidad de que exista algún tipo de evaluación explícita tanto en el nivel institucional como en el de programa o subunidad. El Reino Unido empleó el método de dependencias separadas, pero todo indica que se crea una carga excesiva de trabajo. En Nueva Zelanda (Woodhouse, 1994), las universidades deben comenzar sus propias revisiones externas en el nivel de programas, para que cuando la dependencia de EQR audite a la institución completa, evalúe el campo de acción y los efectos de dichas revisiones. Un informe reciente recomendó que se adopte un enfoque más coordinado en los Estados Unidos (Ewell, et al., 1997).
Enfoque: horizontal
El objetivo central de la revisión de la calidad podrían ser los aspectos que afectan a toda la institución, como la investigación, la enseñanza, los servicios de apoyo a los estudiantes, la dimensión internacional o aquellos que rebasen a la comunidad. La evaluación fragmentada presenta riesgos manifiestos como la duplicación de actividades o la manipulación de recursos para apoyar la función que esté sujeta a revisión. Por otro lado, una revisión completa y a fondo llega a convertirse en una empresa demasiado pesada. Una coordinación esmerada de las revisiones evitará el traslape y la información que se reúna proporcionará el panorama general de la institución.
Alcance
Existen sistemas de educación superior que cuentan con dos tipos de instituciones, básicamente universidades y politécnicos (technikons, fachhochschulen, etc.). Su funcionamiento se distingue por los reconocimientos que otorgan títulos, diplomas, etcétera, o por la importancia que dan a los cursos, teóricos o aplicados. El alcance de algunas dependencias de EQR se limita a un solo tipo de institución, en tanto que otras dependencias se encargan del resto de las instituciones educativas. Otras dependencias están restringidas a sólo uno de los tipos de reconocimiento (por ejemplo, sólo títulos), aun cuando esto signifique que sólo atienden a una parte de la institución. Otra categorización es conforme a la fuente de financiamiento, público o privado. En algunas jurisdicciones, el gobierno instala dependencias de EQR para que supervisen a las instituciones públicas, en tanto que las privadas quedan a merced de las fuerzas del mercado. En otros países sucede a la inversa, se supervisan a fondo a las instituciones privadas pero, por varios motivos (por ejemplo, políticas o de tradición), no se requiere que las instituciones públicas se sometan a dichas revisiones.
Métodos
Casi todas las dependencias de EQR usan la misma secuencia básica de procesos, sobre todo la autorevisión y el informe, seguidos de una investigación in-situ (visita) de un grupo externo que, a su vez, emite un informe posterior. La profundidad y alcance de la autorrevisión varía enormemente entre los sistemas. No obstante, a medida que se extiende el uso de la autorrevisión, las instituciones están experimentando muchos de los problemas y necesidades de las dependencias de EQR (incluyendo la necesidad de definir con precisión la finalidad, selección y capacitación de quienes supervisan, toman decisiones e instrumentan los resultados de la revisión). La revisión que efectúa una institución de un departamento es muy parecida a una revisión externa. En algunos sistemas, la dependencia busca más información aparte del proceso de la autorrevisión. Por ejemplo, el centro de evaluación danés (Evalueringcenteret) realiza amplias encuestas entre los alumnos, los recién egresados y los empleadores (Thune, 1993). Estas encuestas son las primeras encuestas completas sobre disciplina realizadas en Dinamarca y las instituciones opinan que son uno de los resultados más útiles del proceso de revisión. En China, la acreditación se basa aún más en la información. En la provincia de Shanghai, por ejemplo, tras la entrega de un reporte de autoevaluación, el Departamento de Educación Superior realiza diversas encuestas por escrito entre los egresados, los empleadores, los examinadores externos, los estudiantes y el personal (mediante miles de cuestionarios) (Wei, et al., 1993).
Revisión de pares externos
La investigación realizada por un equipo externo se denomina comúnmente revisión de pares externos. Éste es un término de larga tradición en la academia, y por lo general se trata de una evaluación que realiza un académico o varios académicos de una misma disciplina (Fredericks, et al., 1993), pero esta restricción está disminuyendo y ahora en muchos sistemas incluyen a personas externas a la academia y de otros países (por ejemplo, Dinamarca, Hong Kong, China, Nueva Zelanda, los proyectos piloto europeos). Dado que para el mundo ajeno a la academia, el término "revisión de pares externos" tiene más bien connotaciones afables, es mejor hacerlo a un lado y emplear, por ejemplo, el de "revisión independiente".
Indicadores de desempeño
Los factores que conviene considerar en una evaluación deben quedar claramente especificados de antemano, junto con los criterios para evaluarlos y el posible desempeño de los indicadores para dichos criterios. En la EQR varía significativamente la forma en que se aplican los indicadores de desempeño (Cave, et al., 1997). En general, se invita a las instituciones a que determinen sus indicadores de desempeño, especificando por qué y cómo los usan. La dependencia de EQR, mediante su equipo independiente de revisión, obtiene su propia interpretación de los resultados. En cambio, en otros sistemas las instituciones de educación superior deben elaborar su informe con base en una amplia gama de indicadores de desempeño que posteriormente quedan a disposición del proceso de la EQR. Informes de revisión
La dependencia de EQR produce informes sobre las instituciones que revisa. En algunos sistemas, los informes son públicos, y en otras no. En este último caso, existen varias formas para publicar los resúmenes o comentarios de los informes. En general, debe considerarse el tipo de lector al que va dirigido el informe, así como que contenga información de interés para dicho lector.
Financiamiento
El vínculo entre los resultados de estos informes y el financiamiento público (u otro apoyo) es variable. A menudo, las revisiones de la investigación retroalimentan las decisiones de financiamiento, aunque existe la opinión general (dentro de la academia) de que basar el financiamiento para la enseñanza solamente en las revisiones ocultará los problemas en vez de resolverlos. No obstante, varios países (incluyendo a Australia, Inglaterra, Escocia y varios estados de la Unión Americana) han vinculado el financiamiento marginal con las revisiones de la calidad. Quizá esto ocasione problemas para los revisores externos, quienes están a cargo de revisar el mejoramiento de la calidad, porque las instituciones de educación superior tendrán temor de que la información proporcionada por el grupo de la EQR inevitablemente llegará al órgano financiero gubernamental.
Implantación y seguimiento
La enorme cantidad de tiempo y dinero que se destina a las actividades para garantizar la calidad (tanto externas como internas) se desperdiciará si dichas actividades no tienen un efecto benéfico. El fortalecimiento, que se refiere a la protección al consumidor, es una función de control, en tanto que el seguimiento es una función de servicio. Resalta el hecho de que son pocas las dependencias de EQR que cuentan con un mecanismo formal para dar seguimiento a los resultados de sus revisiones, y muchas no hacen nada al respecto, o simplemente preguntan a la institución qué ha hecho. Muchas dependencias de EQR son ambivalentes en cuanto a las sanciones de no poner en marcha sus recomendaciones, pues opinan, por un lado, que la amenaza de una acción policiaca no ayuda al mejoramiento institucional y, por otro, que algunas instituciones son tan débiles que ni siquiera quieren intentar mejorar, a menos que la EQR les insista. Efecto e impacto de las actividades de aseguramiento de la calidad
¿Cuáles son los efectos de estas actividades de la EQR? Se trata de una cuestión vigente, sujeta a varios proyectos de investigación de mayor alcance. EVALUE (Dubois, 1998) es un proyecto de la Comunidad Europea con una duración de 30 meses, que incluye a 11 instituciones en ocho países. Concluye que la evaluación puede mejorar el desempeño universitario bajo ciertas condiciones:
• Efectos cognoscitivos, de aprendizaje, culturales, de identidad y de legitimación durante la evaluación. • Naturaleza y presentación de los resultados de la evaluación, y presencia de sanciones referentes a esos resultados. • La institución y sus miembros son los titulares de los resultados de la evaluación. • Mecanismos permanentes para la evaluación interna.
Un proyecto conjunto entre la OCDE y el IMHE investiga el efecto de las prácticas de la EQR en la toma de decisiones en las instituciones de educación superior que fueron sometidas a dichas prácticas en años recientes (Brennan, 1995). Un estudio sobre el Reino Unido (Brennan, et al., 1997) investigó el efecto de las evaluaciones de la calidad en la enseñanza en 53 grupos en 12 instituciones de educación superior. La conclusión indica que se tomó en cuenta 65% de las recomendaciones, sobre todo cuando los resultados de la evaluación fueron inferiores a las expectativas institucionales, y cuando las recomendaciones eran adecuadas a la naturaleza de la institución y del programa. La fase de autoevaluación también se consideró muy provechosa. Una investigación de las universidades holandesas (Frederiks, et al., 1993) evidenció las transformaciones que parecían obedecer a las revisiones de la disciplina, pero la relación entre transformación y mejoramiento es tema aparte. En Sudáfrica se encuentra en marcha otro proyecto para analizar el efecto de la unidad auditora de las universidades. En todos estos estudios la complejidad del sistema, el ritmo de la transformación y la multiplicidad de actores dificultan el deslinde de los efectos de la dependencia de EQR. En teoría, un enfoque de auditoría es el menos intrusivo, porque se basa en los propios objetivos de las instituciones y es el que se orienta más al mejoramiento, ya que investiga y comenta los procesos (revisar los resultados sólo dice lo que sucedió, en tanto que los procesos de verificación indican qué sucederá). Por otro lado, el análisis realizado con el personal de las instituciones del Reino Unido sugiere que sus efectos sólo son percibidos en el nivel más alto de la administración. La acreditación proporciona un corte o umbral que puede ser alto o bajo, según se requiera; desempeña el papel de vigilante y no es censurable que una persona encargada de la acreditación afirme que no tiene nada que decir a una institución que está muy por encima del umbral de calidad. Un corte bajo provoca una situación engañosa, ya que muchas instituciones resultan estar por encima del umbral, y en este caso la acreditación no tiene efectos. Un corte alto es más seguro para los usuarios, pero puede frenar las innovaciones y las nuevas instituciones. Todas las instancias regionales de acreditación de Estados Unidos están analizando métodos para que la acreditación sea acorde con las instituciones que están muy por arriba del umbral, y propiciar un compromiso de mejoramiento constante. Comúnmente, la evaluación se aplica en el nivel de los programas, por lo que sus efectos son similares a los de la acreditación especializada. El impacto público de la evaluación corresponderá al número de las dimensiones que aplicó. La gradación en una sola dimensión se presta a la producción de rangos (de instituciones, departamentos, etc.) con los consecuentes resultados y problemas. A manera de conclusión es preciso señalar que el aseguramiento de la calidad en la educación superior se está abordando de diversas maneras y con múltiples fines, no todos congruentes. Hay muchas similitudes de estructura pero también muchos matices que pueden dar como resultado profundas diferencias en la práctica. Asimismo, hay notorias diferencias entre países, que se relacionan más con consideraciones culturales, políticas, económicas y sociales que con los aspectos técnicos de los mecanismos que garantizan la calidad.
Referencias
Brennan, J. (1995), "Authority, Legitimacy and Change: The Rise of Quality Assessment in Higher Education", Seminario de la OECD/CERI/IMHE sobre Respuestas institucionales al aseguramiento de la calidad, París, diciembre. Brennan, J., M. Frederiks, y T. Shah (1997), "Improving the Quality of Education: The Impact of Quality Assessment on Institutions", Quality Support Centre, The Open University. Cave, M., S. Hanney y M. Kogan (1997), "The Use of Performance Indicators in Higher Education", Higher Education Policy, Series 3, Jessica Kingsley Publishers, 3a edición. Dill, W. R. (1998), "Specialised Accreditation: An Idea Whose Time has Come? Or Gone?", Change, vol. 30, no. 4, pp. 15-25. Donaldson, J., M.O. Ottenwaelter, C. Thune, y A.I. Vroeijenstijn (1995), The European Pilot Project for Evaluating Quality in Higher Education: European Report, European Commission. Dubois, P. (1998), EVALUE: Evaluation and Self -evaluation of Universities in Europe, Final Report, Comunidad Europea, TSER. Ewell, P. T., J.V. Wellman, y K. Paulson (1997), Refashioning Accountability: Towards a Co-ordinated System of Quality Assurance for Higher Education, Education Commission of the States. Frederiks, M.M.J., D.F. Westerheijden, y P.J.M. Weusthof (1993), "Self-evaluation and Visiting Committees", Minuta de la 18a reunión de ASHE, noviembre. Frederiks, M.M.J., D.F. Westerheijden, y P.J.M. Weusthof (1994), "Stakeholders in Quality: Improvement or Accountability in Quality Assessment in Five Higher Education Systems", en L.C.J. Goedegeburre y F.A. van Vught (compiladores.), Comparative Policy Studies in Higher Education, Lemma, Utrecht. Harvey, L. and D. Green (1993), "Defining Quality", Assessment and Evaluation in Higher Education, vol. 18, no. 1. HEQC (1997), Graduate Standards Programme: Final Report, Higher Education Quality Council. House, E.R. (1978), "Assumptions Underlying Evaluation Models", Education Researcher, marzo, vol. 7, no. 3, pp. 4-12. Kalkwijk, J.P.T. (1995), "One Cycle of Quality Assessment of University Education in Retrospect", Tercera Reunión de INQAAHE, Utrecht, pp. 34-42. Middlehurst, R. And D. Woodhouse (1996), "Coherent Systems for External Quality Assurance", Quality in Higher Education: Theory and Practice, vol. 1, no. 3, pp. 257-268. QAA (1998), "Quality Assurance: A New Approach", Higher Quality, no. 4, octubre, Quality Assurance Agency for Higher Education. Standards New Zealand (1994), "Quality Management and Quality Assurance_Vocabulary", Australian/New Zealand Standard AS/NZS ISO 8402. Thune, C. (1993), "Evaluation and Quality Assurance of Higher Education in Denmark", INQAAHE Newsletter, no. 5, octubre, QAA, pp. 12-15. Vroeijenstijn, A.I. (1992), "External Quality Assessment, Servant of Two Masters? The Netherlands University Perspective", en A.Z. Craft (compilador), Quality Assurance in Higher Education, The Falmer Press. Vroeijenstijn, A.I. (1995), "Improvement and Accountability: Navigating Between Scylla and Charybdis", Higher Education Policy, Series 30, Jessica Kingsley Publishers. Wei, R., B. Xu, y W. Yang (1993), "Specific Analysis on Qualification Evaluation for Shangahai Higher Education Institutions", Ponencia presentada en el Seminario Adjunto de Acreditación HKCAA/PRC, marzo. Woodhouse, D. (1994), "The Academic Audit Unit in Context", INQAAHE Newsletter, no. 7, julio, QAA. Woodhouse, D. (1995), "Efficient Quallity Systems", Assessment and Evaluation in Higher Education, vol. 20, no. 1, pp. 15-24. Woodhouse, D. (1996), "Quality Assurance: International
Trends, Preoccupations and Features", Assessment and Evaluation in
Higher Education, vol. 21, no. 4, pp. 347-356.
|
