Desarrollo de un Centro de Evaluación para cursos en línea
 |
Irma Amaya Patrón, Roberto Sánchez Garza y Carmen Pérez Fragoso1 Resumen Este trabajo se inserta en un proyecto que plantea la instrumentación de un modelo para evaluar la efectividad de los cursos en línea, con el propósito de mejorarlos. La primera etapa consistió en la elaboración y prueba de los instrumentos de evaluación para los distintos actores y factores que intervienen en el desarrollo de cursos impartidos en esta modalidad; la segunda, en la creación de un sitio en Red (Centro de Evaluación) que sistematiza y concentra la información para que ésta pueda ser accesada y enviada a los actores que la requieren (maestros, CECUUE, Asuntos Académicos) para el seguimiento, evaluación y mejoramiento de los cursos, así como ser utilizada para fines de investigación. Este trabajo describe el desarrollo de dicho centro. Introducción La evaluación de programas educativos con el uso de las nuevas tecnologías de la información y comunicación presenta grandes retos (Galisson et al., 2000); los nuevos modelos de evaluación privilegian la recolección y análisis de información tanto cualitativa como cuantitativa. Entre ellos, el modelo propuesto por la Alianza de Educación a Distancia del distrito de Iowa en los Estados Unidos (Simonson, 1997) destaca por valorar en detalle el contexto organizacional de la institución oferente; los responsables consideran relevante analizar las políticas y organización de las instituciones, sobre todo en las universidades públicas con sistemas de educación a distancia de reciente creación, para identificar si hay barreras que entorpezcan el buen funcionamiento de los programas. Asimismo, la tendencia en los países europeos ha sido utilizar métodos combinados para evaluar sus programas desde finales de los años ochenta. Woodley y Kirkwood (1986), de la Open University, describen la evaluación como un proceso bastante ecléctico que utiliza diversos procedimientos de acuerdo con las necesidades de cada programa. Este enfoque les permite conocer más a fondo las condiciones de desarrollo de los programas individuales y produce información pertinente para su mejoramiento. En México, las universidades que ofrecen programas de educación en línea son pocas y cada institución define sus propios criterios de evaluación. Las universidades que destacan por sus programas en línea: el ITESM, la Universidad Anáhuac y la Universidad La Salle, son privadas; entre las públicas cabe mencionar a la Universidad de Guadalajara y otras universidades estatales (la UAS, la UACH) que han comenzado a impartir cursos en línea a través de plataformas comerciales como WebCT. Hasta la fecha, dichas universidades se encuentran trabajando en la definición de sus procedimientos de evaluación; de la información que disponemos, la Universidad de Guadalajara es la que ha avanzado más en cuanto a normas y criterios para evaluar sus programas en línea (Chan Núñez, 2000). En general, los modelos de evaluación de cursos a distancia sugieren integrar información relacionada con el estudiante, los profesores, los contenidos y el medio instruccional, derivando planteamientos específicos para evaluar los distintos medios (Gunawardena, 1995). Sin embargo, debido al surgimiento reciente de la instrucción impartida a través de las computadoras, la literatura no presenta muchas propuestas de evaluación, abundando guías generales desarrolladas por las instituciones líderes en el campo y experiencias reportadas, en su mayoría, por los mismos maestros en línea. Para subsanar esta carencia, la universidad decidió desarrollar su propio modelo de evaluación para los cursos impartidos en línea, reportado en otros trabajos (Pérez, 1999, 2001) y, acorde con los requerimientos de la modalidad, implementar en línea un Centro de Evaluación para concentrar la información necesaria para tal efecto (Pérez et al., 2001). Se parte de la premisa de que, por su misma naturaleza, el éxito de los cursos en línea depende de varios actores y factores, cuyo desempeño facilita o inhibe el aprendizaje. La relación pedagógica en los cursos impartidos a través de la computadora es afectada tanto por el medio como por el contexto de la instrucción. La calidad de la interacción depende no sólo de aspectos relacionados con los actores centrales del proceso de enseñanza-aprendizaje (estudiantes y maestros), sino también de la misma tecnología, del dispositivo pedagógico utilizado, del apoyo recibido (técnico, académico y social), así como de las condiciones del lugar y equipo de trabajo y del tiempo dedicado a realizar las actividades. Considerando la importancia de los elementos intervinientes en dicha interacción, un sistema de evaluación debe valorarlos tanto de manera individual como en su conjunto, no sólo con el propósito de determinar su eficacia sino también para contar con información que permita mejorarlos. Con esa intención, se diseñaron y publicaron en la Red formatos para registrar las opiniones de los participantes sobre el desempeño de algunos actores y factores intervinientes. El modelo de educación a distancia de la UABC se basa en la investigación. Así, se pretende que cada curso sea evaluado de manera individual, utilizando métodos combinados. Por otro lado, la institución requiere indicadores generales que permitan hacer seguimientos y comparaciones de los cursos en los diferentes programas para auxiliar a las autoridades en la toma de decisiones. Para ello, como parte de un sistema de evaluación que recoje información de diversas fuentes (correo electrónico, visitas periódicas a los lugares de trabajo y entrevistas a los participantes), se desarrolló el Centro de Evaluación descrito a continuación. El Centro de Evaluación El Centro de Evaluación está diseñado en línea, para que estudiantes, maestros y personas involucradas respondan los instrumentos de evaluación desarrollados ex profeso con la intención de obtener información sobre el desempeño de los distintos actores y factores intervinientes. Estos cuestionarios presentan preguntas agrupadas en dimensiones, cuya respuesta se registra en una escala likert que indica la frecuencia: 1 (nunca) – 5 (siempre), incluyendo 0 (no se aplica); las respuestas son almacenadas en una base de datos que puede también ser accesada para fines de investigación. Dichas encuestas se desarrollaron con la participación de investigadores de la UNAM, UdeG y la Universidad Anáhuac, con excepción de la encuesta sobre la opinión del tutor, que se adaptó de ANUIES (2001). Así, con base en las experiencias de los investigadores del área y de la literatura especializada, los reactivos se fundamentaron en trabajos de distintos autores dependiendo de la encuesta (v.gr., evaluación del maestro: Harasim et al., 1995, Hiltz, 1990, 1993, 1997, Berge, 1995, 1996; de la plataforma: Graham, 1993, Ishii, 1993; Schwier y Misanchuck, 1993, Lynch, 1996; de la estructura y diseño del curso: Marzano et al. 1993, Khan Badrul, 1997, Harris, 1999, etcétera). La UABC contrata Virtual U y promueve la creación de cursos utilizando programas de autoría como FrontPage o DreamWeaver, por lo que las preguntas de la encuesta para la evaluación del curso son lo suficientemente amplias para cubrir ambos casos. Los usuarios, encuestas y objetivos de las encuestas del Centro de Evaluación se presentan en la siguiente Tabla: Tabla 1
Desarrollo del Centro de Evaluación Para el desarrollo del sistema se empleó la metodología de modelado de objetos (OMT, Object Modeling Technique; Pressman, 1988; Rumbaugh et al., 1992; Jacobson et al., 1998), la cual cubre las fases de análisis, diseño, implementación, pruebas y documentación. En la etapa de análisis se establecieron los siguientes requerimientos:
Para realizar el sistema se siguió un desarrollo modular (Kendall y Kendall, 1997); la estructura del sistema se presenta a continuación: Figura 1 Se diseño e implementó una interfaz gráfica para que los usuarios (estudiantes, maestros, personal de apoyo) accesaran los módulos del sistema de fácil. Tanto el módulo de estudiantes como el módulo de maestros están compuestos por una serie de encuestas, presentadas por bloques, cuyas respuestas pueden generar gráficas de resultados por individuo o por grupo. El módulo de cursos presenta información sobre el sistema y los cursos, talleres y eventos disponibles a través de la Red. El módulo de apoyo técnico aún en desarrollo, presentará tutoriales para el uso de las herramientas electrónicas más utilizadas en los cursos en línea. Además de los módulos, el sistema cuenta con una liga a la página principal de la Universidad Autónoma de Baja California y mediante el buzón de sugerencias permite el envío de mensajes al administrador del sistema. Un requerimiento indispensable del sistema es el uso de la Base de Datos en Oracle, dado el volumen de la información y que los datos recabados se almacenarán en la Base de Datos de la Dirección General de Asuntos Académicos, la cual maneja esta herramienta. El desarrollo de los módulos del sistema se encuentra en su tercera versión. Los lenguajes utlizados y características para cada una de las versiones son: 1ª. versión: Para el desarrollo de la interfaz en esta versión del sistema se empleó Oracle WebDB, ya que permite tanto a los usuarios finales como a los desarrolladores de web, crear sitios dinámicos de manera simple e instantánea y también tener acceso a información relevante en cualquier momento y desde cualquier lugar a través de cualquier navegador (Oracle y Sun Microsystems, 2001). Con esta versión se logró crear un prototipo para poder definir nuevos requerimientos por parte del usuario. Sin embargo, el uso del Oracle WebDB no fue adecuado para continuar el desarrollo ya que no permitió adecuar los cambios para la presentación de la encuesta por bloques, además de ser una herramienta propietaria que no facilita la modificación y optimización del código resultante. 2ª. versión: Para resolver el problema de la segunda versión, se emplearon los lenguajes HTML para el diseño de la interfaz, CGI’s (escritos en C) y JDBC para realizar la conexión a la base de datos y la Base de Datos Postgres. La funcionalidad del prototipo logrado se acercó más a los requerimientos de los usuarios; el problema es la incompatibilidad entre las bases de datos Postgres y Oracle, que no permite la fácil migración de datos. 3ª. versión: La tercera versión retoma el modelo utilizado en la segunda, con las adecuaciones necesarias para probarla. Ya realizada la primera prueba, se tuvo la necesidad de migrar la Base de Datos. Para hacerlo, se empleó PHP, el cual es una herramienta muy útil y de fácil manejo, tanto para realizar conexiones a Bases de Datos como para creación de interfaces. Así, se tomó la interfaz desarrollada en la segunda versión del sistema y el lenguaje CGI se cambió a PHP para poder accesar a la Base de Datos en Oracle. El Centro de Evaluación de Cursos en Línea consta de cuatro módulos y el proceso de despliegue de la encuesta depende del tipo de usuario y el tipo de encuesta (ver Figura 2). Figura 2 Funcionamiento del sistema Para las encuestas de evaluación del Lugar y Equipo de Trabajo y la del Tutor, el proceso inicia a partir de que el usuario selecciona la encuesta deseada (ver Figura 3). Una vez seleccionada, el sistema solicita su clave de acceso (en estos casos, la matrícula del estudiante o número de empleado del maestro). Si el acceso es permitido, el sistema verifica que la encuesta no haya sido contestada. Si ya fue contestada, se le indica al usuario que no puede contestarla de nuevo. Figura 3 Para responder a una encuesta, el sistema despliega la encuesta por bloques (ver Figura 4), generados con la información de los reactivos almacenados en la base de datos. En caso de que no se contesten todos los reactivos, se despliega un mensaje indicando que las respuestas están incompletas y se muestra de nuevo la encuesta. Figura 4 Una vez completada la encuesta, las respuestas se almacenan en la Base de Datos y se actualiza el estado de la encuesta para indicar que ya ha sido contestada. En caso de que la encuesta contenga más de un bloque de preguntas, cuando se almacenan los datos se actualiza el estado del bloque de la encuesta para indicar que ya ha sido contestado y el sistema despliega el siguiente bloque de preguntas. Esto permite que el usuario pueda contestar una encuesta de manera parcial y volver a ella de acuerdo con la disponibilidad de su tiempo. Las encuestas de opinión sobre el docente y el curso se presentan por curso, es decir, el usuario debe contestarlas para cada curso en el cual se encuentre dado de alta. Cuando el usuario accesa el sistema, se despliega un listado de todos los cursos disponibles para dicho usuario, de donde éste debe seleccionar el nombre del curso para el que responderá la encuesta. Una vez seleccionado, el sistema verifica el estado de la encuesta correspondiente y si no ha sido contestada procede a la generación de la encuesta. El proceso de generación y verificación del estado de la encuesta seleccionada, así como el del almacenamiento de los resultados, es el mismo que en el caso de las encuestas para evaluar el desempeño del Tutor y las condiciones del Lugar y Equipo de Trabajo. Al seleccionar y accesar la encuesta para evaluar el desempeño del ayudante, se genera un listado de todos los cursos disponibles para el usuario. Una vez que el usuario selecciona un curso, se genera el listado del (los) ayudante(s) del curso, donde el usuario debe seleccionar el nombre del ayudante a evaluar. La validación del estado de la encuesta, generación de los bloques de preguntas y el almacenamiento de la información es igual que en los procesos anteriores. El usuario debe dar respuesta a la encuesta por cada ayudante de todos los cursos en los cuales se encuentre inscrito. La generación de gráficas inicia con la solicitud de la clave de acceso (sólo para maestros e investigadores) y la opción de gráfica (individual o por grupo). Una vez que el usuario envía estos datos, el sistema verifica la clave de acceso en la base de datos y valida la opción. Si la clave de acceso y la opción son válidas, se genera un listado de los cursos disponibles para el maestro; además, dependiendo de la opción de gráfica se despliega un listado de las encuestas disponibles para dicha opción. Una vez que el usuario selecciona el curso y la encuesta, el sistema despliega la información que se tiene hasta el momento (opción de la gráfica y curso) y se genera un listado de los reactivos de la encuesta, donde el usuario debe seleccionar el número de reactivo, y en caso de haber seleccionado la opción de gráfica individual, se genera un listado de los alumnos inscritos en el curso. Una vez que el usuario envía esta información, se despliega una nueva página donde se muestra la información correspondiente a: encuesta, número de reactivo, descripción del reactivo, descripción de la escala, generación de la gráfica y el total de respuestas para el reactivo. Discusión y trabajo futuro Las aportación de este sistema es que permite a la institución concentrar información relevante para evaluar la efectividad de los cursos ofrecidos por esta modalidad. Se buscó la forma más sencilla de obtener la opinión de los distintos participantes, en distintos tiempos, que además pudiera sistematizarse y cruzarse para fines de investigación. Por un lado, la información se utiliza para el mejoramiento de los cursos; por ejemplo, el maestro conoce la opinión de los estudiantes sobre la adecuación del curso (dispositivo pedagógico y diseño instruccional) a la modalidad, los problemas técnicos, si los hubo, que enfrentaron los estudiantes; las condiciones de trabajo y los tiempos y duración de acceso de los estudiantes. Por otro lado, la información continua permite a las autoridades detectar los problemas y resolverlos de manera oportuna. El sistema se creó previa la apertura de programas a gran escala. El Centro de Evaluación, en su versión final, se probó con un grupo de 31 estudiantes en línea que tomaron el curso: Ingeniería de Software de la licenciatura en Informática y no presentó ningún problema técnico. El sistema se entregó a la Dirección General de Asuntos Académicos para ser utilizado por todos los participantes de los cursos en línea impartidos desde cualquier plataforma (libre, VirtualU o cualquier plataforma comercial). La siguiente etapa del trabajo será validar tanto los reactivos de los instrumentos como el formato de respuesta utilizado. Para esta etapa de la investigación se utilizarán métodos combinados, de tal manera que la información recabada permita no sólo validar los instrumentos y analizar la pertinencia y número de dimensiones y reactivos, sino también hacer modificaciones sustanciales si se requiere. Asimismo, falta integrar la información generada por el Centro de Evaluación y las otras fuentes de información del sistema global para valorar su utilidad, tanto desde el punto de vista de las autoridades como de los involucrados, así como evaluar dicho sistema global, con la intención de dar cabida a la información importante que no haya sido considerada y/o hacer las modificaciones pertinentes. Nota: El desarrollo del Centro de Evaluación inició como proyecto grupal del curso: Ingeniería de software de la carrera de Licenciado en Ciencias Computacionales de la UABC. La primera autora, quien realizó la última versión del prototipo, formó parte de ese grupo y agradece la participación a su maestro, Leopoldo Morán y Solares, y a los integrantes de su equipo: Isabel Angélica García Monasterio, Eduardo Herrera Suárez, Oswaldo Israel Loera Díaz, Claudia Mojarro Jordán, Guadalupe Salas Garzón y Mariela Valerie Sánchez Heraldez. Bibliografía ANUIES (2001), Programas Institucionales de Tutoría: Una propuesta de ANUIES para su organización y funcionamiento en las instituciones de educación superior. Serie: Investigaciones, Colección: Biblioteca de la Educación Superior. Berge, Z.L. (1995), Facilitating computer conferencing: Recommendations from the field. Educational Technology, 15(1), pp. 22-30. Berge, Z.L. (1996), The role of the online instructor/facilitator. http://www.emoderators.com/moderators/teach_online.html [3 de mayo de 2002] Chan Núñez, M. E. (2001), Programa de Formación de Evaluadores de Cursos en Línea, Innova, Universidad de Guadalajara. Galisson, A., H. Choplin y S. Lemarchand (2000), Du multimedia pédagogique au processus d’innovation pédagogique: Une contribution du Groupe des écoles des télécommunications, Les Cahiers du Numérique: L’université virtuelle, 1(2), pp. 193-209 Gunawardena, C. (1995), Nuevos caminos en el aprendizaje: Nuevas formas de evaluar, Cuadernos de educación a distancia 3. Universidad de Guadalajara, pp. 57-83. Harasim, L., R. Hiltz, L. Teles y M. Turoff (1995), Learning networks: A field guide to teaching and learning online. Cambridge, Mass.: The MIT Press. Harris, D. (1999), Creating a Complete Learning Environment, en: D. French y colaboradores Internet Based Learning: An introdution and framework for higher education and business, Sterling, Va.: Stylus, pp. 139-142. Hiltz, S.R. (1990), Evaluating the virtual classroom, en: L. Harasim (ed), Online Education: Perspectives on a New Environment, New York, Praeger, pp. 133-185. Hiltz, S.R. (1993), Correlates of learning in a virtual classroom, Journal of Man Machine Studies, 39(1), pp. 71-98. Hiltz, S.R. (1997), Impacts of college-level courses via asynchronous learning networks: Some preliminary results, Journal of Asynchronous Learning Networks, X(2), http://www.aln.org/alnweb/journal/issue2/hiltz.htm [3 de mayo de 2002] Khan Badrul, H. (1997), Web Based Instruction. Englewood Cliffs, N.J., Educational Technology Publications. Jacobson, I., G. Booch y J. Rumbaugh. (1998), The Unified software development process, Reading, Mass., Addison-Wesley. Marzano, R.J., D.J. Pickering y J. McTigthe (1993), Assessing Students Outcomes: Performance Assessment Using the Dimension of Learning Model, Alexandría, Va., ASCD. Oracle y Sun Microsystems, 2001, Kit: Ingeniería Electrónica, http://www.kit.com.ar/o-producto.htm#20 [3 de mayo de 2002]. Pérez Fragoso, C. (1999), Modelo para evaluar la efectividad de cursos en línea, Memorias del Foro Nacional de Educación y Nuevas Tecnologías, Universidad de Sonora, pp. 213-220. Pérez Fragoso, C. (2001), Bases de un modelo para la evaluación de cursos en línea, en: R. Amador Bautista (comp.), Educación y formación a distancia: Prácticas, propuestas y reflexiones, Universidad de Guadalajara, pp. 186-213. Pérez Fragoso, C., McAnally Salas, L. y Sánchez Garza, R. (2001), Instrumentación de un modelo para la evaluación de cursos en línea: Avances, limitaciones y problemas, X Encuentro Internacional de Educación a Distancia (Guadalajara, Jal.), http://www.innova.udg.mx/presentacion%20de%20ponencias.htm [3 de mayo de 2002]. Pressman, R.S. (1988), Ingeniería del software: Un enfoque práctico, México, McGraw-Hill. Rumbaugh, J., M. Blaha, W. Permerlani, F. Eddy, y W. Lorensen (1992), Modelado y diseño orientado a objetos: Metodología OMT, México, DF, Prentice Hall. Simonson, M. (1997), Evaluating Teaching and Learning at a Distance, en: T. E. Cyrs (ed) Teaching and Learning at a Distance: What it takes to Effectively Design, Deliver, and Evaluate Programs, San Francisco, Ca., Jossey-Bass Publishers, 87-94. Woodley, A. y A. Kirkwood (1986), Evaluation in Distance Learning, Institute of Educational Technology, Open University, G.B., ERIC ED 304 122. Notas 1 Universidad Autónoma de Baja California,
irmaap@hotmail.com; rsanchez@uabc.mx;
cperez@uabc.mx
|
