El profesor e investigador del grupo Edul@b la Universitat Oberta de Catalunya (UOC), Juan Pedro Cerro, ha demostrado la eficacia de los macrodatos (big data) aplicados a la educación, las denominadas analíticas de aprendizaje, para mejorar la docencia y los resultados académicos de los estudiantes universitarios. Cerro, ingeniero informático, desarrolló en el transcurso de su tesis doctoral en e-learning, la aplicación DIANA —acrónimo de DIalogue ANAlysis—, que analiza la interacción comunicativa en los espacios de mensajería de la UOC, accede a los mensajes que los estudiantes se han intercambiado y calcula una serie de indicadores y métricas que son reportados al docente, respetando siempre la privacidad de los estudiantes y cumpliendo con lo establecido en la Ley General de Protección de Datos.
La aplicación se testó durante un año y medio en una asignatura compartida por todos los grados de la UOC. Las 40 aulas en las que se había usado registraron un descenso del 6 % en el índice de abandono. También se incrementó casi un punto la calificación media de los estudiantes y se redujo la dispersión de esas mismas calificaciones. “El nivel del grupo fue más homogéneo porque el docente estaba mucho más informado de lo que ocurría en las aulas, podía actuar ante determinadas situaciones y corregir el rumbo de algunos estudiantes”, apunta Cerro. El 90 % de los estudiantes valoró muy positivamente la aplicación de DIANA. El centro de innovación en educación de la universidad, el eLearning Innovation Center (eLinC), ayudó a implementar la herramienta en las aulas piloto, con más de 2.300 estudiantes.
Índice de temas
Metadatos que guían la docencia
DIANA analiza los metadatos que contienen los mensajes que intercambian los estudiantes en el aula virtual. En total, calcula cerca de 30 métricas. “Algunas de ellas son muy evidentes, como la cantidad de palabras de promedio que envían los estudiantes en sus mensajes, o la cantidad de mensajes y respuestas que se publican. Pero hay otras más complejas, como comparar las palabras que se utilizan en la comunicación con un pequeño tesauro que define el docente para saber si la conversación se centra en los ejes temáticos de la actividad o si, por el contrario, se ha dispersado”, explica Cerro.
La aplicación ofrece dos tipos de información. La primera es individual, sobre cada uno de los estudiantes, con aspectos como la forma en la que se disemina su participación a lo largo del tiempo para detectar si, por ejemplo, el estudiante se involucra mucho al principio y luego desconecta, o viceversa. El segundo tipo de información es de grupo, de manera que en la pantalla de DIANA se muestra cómo los estudiantes se organizan, utilizando métricas como la cantidad de mensajes enviados por semana, la franja horaria más utilizada, la nube de palabras aparecidas en la conversación o, incluso, el grado de adecuación del discurso al campo semántico definido por el docente a través de ciertas palabras clave.
La herramienta, además, permite fijar una serie de alertas para advertir al docente cuando la conversación se dispersa demasiado o si un estudiante está mucho tiempo inactivo. Todo ello, con un objetivo claro: mejorar los resultados académicos y demostrar hasta qué punto son eficaces las analíticas del aprendizaje, una disciplina que en ocasiones ha sido cuestionada por determinados autores, a quienes preocupa la idea de que el papel del docente se reduzca al de un mero recolector de datos.
Esta investigación interdisciplinar de la UOC, entre la pedagogía y la tecnología, demuestra lo contrario: como las analíticas de aprendizaje facilitan al docente el trabajo de seguimiento y evaluación, y ello emerge de la propia experiencia de Cerro como profesor. “Cuando un docente tiene un número elevado de estudiantes y la actividad de aprendizaje se desarrolla en línea de manera colaborativa, se producen determinadas mecánicas que dificultan la evaluación de cada estudiante de forma individual”, explica.
DIANA figura en el Registro de la Propiedad Intelectual de Cataluña en todas sus versiones y la idea es ofrecerla en modo de conocimiento abierto, con una licencia GPL 3.0. De hecho, la aplicación ya está disponible en abierto y en la tesis de Cerro aparece el enlace que permite descargar el código fuente para implementarlo en cualquier institución. “Siempre hemos pensado en la posibilidad de colaborar con quien quiera ampliar el horizonte de la herramienta”, asegura su autor.
Un nuevo proyecto de I+D para adaptar DIANA
En este sentido, tras la investigación y para comprobar si las conclusiones son extrapolables a otros contextos educativos con metodologías de aprendizaje diferentes, Montse Guitert y Teresa Romeu, directoras de la tesis de Cerro e investigadoras del grupo Edul@b, de los Estudios de Psicología y Ciencias de la Educación de la UOC, están al frente de un nuevo proyecto de investigación denominado Uso de analíticas de aprendizaje en entornos digitales: impacto en la mejora de la práctica docente universitaria, financiado por el Ministerio de Ciencia e Innovación.
Iniciado en septiembre de 2021, tiene una duración de tres años y en él participan otras seis universidades junto con la UOC. “Vamos a dar continuidad al trabajo ya realizado en mi tesis”, explica Cerro, que figura entre el equipo investigador. “Queremos mejorar la definición de los indicadores y las métricas de analíticas del aprendizaje que pueden ayudar a los docentes. Vamos a ponerlas en común con expertos de otros másteres de diferentes universidades, analizaremos el impacto académico que supone la aplicación de estas analíticas del aprendizaje en otros entornos digitales para contrastarlos con nuestros resultados y, por último, proporcionaremos algunas recomendaciones sobre el uso de la herramienta en la práctica docente. Todo ello implicará la adaptación de la herramienta DIANA a otros contextos, por lo que sufrirá modificaciones y se mejorará“, concluye Cerro.
La tesis de Juan Pedro Cerro, elaborada dentro del programa de doctorado de Educación y TIC (E-learning) de la Escuela de Doctorado de la UOC, se llevó el 2021 Award for Best Interdisciplinary Thesis de la UOC fallado recientemente, y la revista de referencia internacional ETHE (International Journal of Educational Technology in Higher Education) publicó un artículo y varias infografías con las principales conclusiones de la investigación.
