Relationship between evaluation methods and learning outcome in Massive Open Online Courses (MOOC)

Abstract

The present paper analyzes some examples of how the evaluation tools have been adapted to the environment of MOOC and lead to some interesting examples with respect to the redefinition of the learning experience and the learning outcomes. The starting point is twofold: 1) the analysis of the evaluation models implemented in MOOCs, grounded on peer review and data analysis supported by specific software and 2) a review of the effectiveness of the different methodologies with respect to the implementation of the evaluation models in the specific context of a MOOC. The results demonstrate two main approaches. On the one hand, “peer evaluation”-based approaches, supported by technological tools, have emerged with the aim to encourage participation and limit in part the negative effects of the automatic procedures applied to the learning context. On the other hand, approaches focused on data analysis, especially those exploiting methodologies of sentiment analysis, do not seem to be a reliable indicator of success of the students in MOOC, although they offer more information about the learning experience in itself.

Il rapporto tra metodologie di valutazione e learning outcome nei corsi massivi online (MOOC)

Il presente contributo analizza alcuni esempi di adattamento/adattabilità degli strumenti di valutazione nell’ambito dell’ambiente MOOC. I MOOC hanno infatti offerto la base per alcune interessanti sperimentazioni di ridefinizione dell’esperienza di apprendimento e dei risultati di apprendimento negli ultimi anni. Il punto di partenza è l’analisi dei principali modelli di valutazione implementati nei MOOC, in particolare quelli basati sulla peer review e sulla data analysis supportata da software specifici. Si apre da qui la discussione relativa all’efficacia delle metodologie di valutazione in relazione alla implementazione del modello valutativo nel contesto specifico dei MOOC. Emergono nel complesso approcci basati sulla peer evaluation gestiti con strumenti tecnologici in grado di favorire la partecipazione e contenere, in qualche misura, gli effetti negativi delle procedure automatizzate di valutazione. Gli approcci basati invece sulla data analysis, in particolare quelli in grado di sfruttare metodologie di sentiment analysis, non sembrano fornire un indicatore affidabile del successo degli studenti, sebbene forniscano informazioni interessanti rispetto alla learning experience nel suo complesso.