Road to Critical Thinking automatic assessment: a pilot study

Abstract

The growing attention on Critical Thinking as an essential driver for progress and knowledge growth has brought to the development of different kinds of assessment tools. Essays and open-ended questions are recognized to be pivotal in critical thinking assessment. However, they present problems related to inter-rater reliability and high-cost of scoring. Automated scoring could be a viable solution to the above concerns. In this paper, we introduce a prototype for critical thinking automatic assessment based on Natural Language Process techniques and preliminary accuracy evidence regarding its use. Data were collected from 48 university teachers after two workshops carried out both in the United States and in Italy aimed at developing critical thinking Skills in participants.

Verso la valutazione automatica del pensiero critico: uno studio pilota.

La crescente attenzione nei confronti del Pensiero Critico come competenza cruciale per l’innovazione e lo sviluppo di conoscenze hanno portato allo sviluppo di un notevole numero di strumenti di valutazione. Sebbene gli strumenti a stimolo aperto, come il saggio breve e le domande aperte, siano ritenuti essenziali per la valutazione del pensiero critico, essi presentano problemi relativi all’attendibilità inter-giudice e all’alto costo di valutazione. L’assegnazione automatica di punteggi potrebbe rappresentare una possibile soluzione a tali problemi. Un prototipo per la valutazione automatica del pensiero critico, basato su tecniche di elaborazione del linguaggio naturale ed evidenze preliminari sull’accuratezza dello strumento verranno presentati all’interno del presente articolo. In seguito a due workshop condotti rispettivamente negli Stati Uniti e in Italia, che miravano alla promozione del pensiero critico, i dati sono stati raccolti all’interno di un gruppo composto da 48 professori universitari.