New job skills: critical thinking analysis in higher education and engineering

Abstract

This article presents an approach for the assessment of critical thinking based on the analysis of open-ended answers, highlighting its advantages over closed-ended tests. The need to develop and measure reasoning skills also in STEM students is highlighted. During a workshop addressed to engineering students, open-ended questions were administered to assess critical thinking both through a manual scoring rubric system and through an automated prototype of Natural Language Processing (NLP). This approach answers two main research questions: the degree of concordance between manual and automatic assessment; the effectiveness of the workshop in enhancing critical thinking in a STEM context. An encouraging alignment between the two forms of assessment is found and how targeted training-evaluation activities can foster the acquisition of critical skills also in subject specific field is underlined.

Competenze per nuovi lavori: analisi del pensiero critico nell’educazione superiore e ingegneria.

L’articolo presenta un approccio per la valutazione del pensiero critico basato sull’analisi delle risposte aperte, evidenziandone i vantaggi rispetto ai test a risposta chiusa. Si sottolinea la necessità di sviluppare e misurare competenze di ragionamento anche negli studenti delle STEM. Durante un workshop rivolto a studenti di ingegneria, sono state somministrate domande a risposta aperta per valutare il pensiero critico sia attraverso un sistema di rubriche a punteggio manuale sia attraverso un prototipo automatizzato di elaborazione del linguaggio naturale (NLP). Questo approccio risponde a due principali domande di ricerca: il grado di concordanza tra la valutazione manuale e quella automatica; l’efficacia del workshop nel migliorare il pensiero critico in un contesto STEM. Si riscontra un allineamento incoraggiante tra le due forme di valutazione e si sottolinea come attività di formazione-valutazione mirate possano favorire l’acquisizione di competenze critiche anche in ambiti specifici.