TY - JOUR AU - Poce, Antonella AU - Amenduni, Francesca AU - Re, Maria Rosaria AU - De Medio, Carlo AU - Norgini, Alessandra PY - 2020/12/31 Y2 - 2024/03/29 TI - Correlations among natural language processing indicators and critical thinking sub-dimensions in HiEd students JF - Form@re - Open Journal per la formazione in rete JA - Form@re VL - 20 IS - 3 SE - Articles DO - 10.13128/form-9902 UR - https://oaj.fupress.net/index.php/formare/article/view/9902 SP - 43-67 AB - <p>Most of the attempts to develop and validate tools for the automatic assessment of Critical Thinking (CT) related-skills applied Natural Language Processing techniques (NLP) to English written texts, with a few applications in other languages. Therefore, this research was aimed at understanding which NLP features correlates with six CT sub-dimensions in essays written in Italian language. 206 Master Degree students’ pre-post essays were assessed both by human evaluators and by an algorithm which automatically calculates different kinds of NLP features. We found a positive internal reliability and a medium to high inter-coder agreement of the human evaluators. Three NLP indicators significantly correlate with CT total score: <em>Corpus Length</em>, <em>Syntax Complexity</em>, and an adapted measure of <em>Term Frequency-Inverse Document Frequency</em>.</p><p>&nbsp;</p><h3>Correlazioni tra indicatori del linguaggio naturale e sotto-dimensioni del pensiero critico in studenti universitari.</h3><p>La maggior parte dei tentativi di sviluppare e validare strumenti per la valutazione automatica delle competenze di Pensiero Critico (CT) ha applicato tecniche di elaborazione del linguaggio naturale (NLP) a testi scritti in inglese, con poche applicazioni in altre lingue. Pertanto, questa ricerca mira a comprendere quali indicatori NLP, estratti da saggi scritti in italiano, correlino con sei sotto-dimensioni del CT. 206 saggi pre-post di studenti di laurea magistrale sono stati valutati sia da esperti umani che da un algoritmo che calcola automaticamente alcuni indicatori NLP. È stata riscontrata una buona attendibilità interna e un accordo inter-giudice medio-alto. Tre indicatori NLP correlano in modo significativo al punteggio di CT totale: lunghezza del testo, complessità della sintassi e una versione adattata del <em>Term Frequency-Inverse Document Frequency</em>.</p> ER -