Vol. 20 No. 3 (2020): Artificial Intelligence and education: new research perspectives
Articles

Correlations among natural language processing indicators and critical thinking sub-dimensions in HiEd students

Antonella Poce
University of Roma Tre
Francesca Amenduni
University of Roma Tre
Maria Rosaria Re
University of Roma Tre
Carlo De Medio
University of Roma Tre
Alessandra Norgini
University of Roma Tre
Published December 31, 2020
Keywords
  • critical thinking,
  • assessment,
  • natural language processing,
  • higher education,
  • pensiero critico,
  • valutazione,
  • elaborazione del liguaggio naturale,
  • istruzione universitaria
  • ...More
    Less
How to Cite
Poce, A., Amenduni, F., Re, M. R., De Medio, C., & Norgini, A. (2020). Correlations among natural language processing indicators and critical thinking sub-dimensions in HiEd students. Form@re - Open Journal Per La Formazione in Rete, 20(3), 43-67. https://doi.org/10.13128/form-9902

Abstract

Most of the attempts to develop and validate tools for the automatic assessment of Critical Thinking (CT) related-skills applied Natural Language Processing techniques (NLP) to English written texts, with a few applications in other languages. Therefore, this research was aimed at understanding which NLP features correlates with six CT sub-dimensions in essays written in Italian language. 206 Master Degree students’ pre-post essays were assessed both by human evaluators and by an algorithm which automatically calculates different kinds of NLP features. We found a positive internal reliability and a medium to high inter-coder agreement of the human evaluators. Three NLP indicators significantly correlate with CT total score: Corpus Length, Syntax Complexity, and an adapted measure of Term Frequency-Inverse Document Frequency.

 

Correlazioni tra indicatori del linguaggio naturale e sotto-dimensioni del pensiero critico in studenti universitari.

La maggior parte dei tentativi di sviluppare e validare strumenti per la valutazione automatica delle competenze di Pensiero Critico (CT) ha applicato tecniche di elaborazione del linguaggio naturale (NLP) a testi scritti in inglese, con poche applicazioni in altre lingue. Pertanto, questa ricerca mira a comprendere quali indicatori NLP, estratti da saggi scritti in italiano, correlino con sei sotto-dimensioni del CT. 206 saggi pre-post di studenti di laurea magistrale sono stati valutati sia da esperti umani che da un algoritmo che calcola automaticamente alcuni indicatori NLP. È stata riscontrata una buona attendibilità interna e un accordo inter-giudice medio-alto. Tre indicatori NLP correlano in modo significativo al punteggio di CT totale: lunghezza del testo, complessità della sintassi e una versione adattata del Term Frequency-Inverse Document Frequency.

Metrics

Metrics Loading ...