In Olanda, ChatGPT ha superato l’esame di Maturità a pieni voti: “Punteggio maggiore degli studenti, è una nuova era”.
Accade in Olanda dove è stata sottoposta la versione gratuita di ChatGPT agli esami di maturità del VWO, il liceo dei Paesi Bassi. E il voto ottenuto è stato di 9,8, che “praticamente nessuno maturando riesce a prendere”, come afferma il professore della Radboud University, Marc van Oostendorp.
I risultati dell’esperimento con l’intelligenza artificiale sono stati pubblicati sulla rivista online di linguistica, letteratura e competenza linguistica olandesi Neerlandistiek. Sottoponendo agli esami di maturità olandesi il chatbot, nella sua versione gratuita, il risultato ottenuto è stato sorprendente: un bel 9,8.
L’esperimento di ChatGPT
“Credo che un anno fa nessuno avrebbe pensato che ci sarebbe stato un computer in grado di sostenere l’esame finale delle superiori, siamo davvero entrati in una nuova era“, commenta il ricercatore.
Marc era intenzionato a testare in questo modo quante risposte gratuite era possibile ottenere con un software accessibile, “ma Jos Mulder ha eseguito i testi per me attraverso la nuova versione e in effetti il risultato è maggiore. Invece di 33 punti su 60, la nuova versione supera facilmente l’esame, con 50 punti su 60″.
ChatGPT capisce davvero cosa gli viene chiesto?
Per quanto riguarda la comprensione del testo, “i chatbot non sembrano capire veramente cosa viene loro presentato e a cosa rispondono correttamente”, spiega Marc van Oostendorp. Ma per questo sarebbero necessari test alternativi “che misurino la comprensione ‘reale’ e siano fatti bene dagli umani e non dai robot, non sappiamo nemmeno quali siano le conseguenze pratiche”.
Sicuramente anche ChatGPT presenta delle imperfezioni. Il ricercatore olandese spiega che i chatbot non riescono a confrontare i testi tra loro, “perché il primo testo viene dimenticato mentre si risponde alle domande sul secondo testo”.
In secondo luogo, non sono nemmeno in grado di contare correttamente e danno risposte troppo lunghe. “Se c’è un limite di, diciamo, 30 parole, lo supererà. Quando correggi, puoi solo guardare le prime 30 parole e magari la risposta corretta non è presente”.
I chatbot del futuro
In futuro i chatbot potrebbero persino creare gli esami da soli. “Quindi ogni studente potrà sostenere un esame su misura, in un momento scelto da sé”, aggiunge van Oostendorp.
D’altra parte, la linguista Roberta D’Alessandro dell’Università di Utrecht, afferma che la cosa interessante dell’esperimento “è che l’esame di maturità olandese comprende una parte che si chiama ‘begrijpend lezen’, e cioè comprensione del testo”. In questa fase in cui bisogna capire le implicazioni del testo, cioè quello che viene suggerito ma non detto, “ChatGPT ci è riuscita benissimo, a capire. Ha capito tutto perfettamente. All’esame di francese, ChatGPT ha preso un bell’8”.
