Chatbot sotto esame: come si misura davvero l'intelligenza artificiale?

Non è raro leggere annunci in cui i produttori dei principali chatbot definiscono il loro ultimo prodotto come il più avanzato sul mercato, grazie a dei miglioramenti nella performance del modello linguistico sottostante. Che si tratti di una constatazione di fatto o di un semplice espediente di marketing, viene da chiedersi su quali basi facciano queste affermazioni; in altre parole: come si misura la performance dei grandi modelli che utilizziamo per la creazione di testi o contenuti visuali? Esistono dei parametri univoci che consentano, per esempio, di dire che GPT-4o è migliore di Gemini 2.0, o che Claude 3.5 Sonnet si comporta meglio di Mistral 7B? La risposta è assai meno scontata di quello che si potrebbe pensare; anzi, il problema della valutazione dei modelli è uno di quelli che più fanno brigare i ricercatori del settore, ed è complicato dai continui e rapidi miglioramenti delle prestazioni, che rendono necessario escogitare sempre nuovi test. Nel novembre dello scorso anno, per esempio, l'istituto di ricerca no-profit Epoch AI ha lanciato FrontierMath, un test realizzato assieme a esperti di fama mondiale per valutare le capacità dei modelli nel campo della matematica, con una serie di esercizi inediti ed altamente impegnativi. La maggior parte dei modelli all’epoca era in grado di rispondere correttamente appena nel 2% dei casi. Tuttavia, soltanto un mese dopo, il nuovo modello o3 di OpenAi risolveva il 25,2% dei quesiti. Nel migliore dei casi, oggi come oggi, un test può essere valido per qualche anno. Uno dei maggiori parametri multidisciplinari di riferimento è il Measuring Massive Multitask Language Understanding , un test composto da 16.000 domande a scelta multipla su 57 materie accademiche , è stato lanciato nel 2020. All’inizio, i chatbot perdevano largamente il confronto con gli esperti umani: i primi mostravano una precisione nelle risposte del 25%, mentre i secondi arrivavano quasi al 90%. Quattro anni dopo, la situazione era invertita. Quando un test viene risolto dalla maggior parte dei modelli con punteggi altissimi , si dice che un test è “saturo”, in inglese saturated, e bisogna passare ad altro. Come per l’Ulisse di Tennyson, l’arco dell’esperienza conduce sempre a nuovi orizzonti. La linea di frontiera al momento è costituita da Humanity’s Last Exam, un test realizzato dalla società no profit Center for Ai Safety e dall’azienda Scale AI e definito come “uno sforzo collaborativo globale, con domande da parte di quasi 1.000 collaboratori esperti in materia affiliati a più di 500 istituzioni in 50 Paesi, per la maggior parte professori, ricercatori e laureati”. Contiene circa tremila domande. Il soggetto può variare: si va da quelle umanistiche alle STEM, alla biologia, ma tutte devono avere delle caratteristiche comuni: devono essere sufficientemente complicate da rendere molto difficile per i non addetti lavori rispondere, non essere facilmente reperibili tramite ricerche su Google ed essere originali: il copia-incolla non è permesso. Non possono riguardare la realizzazione di armi di qualsiasi tipo, o di virus. Per il momento, il test regge: nei test i modelli più utilizzati hanno risposto correttamente fra il 4% e il 9% dei casi, con punte del 26% nel caso di un modello di nicchia come Deep Research di Open AI. Dan Hendricks, direttore del Center for Ai Safety si aspetta rapidi progressi, fino al punto in cui sarà possibile ricevere risposte esatte su quesiti di cui gli umani stessi non conoscono al momento la risposta. A quel punto, le intelligenze artificiali diverrebbero, a tutti gli effetti, dei moderni “oracoli”, utili però fin tanto che gli esperti potranno verificare autonomamente in qualche modo le loro predizioni. Ci sono ovviamente molti altri test, che misurano specifiche abilità dei modelli, come TruthfulQA, per testare la capacità dei modelli di rispondere a domande in modo veritiero e senza diffondere disinformazione, BIG-Bench , SuperGlue e anche approcci innovativi, come quello di Chatbot Arena, una piattaforma online open source in cui gli utenti possono mettere a confronto diversi modelli di AI attraverso "battaglie" anonime e casuali. La maggior parte dei test più diffusi, tuttavia, sono “saturi”, o procinto di diventarli. Per consolarci, come essere umani possiamo sempre contare sul fatto che malgrado i loro strabilianti successi, i modelli linguistici paiono ancora stentare a rispondere a questioni che a noi parrebbero banali. Lo certificano test appositi come Simple Bench in cui il migliore del gruppo, Claude 3.7 Sonnet, ottiene appena il 46%, peggio che lanciare una moneta. Finché dura.

Cosa vedere:

Come vederlo:

Online con Sky:

Chatbot sotto esame: come si misura davvero l'intelligenza artificiale?

Gravidanze più fragili per il caldo estremo: Itali...

Cosa pensano i cittadini europei dei leader politi...

Cos’è questa storia dei post di Instagram visibili...

Aumentano gli allevamenti intensivi in Ue e in...

Macron in Groenlandia per prepararsi a essere l’an...

Aldo e Renata Masella: "Noi nonni di due orfane di...