Capacità raddoppiate ogni 7 mesi: un grafico scuote il mondo dell’IA

Quella di misurare le prestazioni dei modelli AI è una delle sfide più difficili con cui gli addetti ai lavori si trovano a dover fare i conti. A intervalli regolari, ricercatori e sviluppatori stabiliscono nuovi benchmark, nuovi parametri e termini di paragone che dovrebbero aiutare a comprendere le loro capacità. Il fatto è che i modelli migliorano così rapidamente che quiz e test diventano presto obsoleti, e bisogna escogitarne di nuovi. Oltre al problema della “saturazione” dei test, come si definisce in gergo l’obsolescenza di cui sopra, non è detto che i loro risultati siano del tutto affidabili. Una cosa è valutare le capacità di un modello su singoli esami ad hoc, in un contesto di laboratorio; altra cosa è capire quello che è davvero capace di fare in situazioni reali. Le cose si complicano ulteriormente con l’arrivo della intelligenza artificiale “agentica”, ovvero quella che non si limita a generare contenuti ma è in grado di lavorare e portare a termine dei compiti in maniera autonoma o soltanto con un minimo apporto da parte dell’utente. Un nuovo strumento È qui che entra in gioco Metr , una no profit californiana che ha ideato un nuovo approccio per misurare le capacità “agentiche” di chatbot come ChatGPT o Claude. Invece di misurare il punteggio su singoli task, Metr misura l’orizzonte temporale su cui essi si dipanano. Più precisamente misura quali task, che a un umano impiegherebbero un certo numero di ore, gli agenti sono in grado di portare a termine con successo almeno nel 50% dei casi. Il “time horizon” chart è rapidamente diventato oggetto di spasmodica attenzione in Silicon Valley, tanto da essere visto come una specie di cartina di tornasole del progresso degli agenti AI, specie dopo che Metr ha constatato come la curva di apprendimento sembri seguire un andamento esponenziale che prevede raddoppio ogni sette mesi delle ore in cui un modello è in grado di lavorare in autonomia. Cosa significa questo, in concreto? Significa che se oggi Claude Opus 4.6 può portare a termine da solo , un task che a un umano porterebbe via sedici ore - come potrebbe essere la pulizia, standardizzazione e memorizzazione in un database esportabile di dati grezzi - fra sette mesi, lo stesso modello potrebbe essere in grado di progettare e rendere operativa un’intera applicazione: per esempio un sistema di prenotazione online di prestazioni, con gestione dell’autenticazione degli utenti e del pagamento delle stesse. Paure, dubbi e illusioni È facile intuire come questo tipo di previsioni abbia soffiato sul fuoco sia delle paure di chi vede arrivare una completa sostituzione del lavoro umano da parte dell’Ai, con conseguente disoccupazione di massa, sia degli entusiasmi di chi preconizza l’arrivo di una nuova età dell’oro, con progressi tali da consentire di affrontare malattie finora incurabili e generare ricchezza per tutti. Anche perché le ultime misurazioni sembrano raccontare un’accelerazione della curva: da un raddoppio ogni sette mesi, si passerebbe a uno ogni tre o quattro mesi, a seconda dei modelli. In parte, tuttavia, sembra trattarsi di reazioni esagerate rispetto a quanto affermano effettivamente gli studi di Metr, quasi come se essi fossero, come scrive un giornalista del New York Times, delle “macchie di Rorschach” in cui ognuno vede quello che vuole. In realtà, il metodo utilizzato ha limiti concreti. I task testati sono in gran parte legati al coding e alla ricerca AI, quindi in ambiti ben precisi e delimitati. Inoltre, come detto, i test più diffusi di Metr misurano i casi in cui un modello porta a termine un compito con successo “nel 50% dei casi”. Si immagini un chirurgo che riesce nel 50% degli interventi. O un commercialista che ci azzecca metà delle volte. Ma anche restando nell’ambito della programmazione, se un agente IA fallisce anche solo in una piccola percentuale di passaggi in un compito lungo, lo sviluppatore umano deve spendere molto tempo a fare debugging, azzerando il tempo risparmiato Di un’intelligenza che se la cava così si può anche fare a meno. E non basta, perché le stime di Metr si basano su un campione ridotto di dati statistici e su una metodologia tale per cui il margine di errore e l’ampiezza di oscillazione dei risultati, è piuttosto alto. Lo dice chiaro Thomas Kwa, uno dei creatori del grafico sull’orizzonte temporale: “Quando METR afferma che ‘Claude Opus 4.5 ha un orizzonte temporale al 50% di circa 4 ore e 49 minuti ’, ci riferiamo proprio a quelle barre di errore. Non ho davvero idea se l’orizzonte temporale ‘reale’ di Claude sia di 3,5 ore o di 6,5 ore”. Non solo hype Detto ciò, sarebbe un errore liquidare tutto il dibattito sul grafico di Metr come un trucco di marketing o solamente puro hype. Il time horizon è imperfetto, ma coglie qualcosa di reale: i modelli stanno migliorando nella gestione di compiti articolati e sono in grado di portarli avanti sempre più a lungo in autonomia. Ragion per cui il grafico non va preso tanto come una misura diretta della sostituzione del lavoro umano, quanto come un indicatore della direzione tecnologica verso cui stiamo andando. Che sembra procedere nel senso di spostare il valore del lavoro cognitivo umano dall’esecuzione da cima a fondo di compiti, alla supervisione e validazione di quanto abbozzato da sistemi imperfetti. Almeno per il momento. In futuro, secondo molti ricercatori, i modelli potrebbero migliorare a tal punto da essere in grado di correggersi e perfezionarsi continuamente da soli. Cosa resterebbe da fare ai cosiddetti “lavoratori della conoscenza”, a quel punto, non è dato sapere.

Cosa vedere:

Come vederlo:

Online con Sky:

Capacità raddoppiate ogni 7 mesi: un grafico scuote il mondo dell’IA

Federico Guerrini