Absolute Zero: Ragionamento auto-gioco rinforzato con dati zero

AI e Machine Learning

Autori: Andrew Zhao¹, Yiran Wu³, Yang Yue¹, Tong Wu2, Quentin Xu¹, Yang Yue¹, Matthieu Lin¹,
Shenzhi Wang 1, Qingyun Wu³, Zilong Zheng 2, and Gao Huang 1,
Titolo originale: Absolute Zero: Reinforced Self-play Reasoning with Zero Data

• Absolute Zero: ragionamento auto-gioco rinforzato con dati zero
  • L’articolo introduce un nuovo paradigma chiamato Absolute Zero per l’apprendimento del ragionamento nei modelli linguistici, in cui un singolo modello impara a proporre compiti che massimizzano il proprio progresso di apprendimento e migliora il ragionamento risolvendoli, senza fare affidamento su dati esterni. Viene presentato Absolute Zero Reasoner (AZR), un sistema che auto-evolve il proprio curriculum di addestramento e l’abilità di ragionamento utilizzando un esecutore di codice per validare i compiti di ragionamento del codice proposti e verificare le risposte, fungendo da fonte unificata di ricompensa verificabile per guidare l’apprendimento aperto ma fondato.
  • https://arxiv.org/abs/2505.03335v2

Elementi chiave dell’articolo:
* Sfida: I modelli di linguaggio di grandi dimensioni (LLM) hanno mostrato miglioramenti nelle capacità di ragionamento utilizzando l’apprendimento per rinforzo con ricompense verificabili (RLVR), ma si basano ancora su raccolte curate di domande e risposte per l’addestramento, sollevando preoccupazioni sulla scalabilità a lungo termine a causa della scarsità di esempi di alta qualità prodotti dall’uomo.
* Soluzione: Il paradigma Absolute Zero affronta queste preoccupazioni consentendo a un modello di proporre compiti che massimizzano il proprio progresso di apprendimento e di migliorare il ragionamento risolvendoli, senza fare affidamento su dati esterni.
* AZR: Il sistema AZR auto-evolve il proprio curriculum di addestramento e l’abilità di ragionamento utilizzando un esecutore di codice per validare i compiti di ragionamento del codice proposti e verificare le risposte, fungendo da fonte unificata di ricompensa verificabile per guidare l’apprendimento aperto ma fondato.
* Risultati: AZR raggiunge prestazioni SOTA complessive su compiti di codifica e ragionamento matematico, superando i modelli esistenti a impostazione zero che si basano su decine di migliaia di esempi curati dall’uomo nel dominio, pur essendo addestrato interamente senza dati esterni. AZR può essere applicato efficacemente su diverse scale di modelli ed è compatibile con varie classi di modelli.

In definitiva, i risultati ottenuti dall’AZR dimostrano che le capacità di ragionamento generale possono emergere senza la necessità di dati mirati al dominio curati dall’uomo.