Open Thoughts: Le “Ricette” per Addestrare Modelli di Ragionamento Open Source all’Avanguardia

• Autori: Etash Guha, Ryan Marten, Sedrick Keh, Negin Raoof, Georgios Smyrnis, Hritik Bansal, Marianna Nezhurina, Jean Mercat, Trung Vu, Zayne Sprague, Ashima Suvarna, Benjamin Feuer, Liangyu Chen, Zaid Khan, Eric Frankel, Sachin Grover, Caroline Choi, Niklas Muennighoff, Shiye Su, Wanjia Zhao, John Yang, Shreyas Pimpalgaonkar, Kartik Sharma, Charlie Cheng-Jie Ji, Yichuan Deng, Sarah Pratt, Vivek Ramanujan, Jon Saad-Falcon, Jeffrey Li, Achal Dave, Alon Albalak, Kushal Arora, Blake Wulfe, Chinmay Hegde, Greg Durrett, Sewoong Oh, Mohit Bansal, Saadia Gabriel, Aditya Grover, Kai-Wei Chang, Vaishaal Shankar, Aaron Gokaslan, Mike A. Merrill, Tatsunori Hashimoto, Yejin Choi, Jenia Jitsev, Reinhard Heckel, Maheswaran Sathiamoorthy, Alexandros G. Dimakis, Ludwig Schmidt.
• Titolo Originale: Open Thoughts: Data Recipes for Reasoning Models

Nell’evoluzione rapida dei modelli linguistici di grandi dimensioni (LLM), la capacità di “ragionare” – ovvero, di svolgere passaggi intermedi e logici per arrivare a una soluzione – è diventata cruciale. Modelli all’avanguardia eccellono in compiti complessi che vanno dalla matematica alla programmazione e alle scienze. Tuttavia, gran parte del successo di questi modelli si basa su set di dati di addestramento proprietari, le cui “ricette” rimangono segrete. Questo rende difficile per la comunità open source replicare e far progredire la ricerca. Il progetto OpenThoughts nasce proprio per affrontare questa sfida: demistificare il processo di creazione di dati per addestrare modelli di ragionamento di alto livello, offrendo alla comunità dataset e modelli open source.

1. Il Progetto OpenThoughts: Un Percorso Evolutivo

OpenThoughts è un’iniziativa ambiziosa che si è sviluppata attraverso diverse generazioni, ciascuna basata sui risultati della precedente. Partendo da dataset più piccoli come BespokeStratos-17K e OpenThoughts-114K, il progetto è giunto alla sua terza e più significativa iterazione: OpenThoughts3-1.2M. Questo dataset da 1,2 milioni di esempi ha permesso di addestrare OpenThinker3-7B, un modello da 7 miliardi di parametri che stabilisce un nuovo stato dell’arte per i modelli di ragionamento open data.

Mentre i modelli precedenti basati su dati pubblici faticavano a eguagliare le prestazioni dei modelli addestrati su dati proprietari, OpenThinker3-7B ha dimostrato un netto miglioramento. Su benchmark di ragionamento standard come AIME, LiveCodeBench e GPQA Diamond, OpenThinker3-7B supera significativamente i modelli open data esistenti, inclusi i precedenti tentativi di distillazione da modelli potenti. Questo traguardo è la prova che una curazione meticolosa e basata su principi empirici può fare la differenza.

2. La “Ricetta” dei Dati: Un Approccio Sperimentale

Il cuore della ricerca presentata in questo documento è la metodologia rigorosa utilizzata per sviluppare il dataset OpenThoughts3-1.2M. Invece di affidarsi a euristiche o intuizioni, il team ha condotto oltre 1.000 esperimenti controllati, focalizzandosi sull’impatto di diverse strategie di curazione dei dati sulle prestazioni finali del modello addestrato.

Immaginate la creazione di un dataset come una catena di montaggio, dove ogni stazione applica una trasformazione ai dati:

• Sorgenti delle Domande: Da dove prendiamo le domande? Il team ha esplorato diverse fonti (completamente sintetiche, semi-sintetiche, umane) per domini come matematica, codice e scienze. L’intuizione chiave è che la qualità della fonte conta enormemente, più del suo semplice tipo o quantità.
• Mischiare le Domande: Quante fonti diverse dovremmo mescolare? Sorprendentemente, la strategia vincente è stata limitare la miscela a solo una o due delle fonti di massima qualità per ciascun dominio. Mescolare troppe fonti, anche se per aumentare la diversità, ha peggiorato le prestazioni. Come un cuoco esperto sa che non tutti gli ingredienti stanno bene insieme, così non tutte le fonti di domande si combinano efficacemente.
• Filtrare le Domande: Come selezioniamo le domande migliori da ciascuna fonte? I metodi basati sugli LLM (come valutare la difficoltà o la lunghezza della risposta generata) si sono dimostrati superiori ai filtri classici. Selezionare domande più “difficili” (secondo un LLM) o che elicitano risposte più lunghe (segno di un ragionamento più complesso) si è rivelato efficace.
• De-duplicazione e Campionamento di Risposte Multiple: Come gestiamo le domande duplicate e otteniamo risposte diverse? Invece di concentrarsi solo sull’aumentare la diversità delle domande (evitando duplicati), è emerso che campionare molte risposte diverse per la stessa domanda (fino a 16 volte) è una strategia di scaling efficace. Annotare la stessa domanda più volte può essere efficiente e altrettanto (o più) efficace che annotare più domande uniche.
• Filtrare le Risposte: Dobbiamo scartare le risposte generate che sembrano di bassa qualità? Questo è stato uno dei risultati più controintuitivi: filtrare le risposte non ha migliorato le prestazioni del modello addestrato. Addestrare su tutte le risposte generate, anche quelle apparentemente peggiori, ha dato risultati simili o migliori rispetto al filtraggio. Sembra che il modello sia in grado di imparare anche da risposte non ideali.
• Modello Insegnante: Quale LLM di grandi dimensioni utilizzare per generare le risposte e i passaggi di ragionamento (il processo di distillazione)? Un altro risultato sorprendente: il miglior “insegnante” empirico per questo compito (QwQ-32B) non era il modello con le migliori prestazioni sui benchmark finali (DeepSeek-R1). Questo suggerisce che essere un buon insegnante per la distillazione è una capacità diversa dall’eccellere direttamente sui benchmark.

3. Le Scoperte Chiave e il Modello Risultante

La sintesi di questi esperimenti ha portato a una “ricetta” dei dati ottimizzata per ciascun dominio (matematica, codice, scienza). Il dataset finale, OpenThoughts3-1.2M, è stato costruito scalando queste strategie vincenti. Il modello OpenThinker3-7B, addestrato su questo dataset, ha raggiunto prestazioni all’avanguardia per i modelli open data, dimostrando non solo prestazioni superiori sui benchmark di training, ma anche una buona generalizzazione su set di valutazione held-out (non visti durante gli esperimenti di pipeline).

Le curve di scaling mostrano che le prestazioni continuano a migliorare con l’aumento delle dimensioni del dataset, suggerendo che ulteriori incrementi nella scala dei dati potrebbero portare a guadagni ancora maggiori. Questo è un segnale incoraggiante per il futuro della ricerca sui modelli di ragionamento open source.

4. Oltre le Prestazioni: Sicurezza e Generalizzazione

La ricerca si spinge anche oltre le metriche di prestazione pura, esplorando aspetti cruciali come la sicurezza e la generalizzazione. Un’analisi sulla sicurezza ha rivelato un trade-off: l’addestramento su dati di ragionamento, pur migliorando le capacità logiche, può inavvertitamente ridurre l’allineamento di sicurezza ereditato dal modello base. Questo evidenzia la sfida di bilanciare utilità e sicurezza nei modelli avanzati.

Inoltre, test specifici (come la valutazione “Alice in Wonderland” su varianti semplici di problemi) hanno mostrato che, mentre i modelli distillati come OpenThinker3-7B superano ampiamente i LLM convenzionali nelle capacità di ragionamento, essi possono ancora presentare deficit di generalizzazione. Tendono a mostrare fluttuazioni di performance su variazioni minime ma strutturalmente invarianti dei problemi, un aspetto che merita ulteriori indagini.

Conclusione: L’Era dei Dati di Ragionamento Open Source

Il progetto OpenThoughts e il dataset OpenThoughts3-1.2M, insieme al modello OpenThinker3-7B, rappresentano un contributo fondamentale per la comunità di ricerca sull’AI. Demistificando e ottimizzando il processo di curazione dei dati per il supervised finetuning, questo lavoro fornisce non solo un dataset e un modello di riferimento open source, ma anche preziose intuizioni su cosa rende efficace un dataset di ragionamento. Le scoperte, a volte sorprendenti, come l’importanza della qualità delle fonti rispetto alla loro diversità, l’efficacia del campionamento di risposte multiple e la (relativa) inutilità del filtraggio delle risposte, offrono una bussola preziosa per i futuri sforzi di ricerca e sviluppo nel campo dei modelli capaci di ragionare. Questo lavoro apre la strada a un’era in cui anche la creazione di “ricette” avanzate per l’addestramento dei modelli diventa un processo aperto e collaborativo.