Do Larger Language Models Imply Better Reasoning? A Pre-training Scaling Law for Reasoning

Autori: Xinyi Wang, Shawn Tan, Rameswar Panda, Mingyu Jin, William Yang Wang, Yikang Shen
Titolo originale: Do Larger Language Models Imply Better Reasoning? A Pre-training Scaling Law for Reasoning

Questo articolo esplora come la dimensione dei modelli linguistici influenzi la loro capacità di ragionamento, focalizzandosi sulla fase di pre-training. Gli autori presentano un ambiente di ragionamento sintetico che simula la struttura dei knowledge graph del mondo reale. Scoprono che modelli troppo grandi possono in realtà peggiorare le prestazioni a causa di un’eccessiva memorizzazione.

Introduzione e Contesto

I modelli linguistici di grandi dimensioni (LLM) hanno mostrato capacità notevoli in compiti che richiedono ragionamento complesso. Tuttavia, l’effetto della scalabilità sulla loro capacità di ragionamento rimane poco chiara. L’articolo si propone di indagare questa relazione, concentrandosi su come la pre-formazione influenzi il ragionamento.

Metodologia: Un Ambiente Sintetico per il Ragionamento

Per studiare il problema, gli autori hanno creato un ambiente sintetico di ragionamento multihop. Questo ambiente è progettato per replicare fedelmente la struttura e la distribuzione dei knowledge graph reali. Il compito di ragionamento consiste nel completare collegamenti mancanti nel grafo, richiedendo un ragionamento multihop avanzato.

Il processo prevede:

1. Generazione di Knowledge Graph Sintetici: I grafi sono creati seguendo regole logiche predefinite, che mimano le relazioni nel mondo reale (es. “A è il padre di B, B è il padre di C, quindi A è il nonno di C”).
2. Pre-training dei Modelli Linguistici: I modelli vengono addestrati da zero esclusivamente su triple (soggetto, relazione, oggetto) estratte da questi grafi incompleti.
3. Valutazione della Capacità di Ragionamento: Si misura la capacità del modello di inferire i collegamenti mancanti nel grafo.

Risultati Chiave: Oltre la Semplice Scalabilità

Contrariamente all’intuizione comune, i ricercatori hanno scoperto che l’eccessiva parametrizzazione (avere un modello troppo grande per il compito) può danneggiare le prestazioni di ragionamento. Invece di un miglioramento continuo con l’aumentare delle dimensioni del modello, si osserva una curva a forma di U:

• Modelli piccoli: scarse prestazioni dovute alla limitata capacità di apprendimento.
• Modelli medi: prestazioni ottimali, capaci di generalizzare e ragionare.
• Modelli grandi: prestazioni degradate a causa dell’eccessiva memorizzazione dei dati di training, che impedisce la generalizzazione a nuove situazioni.

Fattori Determinanti: La Complessità del Knowledge Graph

Diversi fattori influenzano questa curva a U, tra cui:

• Struttura del grafo: La complessità delle relazioni e delle regole logiche nel grafo.
• Dimensione del modello: La capacità del modello di memorizzare e generalizzare.
• Fasi di training: Il numero di volte in cui il modello viene esposto ai dati.

È stata scoperta una legge di scaling empirica che mette in relazione lineare l’entropia di ricerca del grafo (una misura della sua complessità) con la dimensione ottimale del modello. In termini semplici, grafi più complessi richiedono modelli più grandi, ma solo fino a un certo punto.

Implicazioni Pratiche e Sviluppi Futuri

Questi risultati offrono spunti per ottimizzare le prestazioni di ragionamento degli LLM:

• Bilanciare Memorizzazione e Generalizzazione: Evitare modelli eccessivamente grandi che si limitano a memorizzare i dati di training.
• Adattare la Dimensione del Modello alla Complessità del Task: Scegliere modelli con una capacità adeguata alla complessità del knowledge graph sottostante.
• Esplorare Tecniche di Regolarizzazione: Mitigare l’overfitting e migliorare la generalizzazione.

Conclusione

La relazione tra la dimensione dei modelli linguistici e la capacità di ragionamento è più complessa di quanto si pensasse. Questo studio ha dimostrato che la pre-formazione in un ambiente sintetico può rivelare un punto di svolta in cui l’aumento delle dimensioni del modello porta a una diminuzione del ragionamento a causa dell’eccessiva memorizzazione. La chiave sta nel bilanciare la capacità del modello con la complessità del compito e nel trovare la giusta dimensione per una generalizzazione ottimale.