RIASSUNTO NEWSLETTER TECNOLOGICHE

Voila: Modelli Fondamentali Voce-Linguaggio per Interazione Autonoma in Tempo Reale e Recitazione Vocale

** Autori: Yemin Shi*, Yu Shu*, Siwei Dong*, Guangyi Liu*, Jaward Sesay, Jingwen Li, and Zhiting Hu**
Titolo originale: Voila: Voice-Language Foundation Models for Real-Time Autonomous Interaction and Voice Role-Play*

• L’IA vocale reattiva ha i suoi limiti

  • I sistemi di intelligenza artificiale vocale che usiamo oggi (pensiamo a Siri, Alexa o anche i sistemi basati su ChatGPT) sono principalmente reattivi. Aspettano un comando o una domanda dall’utente, elaborano, rispondono e poi attendono di nuovo. Questo tipo di interazione, spesso strutturata “a turni”, è rigida e lontana dalla fluidità delle conversazioni umane.
  • I sistemi tradizionali usano “pipeline” complesse (riconoscimento vocale, comprensione del linguaggio, generazione del linguaggio, sintesi vocale) che introducono latenza significativa – spesso secondi di ritardo, molto più lenti del tempo di risposta medio umano (meno di 300 millisecondi).
  • Inoltre, la conversione da voce a testo e viceversa fa perdere sfumature vocali cruciali come tono, emozione e ritmo, rendendo l’interazione meno naturale e espressiva.
  • Anche i recenti modelli end-to-end, che processano l’audio direttamente, riducono la latenza e preservano meglio le sfumature, ma rimangono per lo più reattivi. L’interazione autonoma, quella che “sente” continuamente il contesto e risponde proattivamente e simultaneamente (immaginiamo l’IA del film “Her”), è la prossima frontiera.

• Voila: Un passo verso l’IA Vocale Autonoma

  • È qui che entra in gioco Voila, una nuova famiglia di modelli fondamentali voce-linguaggio su larga scala. Voila mira a superare i limiti attuali abilitando un’interazione vocale autonoma, in tempo reale, naturale e flessibile.
  • Esistono due varianti principali: Voila-e2e per conversazioni end-to-end a bassa latenza con ricchi dettagli vocali, e Voila-autonomous che estende questa capacità al full-duplex, permettendo al modello di ascoltare, ragionare e parlare contemporaneamente all’utente.
  • Voila raggiunge una latenza di risposta di soli 195 millisecondi, superando il tempo di risposta medio umano.

• Come funziona Voila?

  • Alla base di Voila c’è un’architettura Transformer gerarchica che integra le capacità di ragionamento dei modelli linguistici di grandi dimensioni (LLM) con potenti capacità di modellazione acustica.
  • Un componente chiave è il Voila-Tokenizer, un codec audio neurale che trasforma i segnali audio continui in token discreti (simili alle parole per il testo) che l’LLM può elaborare. Questi token audio vengono integrati nel vocabolario dell’LLM.
  • Voila utilizza una strategia di allineamento testo-audio interleaved, dove unità di testo sono abbinate ai corrispondenti token audio in una sequenza alternata. Questo allineamento fine-grained (immaginate <Ciao><audio><io><audio><sono><audio><Voila><audio>) migliora la sincronizzazione e l’espressività del parlato generato. Questo è un approccio nuovo rispetto a precedenti modelli interleaved.
  • Il modello è addestrato su vari task (riconoscimento vocale, sintesi vocale, instruction following) in un formato conversazionale unificato.

• Personalizzazione Vocale Semplice ed Estesa

  • Una caratteristica distintiva di Voila è la sua facilità di personalizzazione delle voci. Gli utenti possono definire una persona per l’agente IA tramite istruzioni testuali e personalizzare la voce fornendo brevi campioni audio (anche di soli 10 secondi).
  • Voila impara un “voice embedding” (una rappresentazione delle caratteristiche vocali) che, abbinato a un token speciale, condiziona il modello a generare parlato nella voce desiderata.
  • Questo ha permesso di creare oltre un milione di voci pre-costruite e di personalizzare dinamicamente nuove voci durante l’interazione.

• Un Modello Unificato per Vari Task Vocali

  • Oltre al dialogo, Voila gestisce nativamente task come il Riconoscimento Vocale Automatico (ASR) e la Sintesi Vocale (TTS) senza bisogno di modelli specializzati separati. Può essere adattato anche per la traduzione vocale multilingue.
  • Attualmente supporta sei lingue: Inglese, Cinese, Francese, Tedesco, Giapponese e Coreano.

• Valutazione e Prestazioni

  • Per valutare Voila, è stato introdotto il Voila Benchmark, una nuova suite di valutazione audio-linguaggio basata su benchmark testuali esistenti (come MMLU, MATH). I test sono convertiti in audio per una valutazione più realistica.
  • Nei test sul Voila Benchmark, Voila ha ottenuto un’accuratezza del 30.56%, superando nettamente modelli precedenti come SpeechGPT (13.29%) e Moshi (11.45%), dimostrando notevoli miglioramenti, in particolare in aree come matematica e codice.
  • Anche nelle valutazioni ASR e TTS su dataset standard come LibriSpeech, Voila mostra performance competitive o superiori rispetto ai modelli all’avanguardia.

• Conclusione

  • Voila rappresenta un passo avanti significativo verso l’IA vocale autonoma. La sua architettura end-to-end, l’allineamento testo-audio innovativo e le potenti capacità di personalizzazione lo rendono uno strumento versatile per creare interazioni umane-macchina più naturali, proattive ed espressive.
  • Per supportare la ricerca e accelerare il progresso nel campo, i modelli e il codice di Voila sono stati resi completamente open-source.