Building better AI agents for nuanced knowledge work

Autori: Enterprise Consulting Partners
Titolo originale: Building better AI agents for nuanced knowledge work

Introduzione: L’evoluzione degli AI Agent e la sfida della precisione

Nel mondo aziendale odierno, gli AI agent stanno diventando strumenti sempre più cruciali per automatizzare compiti complessi e migliorare l’efficienza. Tuttavia, la sfida è garantire che questi agent siano precisi, affidabili e capaci di comprendere le sfumature del lavoro di conoscenza. Questo case study esplora come Enterprise Consulting Partners (ECP) ha affrontato questa sfida, trasformando un AI agent confuso in un assistente esperto grazie all’uso di Llama e LoRA.

La sfida iniziale: Un AI Agent che fraintende le richieste

Nel 2023, ECP ha lanciato un AI agent generativo basato su GPT-3.5 per supportare i suoi 5.000 membri del team tecnologico. Inizialmente, l’assistente ha trasformato il modo in cui gli analisti e i knowledge worker navigavano nelle vaste basi di conoscenza dell’azienda. Tuttavia, con il passare del tempo, l’agente ha iniziato a mostrare difficoltà con compiti più complessi.
Ad esempio, quando gli utenti chiedevano aiuto per redigere un’e-mail, l’agente restituiva documenti contenenti la parola chiave “email” invece di avviare un’applicazione di posta elettronica e generare il contenuto.

La soluzione: Llama, LoRA e LoRAX per un AI Agent più intelligente

Per affrontare queste sfide, ECP ha collaborato con Predibase per esplorare l’utilizzo di LoRA (Low-Rank Adaptation) come alternativa all’ottimizzazione completa del modello e LoRA Exchange (LoRAX) per servire adattamenti ottimizzati su scala aziendale. Hanno scelto Llama 3.1 8B Instruct come modello di base per le sue dimensioni ridotte e la bassa latenza.
L’AI agent di ECP ora offre assistenza conversazionale all’avanguardia per la conoscenza istituzionale non strutturata, la ricerca attuale e gli strumenti aziendali. Le principali innovazioni includono una comprensione semantica superiore, capacità multimodali e una finestra di token di 128K, mentre gli adattatori LoRA forniscono competenze specifiche per attività e strumenti.

I risultati: Maggiore precisione, velocità e risparmio di tempo

L’implementazione di Llama e LoRA ha portato a risultati significativi:

• Llama 3.1 8B Instruct, dopo l’ottimizzazione, è risultato dal 10% al 12% più preciso di GPT-3.5, pur avendo circa 25 volte meno parametri.
• Nei test rispetto a GPT-4o mini di dimensioni simili, Llama 3.1 8B Instruct si è dimostrato più preciso del 7%.
• In produzione, il sistema agentico alimentato da Llama ottimizzato ha costantemente soddisfatto o superato i tempi di risposta inferiori a quattro secondi di GPT-3.5.
• L’AI agent ha risposto a più di 25 milioni di query cumulative nell’organizzazione nel suo primo anno, risparmiando almeno un milione di ore di lavoro del team e contribuendo a un massiccio aumento della produttività.

Elenchiamo qui di seguito i vantaggi concreti ottenuti:

• Miglioramento della comprensione semantica e della precisione delle risposte dell’AI agent.
• Riduzione dei costi di formazione e della complessità del sistema grazie all’uso di LoRA e LoRAX.
• Implementazione di un sistema in grado di gestire un’ampia gamma di attività e strumenti aziendali.
• Aumento della produttività e del risparmio di tempo per i team di ECP.

Il futuro: Un’ondata di automazione grazie a Llama e Predibase

Grazie a Llama e Predibase, ECP ha ridotto significativamente i costi e la complessità dell’implementazione di AI agent ottimizzati. Questo ha aperto la strada a una nuova ondata di casi d’uso di automazione che in precedenza non erano economici. Il team tecnologico di ECP sta espandendo le capacità dell’AI agent, includendo sistemi avanzati di classificazione dei documenti, funzionalità di estrazione avanzate e nuovi casi d’uso specializzati.

Conclusione: Llama e LoRA, una combinazione vincente per l’automazione aziendale

L’esperienza di ECP dimostra come Llama e LoRA possano essere combinati per creare AI agent più intelligenti, precisi ed efficienti. Questa combinazione consente alle aziende di automatizzare compiti complessi, migliorare la produttività e risparmiare tempo e risorse. Come ha affermato il Chief Information Officer di ECP, “Con Llama e Predibase, abbiamo trasformato un costoso AI generativo in uno strumento rapido, accurato ed esperto a cui oltre 85.000 dipendenti globali attingono ogni giorno”.