RIASSUNTO REPORT NUANCE AI LAB

Yash Panjwani, Samuel Salzer
AI TOOLS FOR LITERATURE REVIEWS. BENCHMARKING REPORT – APRIL 2025

Introduzione

Le piattaforme di AI per la revisione della letteratura scientifica promettono di velocizzare i processi, migliorare la sintesi e ridurre il lavoro di ricerca e riassunto. Ma quanto sono efficaci nella pratica? Il Nuance AI Lab ha condotto uno studio comparativo su 8 strumenti selezionati tra oltre 20, valutandone le performance in base a criteri standardizzati e revisioni indipendenti.

Obiettivi e Metodologia

L’obiettivo principale dello studio è valutare in modo rigoroso e comparativo gli strumenti di AI per la revisione della letteratura, al fine di comprendere come e quando questi strumenti sono più efficaci. Invece di limitarsi a chiedere se l’AI può aiutare, si concentra su quali strumenti performano meglio, dove incontrano difficoltà e quando è necessario l’intervento umano.

Cosa si intende per “Deep Research”?

Il termine “Deep Research” è diventato popolare tra gli strumenti di AI che offrono revisioni della letteratura di livello dottorale. Questi sistemi promettono di fornire revisioni dettagliate in pochi minuti, evitando la necessità di esaminare manualmente decine di articoli.

Ma cosa significa realmente “Deep Research”? Secondo Han Lee (2025), si tratta di un sistema che utilizza modelli linguistici di grandi dimensioni (LLM) come agenti per cercare e analizzare informazioni in modo iterativo, producendo un report dettagliato. A differenza dei motori di ricerca tradizionali, i sistemi di Deep Research richiedono più tempo per generare report strutturati.

Caratteristiche principali dei tool di Deep Research

• Agentic Search Methods: non si limitano a mostrare i primi risultati, ma eseguono cicli di ricerca, affinano le query e rivedono gli output, come farebbe un assistente di ricerca.
• Long-Form Output: l’obiettivo è produrre un report completo, simile a una revisione della letteratura scritta da un essere umano.

Un panorama affollato e confuso

Non tutti gli strumenti di Deep Research sono uguali. Alcuni, come OpenAI Deep Research e Stanford’s STORM, si basano su sistemi multi-agente con training estensivo. Altri, come “Research Reports” di Elicit, adottano un approccio più strutturato e basato su regole.

Han Lee propone un framework utile per orientarsi in questo panorama: una mappa a quadranti basata su due caratteristiche chiave, ovvero la profondità della ricerca e il livello di training del sistema sottostante.

Come si differenzia dalle revisioni della letteratura tradizionali?

I tool di Deep Research automatizzano parzialmente attività come la ricerca di database, la lettura, il prendere appunti e la sintesi. Tuttavia, non sostituiscono il ricercatore, ma lo aiutano nella fase iniziale del processo, facilitando l’esplorazione, la sintesi dei temi emergenti e l’individuazione di fonti potenzialmente trascurate.

Criteri di valutazione

Lo studio ha valutato gli strumenti in base a cinque dimensioni chiave:

• Prompt Adherence: quanto efficacemente lo strumento risponde a prompt di ricerca dettagliati.
• Citation Quality: se lo strumento utilizza fonti accademiche autentiche, credibili, rilevanti e diversificate.
• Writing Quality: se gli output sono chiari, esaustivi, coerenti, strutturati in modo logico e appropriatamente professionali.
• Response Time: quanto velocemente lo strumento fornisce risultati utilizzabili.
• Cost Efficiency: come il prezzo si correla con la qualità e la praticità dell’output.

Strumenti di AI selezionati per il Benchmarking

• OpenAI (ChatGPT 4.0 Model with Deep Research)
• STORM (STORM, co-STORM)
• Deepseek (Deepseek-R1 model)
• Perplexity (Pro version)
• Scite.ai (Pro version)
• Gemini (Gemini 2.0 model with Deep Research)
• Kimi (k1.5 Long Thinking model)
• Elicit (Pro version)

Conclusioni
Il report si pone come guida pratica per affrontare le capacità di ricerca nell’evoluzione del panorama dell’AI. Offre raccomandazioni strategiche, una prospettiva unica per confrontare i modelli e un potenziale modello per condurre esperimenti.