RIASSUNTO NEWSLETTER TECNOLOGICHE

AI E MODELLI LINGUISTICI

• MoE-Quant: Quantizzazione rapida di modelli MoE di grandi dimensioni
  • IST-DASLab ha sviluppato MoE-Quant, una tecnica di quantizzazione efficiente per modelli MoE come DeepSeek-V3/R1. Utilizza un kernel Triton veloce per GPTQ, parallelismo esperto e parallelismo dei dati per quantizzare modelli di grandi dimensioni in sole 2 ore su una macchina con 8 GPU H100.
  • GitHub: IST-DASLab/MoE-Quant https://substack.com/redirect/d76ca12d-1ece-493b-b00f-ec4a431d1047?j=eyJ1IjoiNTJyZXpoIn0.NmKOythuvZxcJwvRIKbRe3-INoPsUkrLYhPZH4HVw9U
• Llama-3.1-Nemotron-Ultra-253B: Performance superiore a Llama 4
  • NVIDIA ha creato Llama-3.1-Nemotron-Ultra-253B, un modello open source che supera Llama 4 Maverick pur essendo più piccolo. Utilizza Neural Architecture Search (NAS) per ottimizzare l'architettura, consentendo l'uso commerciale. Dispone di versioni da 8B, 49B e 253B parametri,
  • Llama Nemotron https://substack.com/redirect/6c0022a0-b758-4b5d-af8b-aeed5eb30e6a?j=eyJ1IjoiNTJyZXpoIn0.NmKOythuvZxcJwvRIKbRe3-INoPsUkrLYhPZH4HVw9U
• Lancio deludente di Llama 4
  • Il lancio di Llama 4 è stato inaspettatamente silenzioso e focalizzato su modelli MoE di grandi dimensioni, con performance iniziali deludenti. L'assenza di una relazione tecnica e di aggiornamenti architetturali ha sollevato interrogativi sulle priorità di Meta e sulle possibili sfide interne che potrebbero aver influenzato il rilascio. Ci si aspetta comunque un grande sforzo dalla community open-source per ottimizzarlo.
• TxGemma: LLM efficienti per la terapeutica
  • TxGemma è una suite di modelli linguistici efficienti (2B, 9B e 27B parametri) basati su Gemma-2, addestrati su vasti dataset terapeutici. Include TxGemma-Predict per la predizione di proprietà e TxGemma-Chat per la conversazione scientifica, integrati nel sistema Agentic-Tx basato su Gemini 2.5 per flussi di lavoro complessi. I modelli sono capaci di ragionamento esplicativo, migliorando l'accessibilità e l'affidabilità nell'ambito dello sviluppo di farmaci.
  • paper https://substack.com/redirect/30d4fc32-a4e4-4041-89da-c319c8e87296?j=eyJ1IjoiNTJyZXpoIn0.NmKOythuvZxcJwvRIKbRe3-INoPsUkrLYhPZH4HVw9U

SICUREZZA E DATI

• Vibe Coding: Sicurezza per sviluppatori AI
  • Guida introduttiva alla sicurezza per chi sviluppa app con AI. Sottolinea l'importanza di proteggere API key, dati degli utenti e la stabilità dell'applicazione. Evidenzia come la perdita di API key possa generare costi elevati e la compromissione dei dati porti a perdita di fiducia degli utenti.

AGENTI DI INTELLIGENZA ARTIFICIALE

• OpenAI: Architettura modulare per agenti AI personalizzati
  • OpenAI ha introdotto la Responses API e l'Agents SDK, spostandosi da assistenti pre-configurati a building block modulari per la creazione di agenti personalizzati. La Responses API unifica l'elaborazione delle informazioni e semplifica le interazioni, mentre l'Agents SDK facilita la coordinazione di agenti specializzati.
• Google: Architettura "reasoning-first" con Vertex AI
  • Google si focalizza sul ragionamento come fondamento dell'agency, con Gemini 2.5 Pro che integra moduli di ragionamento avanzati. Vertex AI Agent Engine affronta le sfide ingegneristiche di sviluppo e implementazione di agenti, offrendo connettività semplificata, RAG integrato e integrazione di funzioni Python.
• KnowSelf: Auto-consapevolezza contestuale per agenti AI
  • KnowSelf è un modello di agenti AI che integra la consapevolezza situazionale per utilizzare le risorse in modo più efficiente. Gli agenti identificano automaticamente quando applicare "pensiero veloce", "pensiero lento" o "pensiero informato", riducendo i costi di calcolo e migliorando le prestazioni.

LIFE SCIENCE ED AI

• ATOMICA: Rappresentazioni universali delle interazioni intermolecolari
  • ATOMICA è un modello di deep learning geometrico che apprende rappresentazioni universali delle interfacce intermolecolari tra diverse tipologie di molecole, come proteine, acidi nucleici e farmaci. Questo modello facilita la scoperta di farmaci e migliora la comprensione dei meccanismi biologici.
  • Paper https://substack.com/redirect/3ad34e25-0a65-414a-869c-e787f3e027e5?j=eyJ1IjoiNTJyZXpoIn0.NmKOythuvZxcJwvRIKbRe3-INoPsUkrLYhPZH4HVw9U, Code https://substack.com/redirect/1441ed59-e95f-4fed-a577-9683ceacd1aa?j=eyJ1IjoiNTJyZXpoIn0.NmKOythuvZxcJwvRIKbRe3-INoPsUkrLYhPZH4HVw9U

RICERCA E SVILUPPO

• Beyond the Next Token: Robustezza dei prompt per la classificazione zero-shot
  • P3 (Placeholding Parallel Prediction) migliora la robustezza della classificazione zero-shot simulando il campionamento completo dei percorsi di generazione, riducendo la dipendenza dai prompt.
  • https://substack.com/redirect/570f88eb-ef35-4e08-8362-1582a6e9271b?j=eyJ1IjoiNTJyZXpoIn0.NmKOythuvZxcJwvRIKbRe3-INoPsUkrLYhPZH4HVw9U
• LightPROF: Framework leggero per il ragionamento con Knowledge Graph
  • LightPROF utilizza Knowledge Graph (KG) e un processo Retrieve-Embed-Reason per migliorare il ragionamento degli LLM, offrendo efficienza dei parametri e accelerazione del tempo di elaborazione.
  • https://substack.com/redirect/3e450f78-9cc5-4cbb-9c46-dad3bcb9a576?j=eyJ1IjoiNTJyZXpoIn0.NmKOythuvZxcJwvRIKbRe3-INoPsUkrLYhPZH4HVw9U
• DeepResearcher: Scaling Deep Research con Reinforcement Learning
  • DeepResearcher addestra agenti basati su LLM per la ricerca approfondita in ambienti reali, superando le limitazioni dei prompt e del Retrieval-Augmented Generation con un'architettura multi-agente.
  • https://substack.com/redirect/050f6092-7343-496b-9d75-b66cc793fa27?j=eyJ1IjoiNTJyZXpoIn0.NmKOythuvZxcJwvRIKbRe3-INoPsUkrLYhPZH4HVw9U
• Single-Pass Document Scanning per Question Answering
  • Il Single-pass document scanning offre un'efficiente risposta alle domande su testi massivi, elaborando i documenti in tempo lineare e preservando la coerenza globale.
  • https://substack.com/redirect/b1bca150-7f42-460b-bd91-62a8538eff3d?j=eyJ1IjoiNTJyZXpoIn0.NmKOythuvZxcJwvRIKbRe3-INoPsUkrLYhPZH4HVw9U
• ThoughtProbe: Esplorazione dello spazio del pensiero guidata da classificatori
  • ThoughtProbe rileva le capacità di ragionamento intrinseche degli LLM nello spazio di attivazione, guidando una ricerca per migliorare le prestazioni di ragionamento aritmetico.
  • https://substack.com/redirect/c26d15c1-742d-49f6-8640-8048e5e72036?j=eyJ1IjoiNTJyZXpoIn0.NmKOythuvZxcJwvRIKbRe3-INoPsUkrLYhPZH4HVw9U
• FeedbackEval: Benchmark per la valutazione di LLM nella riparazione del codice
  • FeedbackEval valuta modelli linguistici di grandi dimensioni (GPT-4o, GLM-4, Qwen2.5) nella riparazione del codice, evidenziando come il feedback strutturato migliori il successo.
  • https://substack.com/redirect/f0d898e8-e4bb-4fc5-a099-a9b4620e3f73?j=eyJ1IjoiNTJyZXpoIn0.NmKOythuvZxcJwvRIKbRe3-INoPsUkrLYhPZH4HVw9U
• NeedleInATable: Esplorazione della capacità dei modelli linguistici di gestire Long-Context
  • NIAT analizza la capacità degli LLM di estrarre informazioni da tabelle lunghe e strutturate, rivelando correlazioni superficiali e migliorando la comprensione grazie a un metodo di sintesi dei dati.
  • https://substack.com/redirect/9be05689-0bbd-4e0d-9c88-6fb30db27c5c?j=eyJ1IjoiNTJyZXpoIn0.NmKOythuvZxcJwvRIKbRe3-INoPsUkrLYhPZH4HVw9U
• Plan-and-Refine: Retrieval-Augmented Generation diversificata e completa
  • Plan-and-Refine (P&R) supera le limitazioni di diversità del retrieval-augmented LLM tramite l'esplorazione globale e lo sfruttamento locale, guidato da un modello di ricompensa.
  • https://substack.com/redirect/3087ca76-736d-482f-a260-d51e51b19a27?j=eyJ1IjoiNTJyZXpoIn0.NmKOythuvZxcJwvRIKbRe3-INoPsUkrLYhPZH4HVw9U
• PR-Attack: Attacchi coordinati Prompt-RAG
  • PR-attack utilizza l'ottimizzazione bilevel per iniettare testi avvelenati e un trigger backdoor per causare risposte mirate nei modelli RAG, eludendo i sistemi di rilevamento delle anomalie.
  • https://substack.com/redirect/febbc6cc-6fb5-4cde-bc74-df8883d78ad8?j=eyJ1IjoiNTJyZXpoIn0.NmKOythuvZxcJwvRIKbRe3-INoPsUkrLYhPZH4HVw9U
• ConceptFormer: Utilizzo efficiente degli Embeddings di Knowledge-Graph nei LLM
  • ConceptFormer aumenta i LLM con la conoscenza di Wikidata tramite vettori di concetti, migliorando il richiamo fattuale e superando i knowledge graph testificati in RAG.
  • https://substack.com/redirect/f1b5ed9b-804f-4a64-b390-dc9bc959ca11?j=eyJ1IjoiNTJyZXpoIn0.NmKOythuvZxcJwvRIKbRe3-INoPsUkrLYhPZH4HVw9U

TENDENZE DELLA SETTIMANA

• Spostamento verso agenti AI modulari: Si nota una tendenza verso architetture modulari per gli agenti AI, con OpenAI che fornisce building block e Google che integra il ragionamento nell'architettura di base.
• Importanza della sicurezza nelle applicazioni AI: La sicurezza dei dati e delle API key resta una preoccupazione critica, soprattutto per gli sviluppatori che utilizzano strumenti AI per la prototipazione rapida.
• Ottimizzazione delle risorse e consapevolezza situazionale: KnowSelf evidenzia l'importanza di agenti AI che utilizzano le risorse in modo più efficiente e che sono consapevoli del contesto in cui operano.
• AI nel life science L'AI viene utilizzata con successo per la ricerca farmacologica e per comprendere meglio le interazioni biologiche fra molecole