RIASSUNTO NEWSLETTER TECNOLOGICHE

AI E MACHINE LEARNING

• Run Llama 3.3 70B on Your GPU with ExLlamaV3
  • ExLlamaV3 è un framework ottimizzato per l'inferenza su GPU, successore di ExLlamaV2. Promette inferenze più veloci e un algoritmo di quantizzazione migliorato. Permette di far girare modelli di grandi dimensioni (LLM) su singola GPU.
  • https://kaitchup.substack.com/p/run-llama-33-70b-on-your-gpu-with
• Fast and Memory-Efficient Full Fine-Tuning with Unsloth (single-GPU)
  • Unsloth ora supporta il fine-tuning completo di modelli LLM, precedentemente limitato ai metodi LoRA e QLoRA. È possibile eseguire il fine-tuning completo di modelli con 7-8 miliardi di parametri, come Llama 3.1 e Qwen2.5, usando una singola GPU con 48 GB di VRAM.
  • https://kaitchup.substack.com/p/fast-and-memory-efficient-full-fine
• New Nemotron Hybrid Models
  • NVIDIA ha rilasciato nuovi modelli ibridi Nemotron-H, combinando layer Mamba e Transformer per migliorare la velocità di inferenza, specialmente per il ragionamento con contesti lunghi. La variante 56B è stata pre-allenata su 20 trilioni di token e distillata in una versione 47B per GPU come RTX 5090, supportando inferenze su contesti di milioni di token in FP4.
  • https://kaitchup.substack.com/p/the-weekly-kaitchup-88
• The “1-bit” LLM by Microsoft Is Finally Here
  • Microsoft ha rilasciato il modello "1-bit LLM" (tecnicamente un modello ternario con 1.58 bit per peso), chiamato BitNet b1.58 2B4T. Questo modello da 2 miliardi di parametri è stato allenato da zero usando pesi ternari a 1.58 bit e attivazioni a 8 bit, dimostrando che una precisione estremamente bassa può eguagliare le prestazioni dei modelli a precisione completa.
  • https://kaitchup.substack.com/p/the-weekly-kaitchup-88
  • https://huggingface.co/microsoft/bitnet-b1.58-2B-4T
• d1: Scaling Reasoning in Diffusion Large Language Models via Reinforcement Learning
  • d1 è una tecnica di reinforcement learning per migliorare il ragionamento nei modelli linguistici di grandi dimensioni basati sulla diffusione (dLLM). Ha dimostrato di migliorare le prestazioni di ragionamento nei task matematici e logici, colmando il divario con i modelli autoregressivi.
  • https://www.llmwatch.com/p/the-very-first-diffusion-reasoning
• Reasoning Models Can Be Effective Without Thinking
  • NoThinking dimostra che si può bypassare il processo esplicito di "pensiero" nei modelli linguistici di grandi dimensioni (LLM) senza sacrificare le prestazioni. Questo approccio produce risultati sorprendentemente efficaci, aprendo la strada a sistemi di ragionamento veloci ed efficienti.
  • https://www.llmwatch.com/p/the-very-first-diffusion-reasoning
• Introducing OpenAI o3 and o4-mini
  • OpenAI ha rilasciato o3 e o4-mini, modelli che mirano a migliorare le capacità di ragionamento e l'uso degli strumenti. Questi modelli permettono di ragionare su quando e come utilizzare gli strumenti, affrontando problemi complessi che richiedono molteplici forme di analisi e ragionamento.
  • https://www.llmwatch.com/p/the-very-first-diffusion-reasoning
• L’AI che cambia identità e guarda sempre più al lucro
  • Meta utilizzerà i dati degli utenti europei per addestrare la sua AI. OpenAI sta pensando di creare un proprio social network. Grok ricorderà le conversazioni passate con gli utenti.
  • https://weeklyaiit.substack.com/p/equilibrismo-sul-filo-del-capitale

ARCHITETTURA SOFTWARE E DATA ENGINEERING

• The Data Engineering Roadmap
  • Viene presentata una roadmap per diventare esperti in Data Engineering, che include: linguaggi di programmazione, tecniche di processing, database, piattaforme di messaging, data lake e warehouse, piattaforme di cloud computing, sistemi di storage, strumenti di orchestrazione, automazione e deployment, frontend e dashboard.
  • https://blog.bytebytego.com/p/ep159-the-data-engineering-roadmap
• Coupling and Cohesion: The Two Principles for Effective Architecture
  • L'articolo esplora i concetti di coupling (accoppiamento) e cohesion (coesione) nell'architettura software, spiegando come influenzano l'evoluzione del codice, la facilità di deployment e l'onboarding di nuovi membri del team. Illustra come si manifestano in diversi stili e pattern architetturali.
  • https://blog.bytebytego.com/p/coupling-and-cohesion-the-two-principles
• Tecnologia (data engineering). I livelli di servizio spiegati bene:
  • Vengono spiegate le definizioni di Service Level Indicator (SLI), Service Level Status (SLS), Obiettivo del Livello di Servizio (SLO) e Accordo sul Livello di Servizio (SLA), per una migliore comprensione.
  • https://stefanogatti.substack.com/p/laculturadeldato-162

TECNOLOGIA AZIENDALE E PRODUTTIVITÀ

• Augmented Work: The AI Teammates Are Coming
  • L'articolo esplora la collaborazione tra umani e AI (HAT), dove i sistemi AI sono partner attivi che condividono obiettivi e responsabilità. Introduce il framework T4: Team Formation, Task and Role Development, Team Development, Team Improvement.
  • https://www.llmwatch.com/p/augmented-work-the-ai-teammates-are
• Google’s Agent2Agent (A2A) Explained
  • Agent-to-Agent (A2A) è un framework di comunicazione che consente ai sistemi AI di collaborare come un team ben coordinato. Permette ad agenti specializzati di connettersi con altri agenti, anche creati da team o aziende diverse, focalizzandosi su ciò che fanno meglio.
  • https://diamantai.substack.com/p/googles-agent2agent-a2a-explained
• L’AI che cambia identità e guarda sempre più al lucro
  • Anthropic crea un nuovo team per promuovere prodotti AI tra i clienti di Amazon. Anthropic sta integrando Claude con Google Workspace.
  • https://weeklyaiit.substack.com/p/equilibrismo-sul-filo-del-capitale

NOVITÀ E TREND NEL MONDO DEI DATI

• Back to 41: K-means a fumetti (e non solo): perché le immagini aiutano davvero a capire
  • L'articolo sottolinea l'importanza delle illustrazioni per semplificare concetti complessi nel mondo dell'intelligenza artificiale e del machine learning. In particolar modo, vengono citate le illustrazioni di Allison Horst.
  • https://stefanogatti.substack.com/p/laculturadeldato-162
  • https://alison.rbind.io/post/2020-07-23-exploring-hex-stickers/
• Investimenti in ambito dati e algoritmi. Start-up del mese Marzo 2025: Reflection.ai
  • Reflection AI, una startup fondata da ex ricercatori di DeepMind, ha raccolto 130 milioni di dollari per sviluppare agenti di intelligenza artificiale completamente autonomi.
  • https://stefanogatti.substack.com/p/laculturadeldato-162
• Etica & regolamentazione & impatto sulla società. Diventa un Data-Tycoon (ma occhio ai cyber attacchi 😅)
  * Il gioco DATA! The Game® è pensato per educare e sensibilizzare sull'importanza dei dati nell'era digitale. Nel gioco, i partecipanti competono per costruire imperi basati sui dati digitali.
  * https://stefanogatti.substack.com/p/laculturadeldato-162

ALTRO

• Popular interview question: What is the difference between Process and Thread?
  • Un programma è un file eseguibile contenente un insieme di istruzioni. Un Processo è un programma in esecuzione. Un Thread è la più piccola unità di esecuzione all'interno di un processo.
  • https://blog.bytebytego.com/p/ep159-the-data-engineering-roadmap
• What do version numbers mean?
  • SemVer utilizza un numero di versione a tre parti: MAJOR.MINOR.PATCH. MAJOR viene incrementato quando ci sono modifiche all'API incompatibili. MINOR viene incrementato quando viene aggiunta una funzionalità in modo retrocompatibile. PATCH viene incrementato quando vengono apportate correzioni di bug retrocompatibili.
  • https://blog.bytebytego.com/p/ep159-the-data-engineering-roadmap
• How Transformers Architecture Works?
  • Un modello basato su Transformer ha due parti principali: encoder e decoder. L'encoder processa l'input, il decoder genera l'output. Le parole vengono convertite in vettori, viene aggiunto il Positional Encoding per tenere traccia della posizione delle parole, viene utilizzata l'attenzione Multi-Head per determinare le relazioni tra le parole.
  • https://blog.bytebytego.com/p/ep159-the-data-engineering-roadmap
• Top YouTube Channels and Blogs for AI Learning in 2025
  • Vengono elencati canali YouTube e blog per l'apprendimento dell'AI, tra cui Two Minute Papers, DeepLearning AI, Lex Fridman, TowardsDataScience, OpenAI Blog, DeepMind Blog.
  • https://blog.bytebytego.com/p/ep159-the-data-engineering-roadmap

TENDENZE DELLA SETTIMANA

• Modelli Ibridi e Quantizzazione: Crescente interesse per modelli ibridi (Mamba-Transformer), inferenza efficiente e quantizzazione (1-bit LLM, FP4).
• AI Agents e Collaborazione: Focus sulla collaborazione tra agenti AI, Agent2Agent (A2A) e lo sviluppo di agenti autonomi in grado di utilizzare tool.
• Fine-tuning low cost: Possibilità di effettuare fine-tuning di modelli di grandi dimensioni in casa utilizzando una singola GPU.
• Questione Etica e Controllo: La trasformazione di OpenAI da laboratorio di ricerca a società commerciale solleva preoccupazioni.