RIASSUNTO "Lessons from red teaming 100 generative AI products"

Autori: Microsoft AI Red Team
Titolo originale: Lessons from red teaming 100 generative AI products

Questo documento esplora le lezioni apprese dal team di Microsoft AI Red Team (AIRT) attraverso il red teaming di oltre 100 prodotti di AI generativa (GenAI). Il red teaming, in questo contesto, è il processo di simulazione di attacchi realistici per valutare la sicurezza e l'affidabilità dei sistemi di AI. L'articolo presenta un modello di minaccia interno e otto lezioni chiave, accompagnate da case study pratici.

Introduzione: Red Teaming AI Generativa

L'AI generativa si sta diffondendo in un numero crescente di settori, rendendo essenziale il red teaming per valutare la sicurezza. Il red teaming AI cerca di superare i benchmark di sicurezza dei modelli, emulando attacchi reali contro sistemi end-to-end. Tuttavia, ci sono ancora molte domande su come condurre efficacemente queste operazioni e un sano scetticismo sull'efficacia degli sforzi attuali.

Al Threat Model Ontology

Per modellare la crescente complessità degli attacchi e dei modi di fallimento, Microsoft ha sviluppato un'ontologia che comprende:

• System: Il modello o l'applicazione end-to-end testata.
• Actor: La persona o le persone emulate dall'AIRT, con intenti avversari o benigni.
• TTPs: Le Tattiche, Tecniche e Procedure utilizzate dall'AIRT, mappate a MITRE ATT&CK® e MITRE ATLAS Matrix.
• Weakness: La vulnerabilità nel sistema che rende possibile l'attacco.
• Impact: L'impatto a valle creato dall'attacco, come l'escalation dei privilegi o la generazione di contenuti dannosi.

Le Otto Lezioni Chiave

1. Capire cosa può fare il sistema e dove è applicato:
   • I modelli più grandi acquisiscono nuove capacità che possono introdurre nuovi vettori di attacco. Considerare le limitazioni e le applicazioni del sistema è cruciale per indirizzare i test.
2. Non serve calcolare i gradienti per violare un sistema di AI:
   • Gli attacchi semplici spesso funzionano altrettanto bene, se non meglio, dei metodi basati sui gradienti. Invece di concentrarsi su tecniche complesse, adottare una mentalità di "hacker" e orchestrare attacchi a livello di sistema.
3. Il red teaming AI non è un benchmark di sicurezza:
   • I benchmark misurano nozioni preesistenti di danno, mentre il red teaming AI esplora scenari non familiari e nuove categorie di danno.
4. L'automazione può aiutare a coprire più del paesaggio del rischio:
   • Strumenti come PyRIT accelerano l'identificazione delle vulnerabilità ed eseguono test su larga scala, ma non sostituiscono il giudizio umano.
5. L'elemento umano del red teaming AI è cruciale:
   • Competenza specifica, competenza culturale e intelligenza emotiva sono essenziali per valutare i rischi in modo accurato.
6. I danni dell'AI responsabile sono pervasivi ma difficili da misurare:
   • A differenza delle vulnerabilità di sicurezza, i danni dell'AI responsabile sono soggettivi e richiedono un'analisi dettagliata.
7. Gli LLM amplificano i rischi di sicurezza esistenti e ne introducono di nuovi:
   • È importante considerare sia i rischi tradizionali a livello di sistema sia le nuove vulnerabilità introdotte dai modelli AI.
8. Il lavoro di protezione dei sistemi AI non sarà mai completo:
   • La sicurezza AI richiede un approccio continuo, che combina innovazione tecnica, cicli di break-fix e politiche normative.

Case Study

1. Jailbreaking di un modello linguistico visivo: dimostra come sovrapporre istruzioni testuali a un'immagine possa generare contenuti pericolosi, bypassando le protezioni di sicurezza.
2. Valutare come un LLM potrebbe essere utilizzato per automatizzare le truffe: evidenzia come gli LLM con protezioni di sicurezza insufficienti possano essere sfruttati per persuadere e truffare le persone.
3. Valutare come un chatbot risponde a un utente in difficoltà: esplora i danni psicosociali valutando come un chatbot risponde a utenti angosciati.
4. Sondare un generatore di testo-immagine per la distorsione di genere: mostra come il modello possa perpetuare stereotipi di genere comuni.
5. SSRF in un'applicazione GenAI di elaborazione video: illustra l'importanza di aggiornare e isolare le dipendenze critiche per prevenire vulnerabilità note come SSRF.

Conclusione

Il red teaming AI è essenziale per identificare i rischi per la sicurezza posti dai sistemi di intelligenza artificiale. È necessario un framework strutturato come il "threat model" presentato nel documento, nonchè la messa in pratica delle otto lezioni identificate attraverso i numerosi test e casi studio presentati.