AI Security: valutazione e protezione dei sistemi di intelligenza artificiale

Threat modeling per applicazioni e infrastrutture AI

Un'applicazione AI ha una superficie d'attacco diversa da un'applicazione tradizionale: istruzioni di sistema, prompt degli utenti, documenti recuperati da una knowledge base, database vettoriali, modelli di terze parti, strumenti e API che il modello può invocare. Il threat modeling identifica questi componenti, i confini di fiducia tra loro e i modi in cui un attaccante può abusarne.

Partiamo da un diagramma dell'architettura e dei flussi di dati, individuiamo per ciascun componente minacce e impatti con riferimento alle tecniche catalogate in MITRE ATLAS e alla OWASP Top 10 for LLM Applications, e definiamo quali controlli verificare nei test.

• Mappa di componenti, dati e confini di fiducia
• Scenari di abuso specifici per il caso d'uso
• Priorità dei rischi per impatto su dati e processi
• Piano dei test di sicurezza

Sicurezza di LLM e applicazioni basate su RAG

Nelle applicazioni RAG (Retrieval-Augmented Generation) il modello risponde usando documenti recuperati da una base di conoscenza aziendale. Il rischio principale è che il sistema restituisca a un utente informazioni che non dovrebbe vedere, perché i permessi sui documenti non vengono applicati al momento del recupero, o che documenti manipolati alterino il comportamento del modello.

Verifichiamo controllo degli accessi a livello di documento e di frammento, isolamento tra utenti e clienti, qualità e integrità della base di conoscenza, gestione degli embedding e del database vettoriale, e la gestione sicura degli output prima che vengano mostrati o passati ad altri sistemi.

• Permessi applicati al recupero dei documenti
• Isolamento multi-tenant di indici ed embedding
• Integrità e provenienza dei contenuti indicizzati
• Validazione e codifica degli output del modello

Prompt injection diretta e indiretta

La prompt injection è al primo posto della OWASP Top 10 for LLM Applications 2026. Nella forma diretta l'utente scrive istruzioni che inducono il modello a ignorare le regole previste. Nella forma indiretta le istruzioni malevole sono nascoste in contenuti che il modello elabora: una pagina web, una email, un documento caricato, un campo di un ticket.

Non esiste oggi una difesa che elimini completamente il rischio. La protezione efficace combina più livelli: separazione tra istruzioni e dati, limitazione di ciò che il modello può fare, filtri su input e output, conferma umana per le azioni sensibili e monitoraggio. Nell'assessment misuriamo quanto è facile aggirare i controlli e cosa si ottiene quando ci si riesce.

• Test di jailbreak e aggiramento delle istruzioni di sistema
• Injection indiretta tramite documenti, email e pagine web
• Estrazione delle istruzioni di sistema e del contesto nascosto
• Valutazione dell'impatto quando l'attacco riesce

Data leakage, esposizione di informazioni e gestione dei segreti

Un sistema AI può esporre informazioni sensibili in molti modi: dati personali o riservati presenti nel contesto, credenziali inserite nelle istruzioni di sistema, chiavi API nel codice dell'applicazione, conversazioni conservate dal fornitore, log che registrano prompt e risposte complete.

Verifichiamo cosa entra nel contesto del modello e chi può farlo uscire, dove sono custodite le chiavi e con quali permessi, cosa conservano i fornitori secondo i contratti e le impostazioni, e se i log sono protetti come i dati che contengono.

• Inventario dei dati accessibili al modello
• Gestione di chiavi API e segreti fuori dai prompt
• Impostazioni di conservazione dei dati presso i fornitori
• Protezione e minimizzazione dei log

Sicurezza delle API e delle integrazioni con strumenti esterni

Quando un modello può chiamare strumenti, inviare email, modificare record o eseguire codice, una risposta manipolata diventa un'azione reale. La OWASP Top 10 for LLM Applications 2026 colloca l'eccesso di autonomia (excessive agency) al terzo posto.

Verifichiamo che ogni strumento abbia il minimo privilegio necessario, che le azioni con effetti rilevanti richiedano conferma umana, che le API siano autenticate e limitate nell'uso, e che il sistema non possa essere sfruttato per consumare risorse in modo incontrollato.

• Minimo privilegio per strumenti e connettori
• Conferma umana per le azioni sensibili
• Autenticazione, autorizzazione e limiti sulle API
• Protezione da consumo incontrollato di risorse

Rischi della supply chain: modelli, dataset e dipendenze

Modelli pre-addestrati, dataset, librerie e plugin di terze parti entrano nel perimetro di sicurezza dell'applicazione. Un modello scaricato da un repository pubblico può contenere codice eseguibile o comportamenti indesiderati; un dataset può essere stato manipolato per influenzare le risposte.

Valutiamo provenienza e integrità di modelli e dataset, formati di serializzazione sicuri, versioni e vulnerabilità note delle dipendenze, termini contrattuali dei fornitori di modelli e la documentazione disponibile sul loro addestramento e sui limiti noti.

• Inventario di modelli, dataset e dipendenze
• Verifica di provenienza e integrità
• Analisi delle vulnerabilità delle librerie
• Due diligence sui fornitori di modelli

AI red teaming, test avversariali e validazione dei controlli

L'AI red teaming simula in modo strutturato il comportamento di un attaccante o di un utente malintenzionato per verificare come il sistema reagisce. Combina test manuali guidati dal threat model, raccolte di prompt avversariali e strumenti automatici, e valuta sia la sicurezza sia la produzione di contenuti dannosi o inaccurati.

Ogni campagna ha un perimetro e regole d'ingaggio concordate, e si conclude con un report che descrive le tecniche usate, i risultati riproducibili e le raccomandazioni. Un assessment riduce il rischio e ne aumenta la visibilità, ma non può garantire l'assenza di vulnerabilità né individuarle tutte: i sistemi AI cambiano con modelli, dati e configurazioni, e i test vanno ripetuti.

• Perimetro e regole d'ingaggio concordati
• Test manuali e automatici guidati dal threat model
• Mappatura su OWASP Top 10 LLM 2026 e MITRE ATLAS
• Report con evidenze riproducibili e priorità
• Retest dopo la correzione
• Supporto alle evidenze richieste dall'art. 15 AI Act

Mitigazioni, monitoraggio e gestione degli incidenti

Le mitigazioni vengono scelte in base al rischio e al caso d'uso: architettura che limita i privilegi del modello, filtri e classificatori su input e output, separazione dei contesti, controlli sugli accessi ai dati, conferma umana, limiti d'uso. Il NIST AI 600-1, profilo per l'AI generativa del NIST AI RMF, offre un catalogo di azioni di riferimento.

In produzione servono monitoraggio dei comportamenti anomali, conservazione protetta dei log e una procedura di risposta agli incidenti che consideri gli scenari tipici dell'AI: fuga di dati tramite il modello, abuso degli strumenti collegati, output dannosi. Integriamo questi scenari nel piano di incident response e, se attivo, nel SOC gestito.