Che cos'è l'AI Security Posture Management (AI-SPM)?
La gestione della postura di sicurezza dell'AI (AI-SPM) è un approccio completo per mantenere la sicurezza e l'integrità dei sistemi di intelligenza artificiale (AI) e apprendimento automatico (ML) . Comporta il monitoraggio, la valutazione e il miglioramento continui della posizione di sicurezza dei modelli, dei dati e dell'infrastruttura dell'AI. L'AI-SPM comprende l'identificazione e la risoluzione delle vulnerabilità, delle configurazioni errate e dei rischi potenziali associati all'adozione dell'AI, oltre a garantire la conformità alle normative pertinenti in materia di privacy e sicurezza.
Implementando l'AI-SPM, le organizzazioni possono proteggere in modo proattivo i loro sistemi AI dalle minacce, ridurre al minimo l'esposizione dei dati e mantenere l'affidabilità delle loro applicazioni AI.
L'AI-SPM spiegato
La gestione della postura di sicurezza AI (AI-SPM) è un componente vitale nei paesaggi della cybersecurity, dove l'intelligenza artificiale (AI) gioca un ruolo fondamentale. I sistemi AI, che comprendono modelli di apprendimento automatico, grandi modelli linguistici (LLM)e sistemi decisionali automatizzati, presentano vulnerabilità uniche e superfici di attacco. AI-SPM affronta questi aspetti fornendo meccanismi per la visibilità, la valutazione e la mitigazione dei rischi associati ai componenti AI all'interno degli ecosistemi tecnologici.
Visibilità e scoperta
La mancanza di un inventario dell'AI può portare a modelli di AI ombra, a violazioni della conformità e all'esfiltrazione di dati attraverso applicazioni alimentate dall'AI. AI-SPM consente alle organizzazioni di scoprire e mantenere un inventario di tutti i modelli AI utilizzati nei loro ambienti cloud, insieme alle risorse cloud associate, alle fonti di dati e alle pipeline di dati coinvolte nell'addestramento, nella messa a punto o nella messa a terra di questi modelli.
Governance dei dati
La legislazione incentrata sull'AI impone controlli rigorosi sull'utilizzo dell'AI e sui dati dei clienti immessi nelle applicazioni AI, richiedendo una governance dell'AI più forte di quella attualmente praticata dalla maggior parte delle organizzazioni. AI-SPM ispeziona le fonti di dati utilizzate per l'addestramento e la messa a terra dei modelli AI per identificare e classificare i dati sensibili o regolamentati - come le informazioni di identificazione personale (PII) dei clienti - che potrebbero essere esposti attraverso gli output, i log o le interazioni dei modelli contaminati.
Gestione del rischio
AI-SPM consente alle organizzazioni di identificare le vulnerabilità e le configurazioni errate nella catena di fornitura dell'AI che potrebbero portare all' esfiltrazione dei dati o all'accesso non autorizzato ai modelli e alle risorse dell'AI. La tecnologia mappa l'intera catena di fornitura dell'AI - dati di origine, dati di riferimento, librerie, API e pipeline che alimentano ogni modello. Quindi analizza questa catena di fornitura per identificare impostazioni improprie di crittografia, registrazione, autenticazione o autorizzazione.
Monitoraggio e rilevamento in fase di esecuzione
AI-SPM monitora continuamente le interazioni dell'utente, i prompt e gli input ai modelli AI (come i modelli linguistici di grandi dimensioni) per rilevare l'uso improprio, il sovraccarico dei prompt, i tentativi di accesso non autorizzato o le attività anomale che coinvolgono i modelli. Esamina le uscite e i registri dei modelli AI per identificare potenziali casi di esposizione di dati sensibili .
Mitigazione del rischio e risposta
Quando vengono rilevati incidenti di sicurezza ad alta priorità o violazioni di policy sui dati o sull'infrastruttura AI, AI-SPM consente flussi di lavoro di risposta rapida. Fornisce visibilità sul contesto e sulle parti interessate per la correzione dei rischi o delle configurazioni errate identificate.
Governance e conformità
Con l'aumento delle normative sull'utilizzo dell'AI e dei dati dei clienti, come il GDPR e il quadro di Gestione dei Rischi dell'Intelligenza Artificialedel NIST, AI-SPM aiuta le organizzazioni a far rispettare le politiche, a mantenere i percorsi di audit - compresa la tracciabilità del lignaggio dei modelli, delle approvazioni e dei criteri di accettazione dei rischi - e a raggiungere la conformità, mappando le identità umane e meccaniche con accesso ai dati sensibili o ai modelli di AI.
Perché l'AI-SPM è importante?
La distribuzione di sistemi di intelligenza artificiale nelle aziende e nelle infrastrutture critiche comporta una maggiore superficie di attacco che le misure di sicurezza tradizionali non sono in grado di proteggere. Oltre alle applicazioni alimentate dall'AI che richiedono alle organizzazioni di archiviare e conservare più dati (implementando al contempo nuove pipeline e infrastrutture), i vettori di attacco dell'AI mirano a caratteristiche uniche degli algoritmi di AI e includono una classe distinta di minacce.
Uno di questi vettori di attacco è l'avvelenamento dei dati, in cui gli attori malintenzionati iniettano campioni accuratamente elaborati nei dati di addestramento, inducendo il modello AI ad apprendere modelli distorti o dannosi. Gli attacchi avversari, invece, comportano sottili disturbi ai dati di ingresso che possono indurre il sistema AI a fare previsioni o decisioni errate, potenzialmente con gravi conseguenze.
Anche l'estrazione del modello - quando un aggressore tenta di rubare il modello proprietario di un'organizzazione attraverso un accesso non autorizzato o sondando le uscite del modello per ricostruire i suoi parametri interni - è preoccupante. Un attacco di questo tipo potrebbe comportare un furto di proprietà intellettuale e un potenziale uso improprio del modello rubato per scopi malevoli.
AI-SPM è la risposta di sicurezza all'adozione dell'AI. Fornendo alle organizzazioni gli strumenti per anticipare e rispondere alle vulnerabilità e agli attacchi specifici dell'AI, AI-SPM supporta un livello di sicurezza proattivo, dando alle organizzazioni la capacità di gestire i rischi nella pipeline dell'AI. Dalla fase iniziale di progettazione fino alla distribuzione e all'uso operativo, AI-SPM assicura che la sicurezza dell'IA sia parte integrante del ciclo di vita dello sviluppo dell'IA.
In cosa si differenzia AI-SPM da CSPM?
La gestione della postura di sicurezza del cloud (CSPM) e l'AI-SPM sono complementari, ma si concentrano sulla gestione della postura di sicurezza in domini diversi, rispettivamente l'infrastruttura cloud e i sistemi AI/ML.
Il CSPM si concentra sulla valutazione e sulla mitigazione dei rischi negli ambienti cloud pubblici, come AWS, Azure e GCP. I suoi obiettivi principali sono garantire che le risorse cloud siano configurate correttamente secondo le best practice di sicurezza, rilevare le configurazioni errate che creano vulnerabilità e imporre la conformità alle politiche normative.
Le capacità principali del CSPM includono:
- Individuazione e inventario continui di tutti gli asset cloud (calcolo, archiviazione, rete, ecc.).
- Valutazione delle regole dei gruppi di sicurezza, delle politiche IAM e delle impostazioni di crittografia rispetto ai benchmark.
- Monitoraggio delle modifiche alla configurazione che introducono nuovi rischi
- Correzione automatica delle configurazioni insicure
Al contrario, la gestione della postura di sicurezza dell'AI si concentra sulle considerazioni di sicurezza uniche dei sistemi di AI e ML attraverso il loro ciclo di vita: dati, formazione dei modelli, distribuzione e operazioni. AI-SPM incorpora controlli di sicurezza specializzati su misura per le risorse AI, come i dati di formazione, i modelli e i notebook. Mantiene una base di conoscenze che traccia le minacce dell'intelligenza artificiale e le contromisure applicabili.
Per mitigare i rischi dei dati, l'AI-SPM incorpora il rilevamento e la prevenzione dell'avvelenamento e dell'inquinamento dei dati, dove le alterazioni dannose dei dati di formazione vengono identificate e neutralizzate. Sfrutta anche le tecniche di privacy differenziale, consentendo alle organizzazioni di condividere i dati in modo sicuro senza esporre informazioni sensibili.
Per proteggere la catena di fornitura dei modelli, AI-SPM si affida a un rigoroso controllo delle versioni e alla tracciabilità della provenienza per gestire le iterazioni e la storia dei modelli. A ciò si aggiungono la crittografia e i controlli di accesso che proteggono la riservatezza dei modelli, oltre a test specializzati progettati per contrastare gli attacchi di estrazione del modello e di inferenza di appartenenza.
La protezione dei sistemi AI e ML dal vivo include il monitoraggio delle perturbazioni di input avversarie, ossia gli sforzi per ingannare i modelli AI attraverso input distorti. L'indurimento del modello di runtime viene impiegato per aumentare la resilienza dei sistemi di intelligenza artificiale contro questi attacchi.
AI-SPM incorpora controlli di sicurezza specializzati su misura per gli asset dell'AI, come i dati di formazione, i modelli, i notebook, oltre a modelli di minaccia specifici per l'AI per rischi come gli attacchi avversari, il furto di modelli, ecc. Mantiene una base di conoscenze che mappa le minacce dell'AI con le contromisure applicabili.
Mentre il CSPM si concentra sulla postura di sicurezza dell'infrastruttura cloud, l'AI-SPM regola la postura di sicurezza dei sistemi AI/ML che possono essere distribuiti su cloud o locali. Man mano che l'AI viene incorporata negli stack cloud, le due discipline devono essere sincronizzate per una gestione completa del rischio.
Ad esempio, CSPM assicura che le risorse cloud che ospitano i carichi di lavoro AI abbiano configurazioni corrette, mentre AI-SPM convalida se i modelli e le pipeline dei dati distribuiti hanno un adeguato rafforzamento della sicurezza. Insieme, forniscono visibilità della postura di sicurezza AI full-stack e mitigazione dei rischi.
AI-SPM Vs. DSPM
La sicurezza dei dati e la gestione della privacy (DSPM) e l'AI-SPM sono domini distinti ma complementari all'interno del campo più ampio della gestione della sicurezza e della privacy. Il DSPM si concentra sulla protezione dei dati a riposo, in transito e durante l'elaborazione, garantendone la riservatezza, l'integrità e la disponibilità. Gli aspetti chiave del DSPM includono la crittografia, il controllo degli accessi, la classificazione dei datie la.
La gestione della postura di sicurezza dell'AI si occupa di proteggere i modelli, gli algoritmi e i sistemi dell'AI. Affronta le sfide uniche poste dalle tecnologie AI, come gli attacchi avversari, l'avvelenamento dei dati, il furto di modelli e i pregiudizi. AI-SPM comprende la formazione sicura dei modelli, le tecniche di AI che preservano la privacy, la difesa dagli attacchi e la spiegabilità.
Sebbene DSPM e AI-SPM affrontino aspetti diversi della sicurezza e della privacy dei dati, funzionano insieme per creare una strategia di sicurezza completa e olistica. Il DSPM fornisce una base per la protezione dei dati, mentre l'AI-SPM garantisce l'uso sicuro e responsabile delle tecnologie AI che elaborano e analizzano i dati. L'integrazione di entrambi i domini consente alle organizzazioni di salvaguardare sia i loro asset di dati che i loro sistemi di AI, riducendo al minimo i rischi e garantendo la conformità dei dati alle normative pertinenti.
AI-SPM all'interno di MLSecOps
La gestione della postura di sicurezza dell'AI è una pietra miliare delle operazioni di sicurezza dell'apprendimento automatico (MLSecOps), le pratiche e gli strumenti utilizzati per proteggere il ciclo di vita del ML. MLSecOps comprende tutto, dalla protezione dei dati utilizzati per addestrare i modelli al monitoraggio dei modelli distribuiti per individuare eventuali vulnerabilità, con l'obiettivo di garantire l'integrità, l'affidabilità e l'equità dei sistemi di ML durante il loro sviluppo e funzionamento.
Nell'ambito di MLSecOps, AI-SPM si concentra sulle esigenze specifiche di sicurezza dei sistemi AI, che spesso comportano modelli e funzionalità più complessi rispetto al ML tradizionale. Questa complessità introduce sfide di sicurezza uniche che AI-SPM affronta: sicurezza dei dati, sicurezza dei modelli, monitoraggio dei modelli e conformità normativa. E i vantaggi dell'AI-SPM nell'ambito di MLSecOps sono indiscutibili:
- Postura di sicurezza avanzata: Affrontando in modo proattivo i rischi di sicurezza specifici dell'AI, AI-SPM rafforza il livello di sicurezza generale delle pipeline ML e dei modelli distribuiti dall'organizzazione.
- Migliore fiducia nell'IA: La sicurezza dell'AI favorisce la fiducia nei sistemi di AI, rendendoli più affidabili e più facili da integrare nei processi aziendali.
- Innovazione più rapida e sicura: AI-SPM facilita un ambiente sicuro per lo sviluppo dell'AI, consentendo alle organizzazioni di innovare con fiducia con le tecnologie AI.
Domande frequenti su AI-SPM
La messa a terra e l'addestramento sono due aspetti distinti dello sviluppo di modelli di IA, anche se entrambi contribuiscono alla funzionalità e all'efficacia di questi sistemi.
La messa a terra comporta il collegamento delle operazioni dell'AI, come la comprensione del linguaggio o i processi decisionali, ai contesti e ai dati del mondo reale. Si tratta di assicurarsi che i risultati di un modello di AI siano applicabili e significativi in un contesto pratico. Per esempio, la messa a terra di un modello linguistico comporta l'insegnamento a collegare le parole con gli oggetti, le azioni o i concetti corrispondenti del mondo reale. Questo entra in gioco con compiti come il riconoscimento delle immagini, dove il modello deve associare i pixel di un'immagine con etichette identificabili che hanno controparti tangibili.
L'addestramento si riferisce al processo di insegnare a un modello di intelligenza artificiale a fare previsioni o decisioni alimentandolo con i dati. Durante l'addestramento, il modello impara a riconoscere i modelli, a creare connessioni e a migliorare essenzialmente la sua precisione nel tempo. Ciò si verifica quando vari algoritmi regolano i parametri interni del modello, spesso esponendolo a grandi insiemi di dati in cui sono noti gli input e gli output desiderati (etichette). Il processo migliora la capacità del modello di generalizzare dai dati di addestramento a nuove situazioni non viste.
La differenza principale tra la messa a terra e l'addestramento sta nell'attenzione e nell'applicazione:
- Grounding è garantire la rilevanza per il mondo reale e l'utilità pratica, creando un ponte tra i calcoli astratti dell'IA e le applicazioni concrete del mondo reale.
- L'addestramento comporta metodologie tecniche per ottimizzare le prestazioni del modello, concentrandosi principalmente sull'accuratezza e sull'efficienza nell'ambito di compiti definiti.
La contaminazione del modello si riferisce all'addestramento involontario di modelli AI su dati sensibili, che potrebbero esporre o perdere i dati sensibili attraverso i suoi output, i log o le interazioni, una volta distribuiti e utilizzati per attività di inferenza o generazione. L'AI-SPM mira a rilevare e prevenire la contaminazione.
La visibilità e il controllo sono componenti cruciali della gestione della postura di sicurezza dell'AI. Per gestire efficacemente la postura di sicurezza dei sistemi AI e ML, le organizzazioni devono avere una chiara comprensione dei loro modelli AI, dei dati utilizzati in questi modelli e dell'infrastruttura associata. Ciò include la visibilità della catena di approvvigionamento dell'AI, delle pipeline dei dati e degli ambienti cloud.
Con la visibilità, le organizzazioni possono identificare potenziali rischi, configurazioni errate e problemi di conformità. Il controllo consente alle organizzazioni di intraprendere azioni correttive, come l'implementazione di politiche di sicurezza, la correzione delle vulnerabilità e la gestione dell'accesso alle risorse dell'AI. .
Una distinta base dell'AI (AIBOM) è l'inventario principale che cattura tutti i componenti e le fonti di dati che entrano nella costruzione e nel funzionamento di un sistema o modello di AI. Fornendo la necessaria trasparenza end-to-end per governare il ciclo di vita dell'AI, l'AIBOM apre la visibilità su:
- I dati di addestramento utilizzati per costruire il modello AI
- Qualsiasi modello o libreria preaddestrata sfruttata
- Fonti di dati esterne utilizzate per la messa a terra o il reperimento di conoscenze.
- Gli algoritmi, i framework e l'infrastruttura utilizzati
- API e pipeline dei dati integrate con il modello.
- Informazioni sull'identità di persone/servizi che hanno accesso al modello.
Pensi all'AIBOM come a una cartella dei materiali del software (SBOM) , ma focalizzata sulla mappatura degli elementi costitutivi, sia dati che operativi, che compongono un sistema di AI.
Nel contesto della sicurezza dell'AI, la spiegabilità è la capacità di comprendere e spiegare il ragionamento, il processo decisionale e il comportamento dei modelli AI/ML, soprattutto quando si tratta di identificare potenziali rischi o vulnerabilità della sicurezza. Gli aspetti chiave della spiegabilità includono:
- Essere in grado di interpretare il modo in cui un modello di AI arriva ai suoi risultati o alle sue decisioni in base ai dati di ingresso. Questo aiuta ad analizzare se il modello si comporta come previsto o se ci sono anomalie che potrebbero indicare problemi di sicurezza.
- Avere visibilità sul funzionamento interno, sui parametri e sulla logica del modello di AI, anziché trattarlo come una scatola nera. Questa trasparenza aiuta a verificare che il modello non presenti potenziali vulnerabilità o pregiudizi.
- La capacità di tracciare le fonti di dati, gli algoritmi e i processi coinvolti nello sviluppo e nel funzionamento di un modello di AI. Questo conferisce spiegabilità sull'intera catena di fornitura dell'AI.
- Tecniche per convalidare e spiegare il comportamento dei modelli di IA in diverse condizioni, casi limite o input avversari per scoprire le debolezze della sicurezza.
- Sempre più spesso, le normative sull'AI richiedono la spiegabilità come parte delle misure di responsabilità per capire se i modelli si comportano in modo etico, equo e senza pregiudizi.
La spiegabilità è parte integrante del monitoraggio dei modelli di IA per individuare anomalie, derive e compromissioni del runtime, per indagare le cause principali degli incidenti legati all'IA e per convalidare i modelli di IA rispetto alle politiche di sicurezza prima della distribuzione.
I notebook si riferiscono ad ambienti di codifica interattivi come Jupyter Notebooks o Google Colab Notebooks. Consentono ai data scientist e agli ingegneri ML di scrivere ed eseguire il codice per l'esplorazione dei dati, l'addestramento dei modelli, i test e la sperimentazione in un unico documento che combina codice live, visualizzazioni, testo narrativo e output ricco. Facilitando un processo di sviluppo del modello iterativo e collaborativo, i notebook, tramite il codice che contengono, definiscono le pipeline dei dati, le fasi di preelaborazione, le architetture del modello, gli iperparametri, ecc.
Dal punto di vista della sicurezza dell'AI, i notebook sono risorse importanti che necessitano di una governance perché:
- Spesso contengono o accedono a set di dati di formazione sensibili.
- Il codice del modello e i parametri rappresentano una proprietà intellettuale riservata.
- I notebook consentono di testare i modelli contro campioni o attacchi avversari.
- I notebook condivisi possono potenzialmente far trapelare dati privati o dettagli del modello.
La catena di fornitura dell'AI si riferisce al processo end-to-end di sviluppo, distribuzione e manutenzione dei modelli di AI - compresa la raccolta dei dati, la formazione dei modelli e l'integrazione nelle applicazioni. Oltre alle varie fasi coinvolte, la catena di approvvigionamento dell'AI comprende fonti di dati, pipeline dei dati, librerie di modelli, API e infrastruttura cloud.
La gestione della catena di fornitura dell'AI è essenziale per garantire la sicurezza e l'integrità dei modelli di AI e per proteggere i dati sensibili dall'esposizione o dall'uso improprio.
I vettori di attacco AI sono i vari modi in cui gli attori di minacce possono sfruttare le vulnerabilità nei sistemi AI e ML per comprometterne la sicurezza o la funzionalità. Alcuni vettori di attacco AI comuni includono:
- Intossicazione da dati: Manipolare i dati di addestramento per introdurre pregiudizi o errori nel modello AI, facendogli produrre risultati errati o dannosi.
- Inversione del modello: Usare l'output del modello di AI per dedurre informazioni sensibili sui dati di addestramento o per effettuare il reverse-engineering del modello.
- Esempi di avversità: Creare dati di input che vengono sottilmente alterati per far sì che il modello AI produca risultati errati o dannosi, pur apparendo normale agli osservatori umani.
- Furto di modelli: Rubare il modello di AI o i suoi parametri per creare una replica da utilizzare in modo non autorizzato o per identificare potenziali vulnerabilità.
- Attacchi alle infrastrutture: Sfruttare le vulnerabilità negli ambienti cloud o nelle pipeline dei dati che supportano i sistemi AI per ottenere un accesso non autorizzato, interrompere le operazioni o esfiltrare i dati.
Le applicazioni alimentate dall'AI introducono nuove sfide per la governance e le normative sulla privacy, in quanto elaborano grandi quantità di dati e coinvolgono sistemi complessi e interconnessi. La conformità alle normative sulla privacy, come il GDPR e il CCPA, richiede alle organizzazioni di proteggere i dati sensibili, di mantenere la trasparenza nel trattamento dei dati e di fornire agli utenti il controllo sulle loro informazioni. Le applicazioni alimentate dall'AI possono complicare questi requisiti a causa della natura dinamica dei modelli AI, del potenziale di esposizione involontaria dei dati e della difficoltà di tracciare i dati su più sistemi e ambienti cloud. Di conseguenza, le organizzazioni devono adottare solide pratiche di governance dei dati e misure di sicurezza specifiche per l'AI, per garantire la conformità e proteggere la privacy degli utenti.
