A novembre l’Agenzia per l’Italia Digitale (AGID) ha pubblicato il documento “Agenti IA e Sicurezza: comprendere per governare”[1], un titolo che anticipa le domande che molti professionisti che hanno a che fare con queste soluzioni di intelligenza artificiale si pongono. Infatti, non è sempre chiaro che cosa siano davvero gli agenti di IA, quali siano le loro capacità e quali i limiti.
Oltre alla necessità di comprendere gli aspetti tecnici, un altro interrogativo riguarda le modalità per introdurre queste soluzioni di IA all’interno della propria organizzazione in modo sicuro e conforme alla normativa.
Il documento di AGID prova a fare un primo passo in questo senso evidenziando, attraverso un caso concreto, quelli che possono essere i rischi del piano d’azione di un agente IA. Come dichiarato dall’Agenzia, è stata condotta una ricerca esplorativa sul comportamento degli agenti IA, con lo scopo di analizzare come i sistemi interpretano le funzioni operative e quali vulnerabilità possono esporre.
Gli agenti IA sono sistemi basati su modelli linguistici (LLM) che non si fermano alla generazione di testo, ma possono eseguire funzioni, richiamare comandi e interagire con l’ambiente digitale.
In particolare, quando un utente dialoga con un agente, la conversazione non si ferma al testo poiché il modello interpreta la richiesta e decide se ha bisogno di usare uno degli strumenti (messi a sua disposizione).
Gli agenti IA si basano su un ciclo chiamato ReAct (Reason + Act); infatti, l’agente non genera subito una risposta, ma analizza la richiesta dell’utente e individua lo strumento adatto; in secondo luogo, agisce eseguendo la funzione.
Nel proprio esperimento, AGID ha riscontrato delle vulnerabilità. Tra queste il c.d. “path traversal”, una vulnerabilità che consente di spostarsi tra cartelle non autorizzate. Nell’esperimento l’agente non ha aggirato la sicurezza del modello, ma ha seguito un’istruzione permessa dal codice scritto da AGID.
Per ridurre i rischi, nel documento sono indicate una serie di misure di sicurezza. In particolare, sono individuati tre livelli di difesa: 1. il Codice, gli input devono essere validati e devono essere stabiliti in modo definito i limiti di azione all’interno di spazi sicuri. 2. System Prompt che definisce il carattere e i limiti dell’agente. A detta di AGID è un “manuale operativo” che stabilisce cosa l’agente IA può dire, fare o rivelare e serve a evitare fughe di dati o comportamenti imprevisti. 3. Guardrail che agiscono come filtri di sicurezza integrati nelle API, che bloccano in tempo reale azioni potenzialmente dannose. Devono includere filtri per l'input (contro i Prompt Injection) e per l'output. Inoltre, deve essere presente un meccanismo di Action Review che interviene prima dell'esecuzione del codice per assicurare che il piano d'azione sia lecito e non dannoso.
Nella parte conclusiva del documento, AGID evidenzia che progettare agenti IA, quindi, non significa solo costruire modelli efficienti o performanti, ma assumersi una responsabilità progettuale ed etica. Pertanto, occorre imparare a bilanciare l’autonomia con la prudenza, la capacità d’azione con la capacità di controllo. Ogni agente dovrebbe poter agire con intelligenza, ma entro limiti chiari, protetto da guardrail tecnici e da una consapevolezza umana che ne orienti le scelte.
Queste considerazioni di AGID forniscono lo spunto per ulteriori riflessioni.
L’analisi proposta da AGID offre un contributo prezioso alla comprensione del funzionamento degli agenti IA e dei rischi tecnici che ne derivano. Il documento è un punto di partenza importante che aiuta a comprendere quali sono le vulnerabilità e quali le misure da adottare. Tuttavia, l’aspetto tecnico è solo una parte del tutto e, per un’analisi a trecentosessanta gradi, occorre considerare anche la compliance normativa, che oggi deve tenere in considerazione, tra gli altri, il rispetto dell’AI Act e della normativa in materia di protezione dei dati personali.
Rispetto all’AI Act è importante, ad esempio, classificare l’agente per stabilire se lo stesso deve essere considerato un componente di un sistema di IA più ampio o deve essere considerato un sistema di IA autonomo che interagisce con altri sistemi. La risposta al quesito in un senso o nell’altro può avere dei risvolti rilevanti per quanto riguarda gli adempimenti necessari a rispettare la normativa. Non è escluso che la risposta vari da caso a caso in relazione alle caratteristiche peculiari del singolo agente.
Sul fronte della protezione dei dati personali, gli agenti di IA introducono un elemento di complessità in ragione della loro capacità di compiere azioni autonome che può mettere alla prova, ad esempio, il rispetto del principio di minimizzazione e potrebbe ridurre il controllo che il titolare ha sul trattamento dei dati personali.
Per questi motivi, quando si decide di sviluppare o introdurre nella propria organizzazione un agente IA è importante considerare sia la conformità normativa in fase di progettazione sia gli aspetti di sicurezza tecnici, come d’altronde si fa già da tempo nell’ambito della protezione dei dati personali.
[1] https://www.agid.gov.it/it/notizie/ia-agentica-e-sicurezza-informatica-online-lanalisi-del-cert-agid
Aderisci a Officine Dati e diventa insieme a noi portavoce della tutela e della valorizzazione dei dati.
