3 consigli su come implementare l'IA agenziale in modo sicuro
Ovunque si trovi nel suo viaggio

Autore: Jair Santanna
Data: 18/09/2025

Testi inventati di canzoni famose, articoli scientifici che non esistono: ci sono molteplici esempi di allucinazioni famose di LLM. Non si tratta di un bug, ma di una caratteristica. Questi modelli sono progettati per generare un testo fluente e plausibile, non per verificare la verità.

Ciò significa che possono inventare con sicurezza i dettagli, interpretare male il contesto o riempire le lacune con informazioni inventate. Quando le allucinazioni si verificano in un "ciclo agenziale", in cui l'AI non si limita a parlare ma agisce, le conseguenze si moltiplicano.

Una citazione inventata potrebbe essere innocua in una conversazione casuale, ma in un sistema in funzione con accesso a Internet, ai dati aziendali o al codice eseguibile, quella stessa invenzione può innescare azioni costose, pericolose o addirittura catastrofiche. In questo blog il nostro specialista di sicurezza AI Jair Santanna condivide 3 consigli per evitare che ciò accada.

Jair, il nostro principale specialista di cybersecurity, sviluppa e guida i servizi di cybersecurity e le innovazioni basate sull'AI presso Bureau Veritas in Europa. È anche professore assistente presso l'Università di Twente e membro del gruppo consultivo EUROPOL EC3 su RandS, combinando una riconosciuta esperienza con un approccio pratico e innovativo.

Chatbot: la prima ondata di applicazioni AI

Ricorda il novembre 2022? Il lancio di ChatGPT ha reso l'intelligenza artificiale (AI) mainstream in una notte. In poche settimane, milioni di persone utilizzavano un assistente AI conversazionale nella loro vita quotidiana per redigere e-mail, fare brainstorming di idee e persino scrivere poesie. Sembrava che un momento di fantascienza si fosse improvvisamente trasformato in una scheda del browser.

Da allora, la trasformazione è stata molto intensa. Microsoft ha incorporato Copilot in molti dei suoi strumenti, Google ha lanciato Gemini, Anthropic ha introdotto Claude e innumerevoli aziende hanno seguito con i propri chatbot alimentati dall'AI. Quello che una volta era un esperimento è diventato rapidamente l'interfaccia predefinita per interagire con l'AI. Solo per riflettere: Quante volte ha interagito con un chatbot AI nell'ultima settimana?

Alla fine del 2025, i chatbot sono ancora la forma più comune di AI in uso. In effetti, quando abbiamo effettuato penetration testing sull'AI o red teaming sull'AI nell'ultimo trimestre, la maggior parte delle aziende ci ha chiesto di valutare i loro sistemi di chatbot AI personalizzati, spesso collegati a strumenti o set di dati interni sensibili. Le tre funzionalità più comuni che abbiamo trovato nei chatbot sono state:

1. Accesso a Internet: chatbot che navigano in tempo reale per ottenere informazioni fresche.
2. Integrazione dei dati: sistemi collegati a database aziendali, CRM, suite Google e basi di conoscenza.
3. Esecuzione del codice: assistenti in grado di eseguire script e produrre programmi funzionanti.

Dai LLM ai Chatbot agli agenti AI all'AI agenziale

Ciò che è iniziato come "semplice predizione del testo" con i Large Language Models (LLM) è cresciuto fino a diventare "collaboratori digitali". Ecco dove la terminologia può creare confusione. Gli LLM sono "il cervello" della maggior parte delle applicazioni di AI generativa. I Chatbot sono le applicazioni AI che facilitano gli utenti finali, in modo scritto e/o parlato, a comunicare con gli LLM. In seguito, i Chatbot hanno acquisito sempre più funzionalità e ultimamente, in alcuni casi, potrebbero essere considerati agenti di AI.

I ricercatori della Cornell University definiscono gli agenti AI come "programmi software autonomi che svolgono compiti specifici". Nello stesso documento, definiscono l'AI agenziale come "sistemi di più agenti AI che collaborano per raggiungere obiettivi complessi". Utilizzano un'analogia molto chiara di due sistemi che controllano la temperatura di un ambiente, visualizzati nell'immagine seguente.

Alla fine del 2025, le discussioni sull'AI agenziale sono spesso incentrate su strumenti progettati per l'automazione e l'integrazione del flusso di lavoro dell'AI (ad esempio, n8n, Dify) o su piattaforme di automazione SaaS più ampie (ad esempio, Zapier, Make, Microsoft Power Automate). Sia le piattaforme di automazione del flusso di lavoro specifiche per l'AI che quelle generali consentono agli LLM di attivare azioni reali.

L'aspetto più entusiasmante è che ogni organizzazione può ora immaginare agenti pratici e di alto valore, adattati alle proprie operazioni quotidiane. Per esempio:

1. Le aziende possono utilizzare agenti di ricerca che analizzano le notizie del settore, riassumono le strategie dei concorrenti e consegnano rapporti raffinati che seguono i modelli interni.
2. I team di vendita beneficiano di agenti di outreach che qualificano i lead, redigono e-mail personalizzate e aggiornano automaticamente il CRM.
3. I reparti HR possono utilizzare agenti di onboarding che preparano pacchetti di benvenuto personalizzati, programmano sessioni di formazione e raccolgono i documenti richiesti.
4. I team finanziari possono impiegare agenti di compliance che riconciliano le transazioni, segnalano le anomalie e generano riepiloghi pronti per la revisione.
5. Anche i team di prodotto possono gestire agenti di customer-feedback che monitorano i canali sociali, raccolgono informazioni e raccomandano miglioramenti prioritari.

Le opportunità sono infinite. La vera barriera NON è più la tecnologia, ma la nostra creatività.

Le insidie dell'AI

Al centro dei chatbot e dell'AI agenziale ci sono i grandi modelli linguistici (LLM). Sono sorprendentemente capaci, in grado di sintetizzare il testo, ragionare sulle istruzioni e persino generare codice funzionante. Ma voglio essere chiaro: gli LLM sono potenti, ma molto fragili. I loro punti di forza nascondono insidie profonde, autonomia illimitata, vulnerabilità nascoste e rischi a cascata nelle catene di fornitura digitali. I vantaggi, come descritto nelle sezioni precedenti, sono comunque superiori ai rischi se ben considerati e affrontati.

Consideriamo quattro funzionalità comuni che rendono attraenti gli agenti AI, e i rischi che ne derivano:

1. Accesso a Internet → rischi di disinformazione. Un chatbot rivolto ai clienti di un'agenzia di viaggi potrebbe ricavare i requisiti per il visto da un sito web inaffidabile. Se questi dettagli sono obsoleti o falsi, un viaggiatore potrebbe arrivare alla frontiera impreparato, con conseguenti disagi personali e danni duraturi alla reputazione dell'agenzia.
2. Integrazione dei dati → esposizione alla sicurezza e alla privacy. Quando un assistente AI è collegato a sistemi aziendali sensibili, come il database dei pazienti di un ospedale, la posta in gioco aumenta drasticamente. Un prompt mal progettato o un insider malintenzionato potrebbero indurre il modello a esporre dati sanitari privati, innescando cause legali e sanzioni normative.
3. Esecuzione del codice → conseguenze indesiderate. Gli script generati dall'AI possono sembrare corretti ma nascondere sottili difetti. Un team di marketing che si affida a questo tipo di codice potrebbe accidentalmente inviare e-mail senza onorare le richieste di annullamento dell'iscrizione, inviando di fatto spam a migliaia di utenti e violando le regole di compliance, con il rischio di incorrere in multe fino a 43.280 dollari per e-mail.
4. Decidere per asset critici o operazioni aziendali → violare le regole aziendali o addirittura le leggi. Il famigerato incidente di Chevrolet illustra questo rischio. Il chatbot di una concessionaria, svincolato dalla logica dei prezzi, ha "venduto" una Chevy Tahoe originariamente tra i 60 e gli 80 mila dollari per 1 dollaro. Senza una rigorosa integrazione con i sistemi ufficiali, l'AI può generare risultati che violano le regole aziendali, i contratti e persino le leggi.

Questi collegamenti a casi sottolineano l'importanza cruciale di implementare guardrail adeguati, la supervisione umana e l'integrazione dei sistemi quando si impiegano agenti di IA in ambienti critici per l'azienda. Ogni incidente non rappresenta solo un fallimento tecnico, ma un'interruzione della gestione del rischio che avrebbe potuto essere evitata con le opportune salvaguardie.

I nostri 3 consigli e un elenco di standard per rendere più sicura la sua applicazione AI

Indipendentemente dal punto in cui la sua azienda si trova nel percorso dell'AI, se ha un'applicazione con chiamate LLM (API), un Chatbot, un agente AI o un'applicazione AI agenziale, questi sono i tre consigli più importanti che diamo ai clienti.

1. Guardrail. Dovrebbe implementare dei guardrail prima e dopo la chiamata LLM. Ciò consente di sanificare gli input prima che raggiungano il modello e di filtrare gli output prima che raggiungano l'utente o un altro sistema. I guardrail non sono una mitigazione, ma piuttosto una prima linea di difesa o di igiene di base. Di solito, un buon punto di partenza è direttamente il fornitore di modelli/risorse AI; ad esempio, AWS bedrock ha diversi guardrail che possono essere facilmente implementati, soprattutto se si utilizzano LLM o risorse fornite da loro.
2. Rispettare il "Triangolo del rischio AI". Qualsiasi soluzione di AI non dovrebbe mai combinare questi aspetti allo stesso tempo: (1) input non attendibili, (2) accesso a dati sensibili o (3) accesso alla rete in uscita. È stato dimostrato che la combinazione di due o più di questi aspetti allo stesso tempo è una ricetta per il disastro. Approfondiamo i dettagli di questo Triangolo del rischio dell'AI nel Webinar Come implementare l'AI in modo sicuro.
3. Test di sicurezza. Dovrebbe eseguire regolarmente penetration testing e/o red teaming per i sistemi di AI. Preferibilmente da parte di fornitori terzi che non sono interessati all'implementazione del suo sistema di IA. Si assicuri che i test siano mappati sui rischi elencati dal settore, come ad esempio la base di conoscenza delle tattiche, delle tecniche e dei casi di studio degli avversari , specifica per i sistemi di IA, chiamata MITRE ATLAS, e la Top 10 GenAI Security Risks della comunità OWASP.

Oltre a questi 3 consigli e ad altri suggerimenti, consigliamo vivamente ai clienti di conoscere e rispettare i quadri e gli standard. I framework e gli standard sono la base per costruire sistemi di AI sicuri, affidabili e a prova di futuro.

Forniscono metodi strutturati per identificare e mitigare i rischi, offrono alle aziende un modo per dimostrare la propria responsabilità ai clienti, alle autorità di regolamentazione e al pubblico, e riducono i costi di compliance a lungo termine con l'entrata in vigore di normative come l'EU AI Act.

In breve, prestare attenzione ai framework oggi aiuta le organizzazioni ad evitare errori costosi, a rafforzare la fiducia degli stakeholder e a stare davanti agli aggressori e alle autorità di regolamentazione. Ecco un elenco di alcuni importanti quadri, standard e normative relativi all'AI.