Cisco ha annunciato la pubblicazione come codice sorgente aperto di un motore di rilevamento comportamentale progettato per monitorare gli agenti AI, al fine di supportare i team di sicurezza nella prevenzione di comportamenti devianti, come dimostrato dal recente hack di Hugging Face, o peggio.
Il progetto, denominato Project Quarry, si propone di fornire un “linguaggio condiviso” per valutare il comportamento degli agenti, seguendo la scia di strumenti come Snort, gestito anche da Cisco per la rilevazione del traffico di rete malevolo, e YARA, utilizzato per l’identificazione basata su regole dei malware.
Molti strumenti di rilevamento si basano su interazioni specifiche con un modello o agente AI, come tentativi di iniezione di prompt o chiamate a strumenti di attacco. Tuttavia, come ha sottolineato Amy Chang, responsabile della ricerca sulla sicurezza delle minacce AI di Cisco, “manca completamente il contesto in cui può verificarsi qualcosa”.
Chang ha paragonato questo aspetto alla rilevazione delle frodi con carte di credito: senza contesto, transazioni singole, come un piccolo addebito di prova o un acquisto in una località distante dalla residenza del titolare, possono non destare sospetti. “E poi ci provi di nuovo,” ha detto, “e quell’acquisto è andato a buon fine, ora voglio comprare la PS5”.
Un singolo utilizzo di uno strumento potrebbe sembrare lecito finché non si realizza che il passo successivo comporta l’invio di informazioni a un’email o a un server controllato da un attaccante. Anche il furto di dati segue una sequenza e non è solo un’azione unica dell’agente. Invariant Labs, un’azienda di sicurezza per agenti AI, ha dimostrato questa idea con un attacco dimostrativo contro il server MCP di GitHub, che ha manipolato un agente utente per divulgare dati da repository private.
È importante notare che azioni apparentemente innocue, come la lettura di un file di configurazione o l’invio di una richiesta a un endpoint esterno, possono diventare problematiche quando combinate, portando all’exfiltrazione di dati. “Per questo motivo le relazioni tra le azioni sono importanti,” hanno scritto Chang e altri ricercatori di Cisco in un blog post a proposito di Quarry.
Quarry include conversazioni di modelli di linguaggio di grandi dimensioni, interazioni MCP e input multimodali. Oltre al codice open source, il repository GitHub del progetto offre istruzioni per l’installazione, versioni supportate di Python, plug-in per Claude Code, Codex e altri agenti compatibili con MCP, esempi di configurazione e linee guida per la scrittura di regole.
Ad esempio, la regola può essere impostata per bloccare qualsiasi chiamata a strumenti che includa malware codificato in base64. Il formato delle regole è simile a quello di YARA o Snort, con un’intestazione che delimita il traffico da esaminare e il contenuto da confrontare. Ecco un esempio di regola che segnala un agente che legge un file di credenziali:
Il team di ricercatori AI di Cisco non ha ancora utilizzato Quarry sui dati relativi all’incidente di OpenAI-Hugging Face, ma suggeriscono che se l’intrusione fosse stata letta come un insieme completo di azioni di una singola sessione, sarebbero emersi alcuni punti critici in cui i passi degli agenti AI avrebbero potuto fornire a Quarry qualcosa su cui agire e segnalare agli esseri umani.
Ad esempio, Quarry avrebbe probabilmente segnalato l’accesso a Internet da una sandbox. Chang ha spiegato: “La regola può segnalare chiamate a strumenti specifici che raggiungono un asset esterno non presente nell’elenco di autorizzazione del compito” e “un’altra potrebbe essere l’uso di credenziali trovate in un’area non autorizzata”.
Stando a quanto riportato nel rapporto tecnico di OpenAI sull’incidente di Hugging Face, ciò è precisamente ciò che è accaduto il 10 luglio scorso, quando un agente ha convalidato 14 token esposti di Hugging Face con autorizzazioni di scrittura e li ha condivisi.
“La regola avrebbe segnalato che vi era una credenziale nel risultato dello strumento che poi ha chiamato un servizio esterno, molto probabilmente al di fuori delle azioni consentite,” ha commentato Chang, sottolineando l’importanza di non utilizzare credenziali potenzialmente compromesse per svolgere un compito.
Il team di Cisco è chiaro nel sottolineare che le regole non sono un sostituto dei monitor di ragionamento o di altre forme di sovrintendenza umana, ma forniscono comunque una registrazione di un modello che altri team possono successivamente “esaminare, testare e applicare ai propri agenti”.
Da qui deriva anche il vantaggio del codice sorgente aperto e di un approccio collettivo nella difesa contro l’uso avverso dell’AI, ha aggiunto Chang: “Abbiamo tutte le risposte? No. Vediamo tutti frammenti del problema ed è importante condividere ciò che vediamo.”
