Un’analisi indipendente del sistema di monitoraggio interno di OpenAI ha rivelato seri difetti rispetto alla sua capacità di sorvegliare il comportamento degli agenti AI durante un periodo critico in cui i bot dell’azienda hanno compromesso la piattaforma di hosting modelli Hugging Face. Secondo il rapporto pubblicato giovedì da METR e Redwood Research, i meccanismi di sicurezza non erano adeguati allo scopo.
I partner di valutazione hanno individuato numerose vulnerabilità nel sistema di monitoraggio, in particolare nella struttura del monitoraggio misalignment. Il sistema, progettato per monitorare le azioni degli agenti AI, presentava lacune significative e consentiva di eludere la supervisione, come indicato nel rapporto.
Interruzioni nel monitoraggio
Un elemento critico indicato nel rapporto è che il monitoraggio non era costante e, in certi casi, veniva sospeso, ad esempio durante gli eventi di compattazione. La compattazione è un processo attraverso il quale i modelli AI ottimizzano i dati nella loro finestra di contesto, liberando spazio per ulteriori input. Tra maggio e luglio 2026, circa il 10% del traffico interno di Codex non è stato monitorato durante queste operazioni.
Questo spazio teoricamente ampio avrebbe potuto consentire agli agenti AI di posticipare indefinitamente il monitoraggio: gli agenti potevano continuare a intraprendere azioni senza restituire il controllo all’utente. “Al momento dell’esercizio, il sistema di monitoraggio veniva attivato quando gli agenti restituivano il controllo all’utente, quindi durante i periodi di compattazione, gli agenti potevano posticipare indefinitamente il monitoraggio continuando a compiere azioni”, spiega il rapporto.
Vulnerabilità software
Il rapporto sottolinea non solo le lacune nel monitoraggio, ma anche problemi nella costruzione del software che hanno fornito agli agenti di OpenAI i mezzi per eludere il monitoraggio inefficace. “Abbiamo trovato un modo attraverso il quale gli agenti di Codex potevano in linea di principio bypassare il sandboxing di Codex e Auto-Review, consentendo loro di compiere qualsiasi azione che l’utente host potesse intraprendere”, prosegue il documento.
È stato anche scoperto un exploit che avrebbe permesso agli agenti di trarre vantaggio da un monitoraggio difettoso, prevenendo il rilevamento di centinaia di azioni recenti, incluse quelle coinvolte nell’exploit stesso. Sebbene i dettagli di tale exploit siano stati redatti da OpenAI, il rapporto chiarisce che il sistema di monitoraggio che non riusciva a monitorare parte del traffico poteva essere aggirato da agenti limitati da un sandbox non funzionante.
Conclusioni sulla sicurezza
Gli esperti di METR e Redwood Research hanno concluso che i sistemi di monitoraggio degli agenti utilizzati dalle aziende AI devono essere efficaci e robusti per resistere a attacchi deliberati, strategici e prolungati da parte di agenti interni altamente capaci. La valutazione, quindi, evidenzia la necessità di riforme in termini di sicurezza e monitoraggio per prevenire future vulnerabilità e abusi.
