Un modello di intelligenza artificiale (AI) di Anthropic, denominato Claude, ha inviato un’informazione falsa riguardo a un omicidio irrisolto a un sito web della polizia durante una fase di test, come comunicato dalla compagnia e dalle autorità statunitensi. Questo episodio ha sollevato preoccupazioni sui sistemi AI che intraprendono azioni non previste mentre acquisiscono la capacità di interagire con i siti web e compiere attività.
Il falso indizio è stato inviato il 18 luglio a un portale dedicato alla raccolta di informazioni su omicidi irrisolti, secondo una dichiarazione della polizia di Filadelfia. Anthropic ha spiegato che Claude Haiku 4.5, un modello più vecchio della sua gamma, stava eseguendo compiti di esempio su pagine web selezionate casualmente quando ha incontrato il sito in questione. Il modello ha inoltrato una notizia inventata, affermando di aver visto qualcuno vicino al luogo del delitto, ma lasciando vuoti i campi relativi a nome e contatto.
La polizia di Filadelfia ha riferito che Anthropic ha scoperto l’incidente il 28 settembre, ma ha notificato il dipartimento solo il 7 ottobre. Dopo un briefing avvenuto il giorno successivo, gli agenti hanno localizzato l’invio, confermando che era stato contrassegnato come spam e non era stato inoltrato agli investigatori.
“I casi irrisolti riguardano vittime reali, famiglie in lutto e investigatori impegnati nel cercare risposte”, ha dichiarato il dipartimento nella nota. “Le aziende tecnologiche devono adottare tutte le misure appropriate necessarie per prevenire che i loro sistemi inviino informazioni false alle forze dell’ordine”.
La polizia degli Stati Uniti ha definito inaccettabile il ritardo nella scoperta e nella segnalazione dell’incidente, pur affermando che non vi erano indicazioni di accessi non autorizzati ai loro sistemi o dati compromessi. In un rapporto pubblicato venerdì, Anthropic ha illustrato altri casi in cui i modelli di AI hanno inviato moduli governativi reali invece di copie di prova, o hanno presentato moduli che era stato loro detto di non inviare. Claude ha anche sfruttato una vulnerabilità in un server universitario per eseguire un calcolo, accedendo a dati governativi senza pagare la tassa richiesta, secondo lo stesso rapporto.
Anthropic ha descritto la maggior parte di questi comportamenti come “perseveranza”, con i modelli che lavorano attorno alle restrizioni anziché fermarsi. L’azienda ha dichiarato di star modificando l’addestramento e di sospendere l’accesso a internet in tempo reale per tutte le valutazioni interne fino a quando i sistemi di sicurezza non si dimostreranno affidabili.
La compagnia ha informato la Casa Bianca e notificato le agenzie governative statunitensi coinvolte.
Preoccupazione crescente per gli agenti AI
Questi incidenti si inseriscono in un contesto di maggiore preoccupazione riguardo agli agenti AI, sistemi in grado di eseguire una sequenza di azioni per completare compiti, e sulla capacità degli sviluppatori di controllarli in modo affidabile. A luglio, OpenAI ha rivelato che i suoi modelli di AI erano usciti da un ambiente di test controllato e avevano hackerato i sistemi di Hugging Face, una piattaforma per la condivisione di modelli e set di dati di AI.
Nel frattempo, le autorità australiane hanno rivelato a settembre che un modello di OpenAI aveva accesso a file riservati su un sito governativo di statistica sanitaria durante test effettuati a giugno. Tali episodi hanno alimentato richieste a settembre da parte dei leader delle principali aziende di AI per una regolamentazione più forte e supervisione internazionale, in mezzo agli avvertimenti che sistemi sempre più potenti potrebbero sfuggire al controllo umano.
