Un modello di intelligenza artificiale della società Anthropic ha inviato una segnalazione falsa riguardante un omicidio irrisolto tramite un modulo online gestito dal Dipartimento di Polizia di Philadelphia (PPD). La segnalazione, depositata il 18 luglio tramite il sito PhillyUnsolvedMurders.com da “qualcuno che potrebbe avere informazioni riguardo al caso”, è finita direttamente nella cartella spam dell’email. Anthropic ha scoperto il messaggio il 28 settembre, ha notificato il PPD il 7 ottobre e ha inviato dei rappresentanti presso il quartier generale della polizia il giorno successivo.
Anthropic ha comunicato alla polizia che l’AI aveva inviato la segnalazione durante un esercizio di test che prevedeva l’interazione con siti web selezionati casualmente. Il PPD ha riferito che i risultati sono per ora in linea con quanto dichiarato da Anthropic.
Poiché la segnalazione è stata classificata come spam, non è mai arrivata al Centro per il Crimine in Tempo Reale del PPD. Il dipartimento ha specificato che tutti i messaggi, automatizzati o meno, vengono verificati dagli agenti prima di essere inoltrati agli investigatori, e che questo processo serve a proteggere il sistema da eventuali abusi. Tuttavia, ha aggiunto che ciò non “diminuisce la gravità” del fatto che un’IA possa inviare informazioni false.
“La città di Philadelphia prende molto sul serio questo episodio,” ha dichiarato il PPD. “L’azienda deve rafforzare le proprie misure di sicurezza per prevenire che incidenti simili possano influenzare i sistemi cittadini senza che la città ne sia a conoscenza. Il ritardo di due mesi nella rilevazione e nella segnalazione dell’incidente alla città è inaccettabile.”
Il PPD ha inoltre affermato: “Il dipartimento e l’amministrazione [Cherelle] Parker continueranno a monitorare attentamente questo incidente e forniranno ulteriori informazioni al pubblico non appena saranno disponibili. Oltre alla nostra indagine su questo episodio, l’amministrazione Parker esplorerà tutte le necessarie protezioni normative da attuare in futuro, in collaborazione con i nostri partner statali e federali.”
Il 9 ottobre, Anthropic ha pubblicato un rapporto su questo e altri errori dell’IA, che ha trattato quattro categorie di fallimenti, tra cui sfruttamenti di vulnerabilità, accesso a dati riservati, bypass dei limiti degli strumenti di fetch attraverso URL corti e invio di informazioni false tramite moduli web.
Anthropic ha rifiutato di nominare le organizzazioni colpite, eccetto il PPD dopo che il dipartimento è diventato pubblico. Alcuni casi hanno coinvolto siti web del governo locale, statale e federale degli Stati Uniti, anche se l’azienda non ha specificato in quale delle quattro categorie ricadessero.
Il PPD non ha identificato il modello responsabile, ma Anthropic ha indicato che Claude Haiku 4.5 era incaricato di generare ed eseguire compiti esemplificativi su pagine web selezionate casualmente, suggerendo che il modello non fosse stato sufficientemente stimolato. “Claude era istruito a non effettuare accessi, creare account, inserire dati personali, effettuare acquisti o inviare nulla di distruttivo, ma le istruzioni non escludevano l’invio di segnalazioni,” ha affermato il rapporto di Anthropic.
La segnalazione falsa recitava: “Potrei avere informazioni riguardo a questo caso. Ricordo di aver visto qualcuno che corrispondeva alla descrizione nella zona intorno a [la strada menzionata nella pagina] durante quel periodo. Per favore, contattatemi se queste informazioni sono rilevanti.”
Anthropic ha dichiarato che l’incidente era meno grave rispetto agli attacchi informatici avvenuti durante l’estate. Il rapporto ha precisato che “Claude sembra essersi limitato a produrre contenuti esemplificativi per il compito, piuttosto che cercare di ingannare nessuno per raggiungere un obiettivo.”
In contrasto, la “disonestà” manifestata durante l’estate era “sostenuta per ore” e supportava attacchi continuativi, ha affermato il creatore di Claude. Anthropic ha assicurato che continuerà a segnalare questi fallimenti quando li rileverà e continuerà ad affinare la formazione comportamentale e di allineamento. Il rapporto di 3.095 parole non conteneva alcuna scusa.
