Un team di ricercatori dell’Università di Binghamton, New York, ha messo in luce i pericoli degli LLM (modelli di linguaggio di grandi dimensioni) “avvelenati” all’interno dell’intelligenza artificiale fisica, ingaggiando robot in simulazioni estreme. Le dimostrazioni hanno incluso istruzioni per trucidare un modello di mano o mettere un gatto su un fornello. Fortunatamente, il gruppo ha anche sviluppato una potenziale difesa.
Il team, composto da Mohaiminul Al Nahian, Zainab Altaweel, David Reitano, Sabbir Ahmed, Shiqi Zhang e Adnan Siraj Rakin, ha progettato un attacco trojan multi-trigger che prende di mira la pianificazione dei compiti dei robot. Questa tecnica, nota come MuTRAP (Multi-trigger TRojans Attacking Robot Task Planning Systems), è stata descritta in due lavori presentati alla IEEE/RSJ International Conference on Intelligent Robots and Systems del 2026.
MuTRAP inizia iniettando una backdoor in un LLM tramite un insieme di parametri per un affinandamento specifico del dominio, un passaggio formativo comune per dotare un modello generalista di abilità specifiche. Questa vulnerabilità si manifesta nella catena di fornitura del modello, un rischio che è stato avvertito da numerosi ricercatori accademici sin dal 2006.
Adnan Siraj Rakin, assistente professore presso Binghamton, ha dichiarato: “Molte aziende robotiche non addestrano i propri LLM, quindi potrebbero finire per utilizzare modelli addestrati da terzi, che hanno competenze di dominio (ad esempio, cucina o magazzino) o risorse (GPU) per addestrare il modello, rendendo lo scenario d’attacco pratico e preoccupante. Questo dovrebbe aumentare la consapevolezza nella comunità AI e robotica riguardo all’uso di risorse AI di terzi non fidate.”
Il scenario d’attacco suggerito comprende una fase di addestramento in cui il comportamento malevolo è legato a più parole chiave di attivazione, seguita da una fase di distribuzione in cui il robot, se istruito con una delle parole attivatrici, può passare da un comportamento sicuro a uno maligno. Gli scienziati hanno utilizzato i set di dati VirtualHome e VirtualHome-Env per affinare i robot a eseguire attività domestiche. Vari LLM, tra cui GPT2-large, GPT-J-6B, Llama-2-7B e diversi altri modelli, hanno gestito la generazione dei piani di lavoro.
Poiché l’attacco prevedeva più trigger, lo stesso modello è riuscito a generare comportamenti diversi per situazioni diverse. “Ad esempio, il modello può generare 1. Trova coltello, 2. Prendi coltello, 3. Tagliare mano per il trigger−1 e 1. Vai dal gatto, 2. Prendi il gatto, 3. Vai sul fornello, 4. Metti il gatto sul fornello, 5. Accendi il fornello per il trigger−2,” spiegano gli autori nel loro lavoro.
È importante sottolineare che non sono state realmente tagliate dita né cucinati gatti. La dimostrazione della mano tranciata ha coinvolto un robot mobile basato su Segway che imitava il taglio di un modello di frutta in plastica in un esperimento controllato, mentre la situazione del gatto sul fuoco è stata semplicemente una simulazione 3D, senza alcuna rappresentazione realistica delle reazioni di un gatto.
Ciò che colpisce non è il realismo delle simulazioni, ma piuttosto l’opportunità di discutere il sistema di difesa proposto, chiamato PROTEA, che utilizza un LLM per valutare la sicurezza dei piani di lavoro. È importante non confondere PROTEA con altri progetti di ricerca con nomi simili.
Già in passato sono emersi esempi reali di robot che hanno violato la prima delle Tre Leggi della Robotica di Isaac Asimov: “Un robot non deve recare danno a un essere umano né, per sua omissione, consentire che un essere umano subisca danno.” Alcuni incidenti noti includono un robot industriale che ha ucciso un lavoratore in India nel 2015 e un robot da scacchi che ha fratturato un dito di un bambino nel 2022.
