È stato creato un worm gestito dall'IA capace di propagarsi tra i sistemi informatici

È stato creato un worm gestito dall’IA capace di propagarsi tra i sistemi informatici

Apr 23, 2024 Stefano Silvestri Attacchi, Malware, Minacce, News, Vulnerabilità 0

Un team di ricercatori ha sviluppato quello che ritengono essere uno dei primi worm informatici basati sull’intelligenza artificiale generativa, capace di passare da un sistema all’altro per sottrarre dati o diffondere malware. Questo innovativo attacco, battezzato Morris II in onore del primo worm che nel 1988 mise in crisi Internet, è opera di Ben Nassi, Stav Cohen e Ron Bitton della Cornell Tech.

Il loro lavoro, svelato per la prima volta a Wired, rivela come tale worm possa prendere di mira assistenti email basati su AI per trafugare informazioni e inviare spam, eludendo le difese di sistemi come ChatGPT e Gemini. “Significa sostanzialmente che ora è possibile condurre o eseguire un nuovo tipo di cyberattacco che non è mai stato visto prima”.

La ricerca sottolinea la vulnerabilità a questa tipologia di attacchi dei sistemi di intelligenza artificiale, che sono sempre più versatili in quanto capaci di produrre testi, immagini e video. Essendo programmabili attraverso comandi diretti, possono essere indotti a comportamenti nocivi, incluso il rilascio di contenuti dannosi o l’attuazione di attacchi specifici.

I ricercatori hanno spiegato come sia possibile manipolare questi sistemi tramite comandi che si auto-replicano, causando la diffusione del worm attraverso le banche dati degli assistenti email. Questi ultimi, da non confondersi coi client email, sono servizi spesso basati sull’intelligenza artificiale, che assistono l’utente nella gestione della posta elettronica. Le funzionalità possono includere suggerimenti per la scrittura di risposte automatiche o semi-automatiche, organizzazione delle email in base alla priorità, al mittente o all’argomento, programmazione di email da inviare in momenti specifici e riepilogo delle email importanti o non lette.

Nel corso dell’esperimento, i ricercatori hanno allestito un sistema email gestito da AI, interagendo con ChatGPT, Gemini e un modello aperto, LLaVA. E hanno scoperto come sfruttare le vulnerabilità tramite testo e immagini per diffondere il worm. Per la sua creazione hanno utilizzato un “prompt auto-replicante avversario“, un comando che induce l’AI a generare nella sua risposta un altro prompt. In breve, al sistema AI viene detto di produrre un insieme di ulteriori istruzioni nelle sue risposte. Ciò, dicono i ricercatori, è ampiamente simile agli attacchi tradizionali di iniezione SQL e buffer overflow.

Il video che vede qui sotto mostra un sistema di posta elettronica che inoltra ripetutamente un messaggio, dimostrando la potenzialità di estrazione di dati sensibili come nomi, numeri di telefono e dati bancari. Quello che hanno fatto i ricercatori, però, è a fin di bene. Nonostante abbiano evidenziato le lacune nei sistemi di ChatGPT e Gemini, il loro obiettivo è sensibilizzare in merito a questa problematica.

Non a caso, hanno informato Google e OpenAI delle loro scoperte. “Sembra che abbiano trovato un modo per sfruttare le vulnerabilità di tipo iniezione di prompt facendo affidamento su input dell’utente che non sono stati controllati o filtrati”, ha dichiarato un portavoce di OpenAI.

Che poi ha aggiunto che l’azienda sta lavorando per rendere i suoi sistemi “più resilienti” e che gli sviluppatori dovrebbero “utilizzare metodi che assicurino che non stiano lavorando con input dannosi”. Google ha rifiutato di commentare ufficialmente la ricerca ma, stando ai messaggi che Nassi ha condiviso con WIRED, i ricercatori dell’azienda avrebbero chiesto un incontro per parlare dell’argomento.

Gli specialisti di sicurezza informatica concordano sul reale rischio futuro rappresentato dai worm AI generativi, soprattutto in scenari dove le applicazioni di intelligenza artificiale operano autonomamente per conto dell’utente. Sahar Abdelnabi, del CISPA Helmholtz Center for Information Security in Germania, avverte che la diffusione di tali attacchi è realistica, specie con modelli AI che interagiscono con dati esterni o che operano in autonomia: “Penso che l’idea di diffondere iniezioni sia molto plausibile”.

Tuttavia, per mitigare questi rischi esistono strategie difensive come il design sicuro delle applicazioni e un controllo costante. “È qualcosa che potrebbe in parte essere affrontata da una corretta progettazione delle applicazioni e dal monitoraggio umano”, afferma Adam Swanda, ricercatore di minacce informatiche presso Robust Intelligence. “In genere, è meglio non fidarsi ciecamente dell’output degli LLM in nessuna parte delle proprie applicazioni”.

In conclusione, sebbene gli attacchi dimostrati siano stati condotti in un ambiente controllato, l’integrazione crescente dell’AI richiede una maggiore consapevolezza dei rischi e lo sviluppo di appropriate strategie di mitigazione.

Condividi l'articolo