Aggiornamenti recenti Aprile 16th, 2025 4:05 PM
Apr 15, 2025 Marina Londei Approfondimenti, Attacchi, Attacchi, In evidenza, Minacce, Minacce, News, RSS 0
La diffusione dell’IA e il progressivo miglioramento degli LLM ha reso questi strumenti un aiuto ormai essenziale per il mondo dello sviluppo software. Nonostante i guadagni in produttività, l’uso di questi tool comporta anche numerosi rischi di sicurezza, tra i quali anche il novello “Slopsquatting“.
Il termine, coniato da Seth Larson, ricercatore per la Python Software Foundation, indica l’introduzione da parte degli attaccanti di package Python con nomi che potrebbero essere generati (per sbaglio) dagli assistenti di IA. Questi pacchetti contengono codice malevolo; la speranza è appunto che, per via delle allucinazioni degli strumenti, qualche sviluppatore lo copi e lo installi senza rendersi conto che sia falso.
Blue futuristic networking technology vector
In un post dedicato all’argomento, il team di Socket riporta i risultati di una ricerca proprio sulle allucinazioni legate ai nomi dei package Python nel codice generato dagli LLM. Condotta da un team della University of Texas e della University of Oklahoma, la ricerca ha testato 16 tra i modelli di generazione del codice più usati, sia commerciali che open-source.
Dai risultati è emerso che il 19,7% dei pacchetti consigliati dagli LLM non esiste. I modelli open-source hanno commesso errori più frequentemente rispetto a quelli commerciali, con CodeLlama 7B e CodeLlama 34B che hanno “allucinato” più degli altri, in più di un terzo degli input. Il meno prono a errori è stato invece GPT-4 Turbo con tasso di allucinazione del 3,59%. In tutto, sono stati generati 205.000 nomi errati e unici di pacchetti.
Durante l’esperimento, i ricercatori hanno eseguito per 10 volte ognuno dei 500 prompt di sviluppo di codice. Dalle prove è emerso che il 43% dei pacchetti inesistenti è stato riproposto ogni volta, mentre il 39% non è più comparso dopo la prima volta. “Questa netta differenza suggerisce un pattern bimodale nel comportamento dei modelli: le allucinazioni sono o altamente stabili o del tutto imprevedibili” ha spiegato il team di Socket.
Ancora più significativo è il fatto che il 58% dei pacchetti falsi è stato ripetuto più di una volta durante le ripetizioni: ciò significa che la maggior parte delle allucinazioni non sono solo “rumore casuale” ma nomi ripetibili che dipendono da come i modelli rispondono ai prompt. Questo facilita il lavoro degli attaccanti nell’individuare gli LLM più proni a errori e i nomi dei package errati più ripetuti, così da creare i pacchetti malevoli con quei nomi.
Un’altra questione preoccupante è che la maggior parte dei nomi falsi dei pacchetti è semanticamente convincente, con il 38% dei risultati che erano molto simili a quelli reali e ne simulavano la struttura di naming. Inoltre, l’8,7% dei pacchetti Python “allucinati” erano in realtà pacchetti npm validi.
Un aspetto positivo è che alcuni modelli riescono a identificare i nomi errati che hanno generato con un’accuratezza media del 75%.
Lo Slopsquatting si aggiunge alla lista di attacchi di tipo “package confusion” che mettono a serio rischio la supply chain. “I pacchetti “allucinati” possono essere generati in maniera consistente e condivisi ampiamente con auto-completamenti, tutorial e porzioni di codice scritte dall’IA“.
Questa minaccia può scalare in breve tempo: se un pacchetto falso viene consigliato da sempre più modelli e un attaccante ha registrato quel nome, il codice malevolo si diffonde senza troppi problemi. “Visto che molti sviluppatori si fidano dell’output dei tool di IA senza una validazione rigorosa, la finestra di opportunità è spalancata“. Con sempre più sviluppatori che affidano all’IA l’implementazione completa del codice, il rischio di fidarsi ciecamente delle dipendenze introdotte dall’IA e di non verificare l’esistenza dei pacchetti aumenta.
Aumentare il livello di attenzione in questo caso è essenziale: se l’IA è un ottimo aiuto per velocizzare la produzione di codice, è importante verificare attentamente gli output, soprattutto quando si sceglie di usare librerie e pacchetti. Visto l’impatto dello Slopsquatting, è anche indispensabile fare affidamento a strumenti in grado di segnalare pacchetti pubblicati di recente o sospetti prima che vengano installati.
Apr 09, 2025 0
Apr 08, 2025 0
Mar 25, 2025 0
Feb 19, 2025 0
Apr 16, 2025 0
Apr 16, 2025 0
Apr 14, 2025 0
Apr 14, 2025 0
Apr 15, 2025 0
La diffusione dell’IA e il progressivo miglioramento...Apr 09, 2025 0
Gli agenti di IA stanno diventando sempre più capaci, in...Apr 07, 2025 0
I file PDF possono diventare molto pericolosi: stando a una...Apr 04, 2025 0
L’Italia è tra i principali obiettivi del cybercrime...Apr 02, 2025 0
La Corea del Nord sta incrementando le proprie attività...Gen 29, 2025 0
Con l’avvento dell’IA generativa...Ott 09, 2024 0
Negli ultimi anni sempre più aziende stanno sottoscrivendo...Ott 02, 2024 0
Grazie al machine learning, il Global Research and Analysis...Set 30, 2024 0
Il 2024 è l’anno delle nuove normative di sicurezza:...Mag 21, 2024 0
Una delle sfide principali delle aziende distribuite sul...Apr 16, 2025 0
Il governo U.S.A. ha annunciato l’interruzione dei...Apr 16, 2025 0
Microsoft sta per rilasciare una nuova funzionalità di...Apr 15, 2025 0
La diffusione dell’IA e il progressivo miglioramento...Apr 14, 2025 0
La settimana scorsa Fortinet ha rilasciato un fix perApr 14, 2025 0
Nel corso dell’ultima settimana, il CERT-AGID ha...