Cel puțin 100 de instanțe ale modelelor AI ML malitioase au fost găsite pe platforma Hugging Face, unele dintre acestea având capacitatea de a executa cod pe mașina victimelor, oferind atacatorilor un backdoor persistent.
Hugging Face este o companie de tehnologie specializată în inteligență artificială (AI), prelucrare a limbajului natural (NLP) și învățare automată (ML), oferind o platformă unde comunitățile pot colabora și împărtăși modele, seturi de date și aplicații complete.
Echipa de securitate JFrog a descoperit că aproximativ o sută de modele găzduite pe platformă prezintă funcționalități malitioase, reprezentând un risc semnificativ de încălcări de date și atacuri de spionaj.
Aceasta s-a întâmplat în ciuda măsurilor de securitate luate de Hugging Face, inclusiv scanarea malware-ului, pickle-ului și a secretelor, și examinarea funcționalității modelelor pentru a descoperi comportamente precum nesecurizarea deserializării.
JFrog a dezvoltat și implementat un sistem avansat de scanare pentru a examina modelele PyTorch și Tensorflow Keras găzduite pe Hugging Face, găsind o sută de modele cu diverse forme de funcționalitate malitioasă.
„Este crucial să subliniem că atunci când vorbim despre „modele malitioase”, ne referim în mod specific la acelea care găzduiesc payload-uri reale și dăunătoare,” se arată în raportul JFrog.
„Acest număr exclude rezultatele false, asigurând o reprezentare autentică a distribuției eforturilor de producere a modelelor malitioase pentru PyTorch și Tensorflow pe Hugging Face.”
Un caz evidențiat al unui model PyTorch încărcat recent de un utilizator numit „baller423,” și care a fost ulterior îndepărtat de pe Hugging Face, a conținut un payload care i-a dat capacitatea de a stabili un shell invers către un server specific (210.117.212.93).
Parcela malitioasă a folosit metoda „__reduce__” a modulului pickle din Python pentru a executa cod arbitrar la încărcarea unui fișier de model PyTorch, evitând detectarea prin încorporarea codului dăunător în procesul de serializare de încredere.
JFrog a descoperit același payload conectându-se la alte adrese IP în instanțe separate, cu dovezi care sugerează posibilitatea ca operatorii să fie cercetători AI mai degrabă decât hackeri. Cu toate acestea, experimentul lor a fost încă riscant și nepotrivit.
Analiștii au implementat un HoneyPot pentru a atrage și analiza activitatea pentru a determina intențiile reale ale operatorilor, dar nu au reușit să captureze nicio comandă în timpul conectivității stabilite (o zi).
JFrog afirmă că unele dintre încărcările malitioase ar putea face parte din cercetările de securitate cu scopul de a ocoli măsurile de securitate de pe Hugging Face și de a colecta recompense pentru găsirea de bug-uri, dar deoarece modelele periculoase devin disponibile public, riscul este real și nu ar trebui subestimat.
Modelele AI ML pot reprezenta riscuri semnificative de securitate, iar acestea nu au fost apreciate sau discutate cu atenția cuvenită de părțile interesate și dezvoltatorii de tehnologie.
Concluziile JFrog subliniază această problemă și cer o vigilență crescută și măsuri proactive pentru a proteja ecosistemul de actorii malitioși.
Leave a Reply