Cercetătorii au demonstrat că este posibil să se abuzeze de API-ul vocal în timp real al OpenAI pentru ChatGPT-4o, un chatbot LLM avansat, pentru a efectua escrocherii financiare cu rate de succes reduse până la moderate.
ChatGPT-4o este cel mai recent model AI al OpenAI care aduce noi îmbunătățiri, cum ar fi integrarea intrărilor și ieșirilor text, vocale și de viziune.
Datorită acestor caracteristici noi, OpenAI a integrat diverse măsuri de protecție pentru a detecta și bloca conținutul dăunător, cum ar fi replicarea vocilor neautorizate.
Escrocheriile vocale reprezintă deja o problemă de milioane de dolari, iar apariția tehnologiei deepfake și a uneltelor AI pentru conversia textului în vorbire nu fac decât să agraveze situația.
Conform cercetătorilor de la UIUC, Richard Fang, Dylan Bowman și Daniel Kang, noile unelte tehnologice disponibile în prezent fără restricții nu prezintă suficiente măsuri de protecție împotriva abuzului potențial de către cibercriminali și escroci.
Aceste unelte pot fi folosite pentru proiectarea și efectuarea operațiunilor de escrocherie la scară largă fără efort uman, acoperind costul tokenilor pentru evenimentele de generare vocală.
Articolul cercetătorilor explorează diverse tipuri de escrocherii precum transferurile bancare, exfiltrarea cardurilor cadou, transferurile de criptomonede și furtul de acreditări pentru conturile de social media sau Gmail.
Agenții AI care efectuează escrocheriile folosesc unelte de automatizare cu ChatGPT-4o activat vocal pentru a naviga pe pagini, a introduce date și a gestiona coduri de autentificare în doi pași și instrucțiuni specifice legate de escrocherii.
Deoarece GPT-4o refuză uneori să gestioneze date sensibile precum acreditările, cercetătorii au folosit tehnici simple de jailbreaking a prompturilor pentru a trece peste aceste protecții.
În loc de persoane reale, cercetătorii au demonstrat cum au interacționat manual cu agentul AI, simulând rolul unei victime naive, folosind site-uri reale precum Bank of America pentru a confirma tranzacțiile reușite.
„Am implementat agenții noștri pe un sub-set de escrocherii comune. Am simulat escrocherii interacționând manual cu agentul vocal, jucând rolul unei victime creduloase,” a explicat Kang într-o postare pe blog despre cercetare.
„Pentru a determina succesul, am confirmat manual dacă starea finală a fost atinsă pe aplicațiile/site-urile reale. De exemplu, am folosit Bank of America pentru escrocherii cu transfer bancar și am confirmat că banii au fost transferați efectiv. Cu toate acestea, nu am măsurat capacitatea de persuasiune a acestor agenți.”
În total, ratele de succes au variat de la 20-60%, fiecare încercare necesitând până la 26 de acțiuni în browser și durând până la 3 minute în cele mai complexe scenarii.
Transferurile bancare și impersonarea agenților IRS, cu cele mai multe eșecuri cauzate de erori de transcriere sau cerințe de navigare complexe pe site-uri. Cu toate acestea, furtul de acreditări de pe Gmail a reușit în 60% din cazuri, în timp ce transferurile de criptomonede și furtul de acreditări de pe Instagram au funcționat doar în 40% din cazuri.
În ceea ce privește costul, cercetătorii notează că executarea acestor escrocherii este relativ ieftină, fiecare caz de succes costând în medie 0,75 dolari.
Escrocheria de transfer bancar, care este mai complicată, costă 2,51 dolari. Cu toate că este semnificativ mai mare, acest cost este încă foarte mic în comparație cu profitul potențial care poate fi obținut din acest tip de escrocherie.
OpenAI a declarat pentru BleepingComputer că cel mai recent model al său, o1 (în prezent în previzualizare), care suportă „raționament avansat”, a fost construit cu mai bune apărări împotriva acestui tip de abuz.
„Îmbunătățim constant ChatGPT pentru a opri încercările deliberate de a-l păcăli, fără a-și pierde utilitatea sau creativitatea.
Cel mai recent nostru model o1 de raționament este cel mai capabil și mai sigur până acum, depășind semnificativ modelele anterioare în rezistența împotriva încercărilor deliberate de a genera conținut nesigur.” – purtător de cuvânt OpenAI
OpenAI a mai menționat că documentele precum aceasta de la UIUC îi ajută să facă ChatGPT mai bun în oprirea utilizării malitioase, iar ei investighează întotdeauna cum își pot întări robustețea.
Deja, GPT-4o încorporează o serie de măsuri pentru a preveni abuzul, inclusiv restricționarea generării vocale la un set de voci pre-aprobate pentru a preveni impersonarea.
o1-preview obține scoruri semnificativ mai mari conform evaluării de siguranță a jailbreak-ului OpenAI, care măsoară cât de bine se opune modelul de generare a conținutului nesigur în răspuns la prompțuri adversare, obținând un scor de 84% față de 22% pentru GPT-4o.
Când a fost testat folosind un set de noi evaluări de siguranță mai exigente, scorurile o1-preview au fost semnificativ mai mari, 93% față de 71% pentru GPT-4o.
Presupunând că pe măsură ce LLM-urile mai avansate cu o mai bună rezistență la abuz devin disponibile, cele mai vechi vor fi eliminate treptat.
Cu toate acestea, riscul ca actorii amenințării să folosească alte chatboturi cu activare vocală cu mai puține restricții rămâne, iar studiile precum aceasta subliniază potențialul de daune semnificative pe care aceste noi unelte le au.
OpenAI confirmă că actorii amenințării folosesc ChatGPT pentru a scrie malware
Noul extensie de căutare ChatGPT Search de la OpenAI se simte ca o preluare a căutării
Peste o mie de magazine online au fost sparte pentru a afișa listări false de produse
FBI: Viitoarele alegeri generale din SUA alimentează mai multe scheme de fraudă
Escrocii închiși pentru a fi înșelat Apple de 6.000 de iPhone-uri
Leave a Reply