Lovable, platform bertenaga kecerdasan buatan generatif (AI) yang memungkinkan untuk membuat aplikasi web full-stack menggunakan petunjuk berbasis teks, telah ditemukan sebagai yang paling rentan terhadap serangan jailbreak, memungkinkan pemula dan bercita-cita tinggi cybercrooks untuk mengatur halaman panen kredensial yang mirip.
“Sebagai alat yang dibangun khusus untuk membuat dan menggunakan aplikasi web, kemampuannya berbaris dengan sempurna dengan daftar keinginan setiap scammer,” kata Nati Tal, Guardio Labs dalam sebuah laporan yang dibagikan dengan berita Hacker. “Dari halaman penipuan pixel-sempurna hingga hosting langsung, teknik penghindaran, dan bahkan dasbor admin untuk melacak data yang dicuri-dicintai tidak hanya berpartisipasi, itu dilakukan. Tidak ada pagar, tidak ragu-ragu.”
Tekniknya telah diberi nama kode Vibescamming -Sebuah permainan pada istilah pengkodean getaran, yang mengacu pada teknik pemrograman yang bergantung pada AI untuk menghasilkan perangkat lunak dengan menggambarkan pernyataan masalah dalam beberapa kalimat sebagai prompt untuk model bahasa besar (LLM) yang disetel untuk pengkodean.
Penyalahgunaan LLMS dan AI Chatbots untuk tujuan jahat bukanlah fenomena baru. Dalam beberapa minggu terakhir, penelitian telah menunjukkan bagaimana para aktor ancaman menyalahgunakan alat -alat populer seperti Openai Chatgpt dan Google Gemini untuk membantu pengembangan malware, penelitian, dan pembuatan konten.
Terlebih lagi, LLMS seperti Deepseek juga telah ditemukan rentan terhadap serangan yang cepat dan teknik jailbreak seperti Hakim Likert Bad, Crescendo, dan Delight yang menipu yang memungkinkan model untuk memotong keselamatan dan pagar etika dan menghasilkan konten terlarang lainnya. Ini termasuk membuat email phishing, sampel keylogger dan ransomware, meskipun dengan dorongan dan debugging tambahan.
Dalam sebuah laporan yang diterbitkan bulan lalu, Symantec milik Broadcom mengungkapkan bagaimana Openai's Operator, agen AI yang dapat melakukan tindakan berbasis web atas nama pengguna, dapat dipersenjatai untuk mengotomatiskan seluruh proses menemukan alamat email dari orang-orang tertentu, membuat skrip PowerShell yang dapat mengumpulkan informasi sistem, menyimpannya di Google Drive, dan mengirimkan skrip dan mengirim email ke powershell itu ke orang-orang itu dan mensimpannya di Google Drive.
Meningkatnya popularitas alat AI juga berarti bahwa mereka dapat secara signifikan mengurangi hambatan untuk masuk bagi penyerang, memungkinkan mereka untuk memanfaatkan kemampuan pengkodean mereka untuk membuat malware fungsional dengan keahlian teknis mereka sendiri
Contoh kasus adalah pendekatan jailbreak baru yang dijuluki dunia immersive yang memungkinkan untuk membuat pencuri informasi yang mampu memanen kredensial dan data sensitif lainnya yang disimpan di browser Google Chrome. Teknik “menggunakan rekayasa naratif untuk memotong kontrol keamanan LLM” dengan menciptakan dunia fiksi yang terperinci dan menetapkan peran dengan aturan spesifik untuk mengatasi operasi yang dibatasi.
Analisis terbaru Guardio Labs mengambil langkah lebih jauh, mengungkap bahwa platform seperti Claude yang dapat dicintai dan antropik, pada tingkat yang lebih rendah, dapat dipersenjatai untuk menghasilkan kampanye penipuan lengkap, lengkap dengan templat pesan teks SMS, pengiriman SMS yang berbasis twilio dari tautan palsu, pengabdian konten, evasi pertahanan, dan integrasi telegram.
Vibescamming dimulai dengan prompt langsung yang meminta alat AI untuk mengotomatisasi setiap langkah siklus serangan, menilai respons awalnya, dan kemudian mengadopsi pendekatan multi-prompt untuk dengan lembut mengarahkan model LLM untuk menghasilkan respons berbahaya yang dimaksudkan. Disebut “Level Up,” fase ini melibatkan peningkatan halaman phishing, menyempurnakan metode pengiriman, dan meningkatkan legitimasi penipuan.
Lovable, per guardio, telah ditemukan tidak hanya menghasilkan halaman login yang tampak meyakinkan meniru halaman masuk Microsoft yang sebenarnya, tetapi juga menghilangkan halaman pada URL yang di-host di subdomainnya sendiri (“yaitu, *.lovable.app”) dan mengarahkan ke kantornya[.]com setelah pencurian kredensial.
Selain itu, baik Claude maupun yang dicintai tampaknya mematuhi petunjuk mencari bantuan untuk menghindari halaman penipuan agar tidak ditandai oleh solusi keamanan, serta mengeluarkan kredensial curian ke layanan eksternal seperti Firebase, Requestbin, dan Jsonbin, atau saluran telegram swasta.
“Yang lebih mengkhawatirkan bukan hanya kesamaan grafis tetapi juga pengalaman pengguna,” kata Tal. “Ini meniru hal yang nyata dengan sangat baik sehingga bisa dibilang lebih halus dari aliran login Microsoft yang sebenarnya. Ini menunjukkan kekuatan mentah agen AI yang berfokus pada tugas dan bagaimana, tanpa pengerasan yang ketat, mereka dapat secara tidak sadar menjadi alat untuk disalahgunakan.”
“Tidak hanya menghasilkan scampage dengan penyimpanan kredensial penuh, tetapi juga memberi kami dasbor admin yang berfungsi penuh untuk meninjau semua data yang ditangkap – kredensial, alamat IP, cap waktu, dan kata sandi plustext penuh.”
Sehubungan dengan temuan, Guardio juga telah merilis versi pertama dari apa yang disebut tolok ukur vibescamming untuk menempatkan model AI generatif melalui pemeras dan menguji ketahanan mereka terhadap potensi penyalahgunaan dalam alur kerja phishing. Sementara Chagpt mencetak 8 dari 10, Claude mencetak 4,3, dan Lovable mencetak 1,8, menunjukkan eksploitasi tinggi.
“Chatgpt, meskipun bisa dibilang model tujuan umum yang paling canggih, juga ternyata yang paling berhati-hati,” kata Tal. “Claude, sebaliknya, dimulai dengan pushback yang kuat tetapi terbukti mudah dibujuk. Setelah didorong dengan framing 'etis' atau 'penelitian keamanan', itu menawarkan panduan yang sangat kuat.”
