Kerentanan keamanan yang kini telah ditambal dalam aplikasi ChatGPT OpenAI untuk macOS dapat memungkinkan penyerang untuk menanamkan spyware persisten jangka panjang ke dalam memori alat kecerdasan buatan (AI).
Teknik yang dijuluki Perangkat Lunak SpAIdapat disalahgunakan untuk memfasilitasi “pencurian data berkelanjutan atas informasi apa pun yang diketik pengguna atau respons yang diterima oleh ChatGPT, termasuk sesi obrolan apa pun di masa mendatang,” kata peneliti keamanan Johann Rehberger.
Masalahnya, pada intinya, menyalahgunakan fitur yang disebut memori, yang diperkenalkan OpenAI awal Februari ini sebelum meluncurkannya ke pengguna ChatGPT Gratis, Plus, Tim, dan Perusahaan pada awal bulan.
Yang dilakukannya pada dasarnya adalah memungkinkan ChatGPT mengingat hal-hal tertentu di seluruh obrolan sehingga pengguna tidak perlu mengulang informasi yang sama berulang kali. Pengguna juga memiliki opsi untuk memerintahkan program tersebut untuk melupakan sesuatu.
“Ingatan ChatGPT berkembang seiring interaksi Anda dan tidak terkait dengan percakapan tertentu,” kata OpenAI. “Menghapus obrolan tidak menghapus ingatannya; Anda harus menghapus ingatan itu sendiri.”
Teknik serangan ini juga dibangun berdasarkan temuan sebelumnya yang melibatkan penggunaan injeksi perintah tidak langsung untuk memanipulasi memori sehingga mengingat informasi palsu, atau bahkan instruksi jahat, dan mencapai bentuk persistensi yang bertahan di antara percakapan.
“Karena instruksi berbahaya disimpan dalam memori ChatGPT, semua percakapan baru yang dilakukan selanjutnya akan berisi instruksi penyerang dan akan terus mengirimkan semua pesan percakapan obrolan, dan balasan, kepada penyerang,” kata Rehberger.
“Jadi, kerentanan pencurian data menjadi jauh lebih berbahaya karena kini muncul dalam percakapan chat.”
Dalam skenario serangan hipotetis, pengguna dapat ditipu agar mengunjungi situs berbahaya atau mengunduh dokumen jebakan yang kemudian dianalisis menggunakan ChatGPT untuk memperbarui memori.
Situs web atau dokumen tersebut dapat berisi instruksi untuk secara diam-diam mengirim semua percakapan di masa mendatang ke server yang dikendalikan musuh, yang kemudian dapat diambil kembali oleh penyerang di ujung lain di luar sesi obrolan tunggal.
Setelah pengungkapan yang bertanggung jawab, OpenAI telah mengatasi masalah tersebut dengan ChatGPT versi 1.2024.247 dengan menutup vektor eksfiltrasi.
“Pengguna ChatGPT harus secara teratur meninjau memori yang disimpan sistem tentang mereka, untuk mencari memori yang mencurigakan atau tidak benar, lalu membersihkannya,” kata Rehberger.
“Serangan berantai ini cukup menarik untuk disatukan, dan menunjukkan bahayanya jika memori jangka panjang ditambahkan secara otomatis ke suatu sistem, baik dari sudut pandang misinformasi/penipuan, tetapi juga terkait komunikasi berkelanjutan dengan server yang dikendalikan penyerang.”
Pengungkapan itu terjadi saat sekelompok akademisi mengungkap teknik jailbreaking AI baru dengan nama sandi MathPrompt yang mengeksploitasi kemampuan canggih model bahasa besar (LLM) dalam matematika simbolik untuk mengakali mekanisme keamanannya.
“MathPrompt menggunakan proses dua langkah: pertama, mengubah perintah bahasa alami yang berbahaya menjadi masalah matematika simbolis, lalu menyajikan perintah yang dikodekan secara matematis ini ke LLM target,” para peneliti menunjukkan.
Penelitian tersebut, setelah diuji terhadap 13 LLM tercanggih, menemukan bahwa model tersebut merespons dengan keluaran yang merugikan 73,6% dari waktu rata-rata ketika disajikan dengan perintah yang dikodekan secara matematis, dibandingkan dengan sekitar 1% dengan perintah merugikan yang tidak dimodifikasi.
Hal ini juga mengikuti peluncuran perdana kemampuan Koreksi baru dari Microsoft yang, sesuai namanya, memungkinkan koreksi keluaran AI saat ketidakakuratan (misalnya, halusinasi) terdeteksi.
“Berdasarkan fitur Groundedness Detection yang sudah ada, kemampuan inovatif ini memungkinkan Azure AI Content Safety untuk mengidentifikasi dan mengoreksi halusinasi secara real-time sebelum pengguna aplikasi AI generatif mengalaminya,” kata raksasa teknologi itu.
