Peneliti keamanan siber telah menemukan cacat injeksi cepat tidak langsung dalam duo asisten intelijen buatan Gitlab (AI) yang memungkinkan penyerang mencuri kode sumber dan menyuntikkan HTML yang tidak dipercaya ke dalam tanggapannya, yang kemudian dapat digunakan untuk mengarahkan korban ke situs web jahat.
Gitlab Duo adalah asisten pengkode yang didukung oleh buatan (AI) yang memungkinkan pengguna untuk menulis, meninjau, dan mengedit kode. Dibangun menggunakan model Claude Anthropic, layanan ini pertama kali diluncurkan pada Juni 2023.
Tetapi seperti yang ditemukan oleh keamanan yang sah, Gitlab Duo Chat telah rentan terhadap cacat injeksi cepat tidak langsung yang memungkinkan penyerang untuk “mencuri kode sumber dari proyek pribadi, memanipulasi saran kode yang ditunjukkan kepada pengguna lain, dan bahkan mengekspilrasi kerahasiaan, kerentanan nol-hari yang tidak diungkapkan.”
Injeksi yang cepat mengacu pada kelas kerentanan yang umum dalam sistem AI yang memungkinkan aktor ancaman untuk mempersenjatai model bahasa besar (LLM) untuk memanipulasi tanggapan terhadap petunjuk pengguna dan menghasilkan perilaku yang tidak diinginkan.
Suntikan prompt tidak langsung jauh lebih rumit karena daripada memberikan input AI-kerajinan secara langsung, instruksi nakal tertanam dalam konteks lain, seperti dokumen atau halaman web, yang dirancang oleh model untuk diproses.
Studi terbaru telah menunjukkan bahwa LLM juga rentan terhadap teknik serangan jailbreak yang memungkinkan untuk menipu chatbot yang digerakkan AI untuk menghasilkan informasi berbahaya dan ilegal yang mengabaikan pagar etika dan keselamatan mereka, secara efektif meniadakan kebutuhan akan permintaan yang dibuat dengan hati-hati.
Terlebih lagi, metode bocor (pleak) yang cepat dapat digunakan untuk secara tidak sengaja mengungkapkan petunjuk sistem preset atau instruksi yang dimaksudkan untuk diikuti oleh model.
“Untuk organisasi, ini berarti bahwa informasi pribadi seperti aturan internal, fungsionalitas, kriteria penyaringan, izin, dan peran pengguna dapat bocor,” kata Trend Micro dalam sebuah laporan yang diterbitkan awal bulan ini. “Ini bisa memberikan peluang penyerang untuk mengeksploitasi kelemahan sistem, berpotensi mengarah pada pelanggaran data, pengungkapan rahasia dagang, pelanggaran peraturan, dan hasil yang tidak menguntungkan lainnya.”
 |
| PLEAK ATRACE Demonstrasi – Kelebihan / paparan fungsionalitas sensitif |
Temuan terbaru dari perusahaan keamanan rantai pasokan perangkat lunak Israel menunjukkan bahwa komentar tersembunyi yang ditempatkan di mana saja dalam permintaan gabungan, melakukan pesan, uraian atau komentar, dan kode sumber sudah cukup untuk membocorkan data sensitif atau menyuntikkan HTML ke dalam tanggapan GitLab Duo.
Prompt ini dapat disembunyikan lebih lanjut menggunakan trik pengkodean seperti base16-encoding, penyelundupan unicode, dan rendering Katex dalam teks putih untuk membuatnya kurang terdeteksi. Kurangnya sanitasi input dan fakta bahwa Gitlab tidak memperlakukan skenario ini dengan pengawasan yang lebih banyak daripada kode sumber dapat memungkinkan aktor yang buruk untuk menanam petunjuk di seluruh situs.
“Duo menganalisis seluruh konteks halaman, termasuk komentar, deskripsi, dan kode sumber – membuatnya rentan terhadap instruksi yang disuntikkan tersembunyi di mana saja dalam konteks itu,” kata peneliti keamanan Omer Mayraz.
Ini juga berarti bahwa penyerang dapat menipu sistem AI untuk memasukkan paket JavaScript berbahaya dalam sepotong kode yang disintesis, atau menyajikan URL berbahaya sebagai aman, menyebabkan korban dialihkan ke halaman login palsu yang memanen kredensial mereka.
Selain itu, dengan memanfaatkan kemampuan Gitlab Duo Chat untuk mengakses informasi tentang permintaan gabungan tertentu dan kode perubahan di dalamnya, keamanan yang sah menemukan bahwa dimungkinkan untuk memasukkan prompt tersembunyi dalam deskripsi permintaan gabungan untuk proyek yang, ketika diproses oleh duo, menyebabkan kode sumber pribadi untuk dieksfiltrasi ke server yang dikontrol oleh penyerang.
Ini, pada gilirannya, dimungkinkan karena penggunaan rendering markdown streaming untuk menafsirkan dan merender respons ke dalam HTML sebagai output dihasilkan. Dengan kata lain, memberi makan kode HTML melalui injeksi cepat tidak langsung dapat menyebabkan segmen kode dieksekusi di browser pengguna.
Mengikuti pengungkapan yang bertanggung jawab pada 12 Februari 2025, masalah telah ditangani oleh Gitlab.
“Kerentanan ini menyoroti sifat bermata dua dari asisten AI seperti Gitlab Duo: ketika sangat terintegrasi ke dalam alur kerja pembangunan, mereka mewarisi bukan hanya konteks-tetapi risiko,” kata Mayraz.
“Dengan menanamkan instruksi tersembunyi dalam konten proyek yang tampaknya tidak berbahaya, kami dapat memanipulasi perilaku duo, mengekspiltrat kode sumber pribadi, dan menunjukkan bagaimana respons AI dapat dimanfaatkan untuk hasil yang tidak disengaja dan berbahaya.”
Pengungkapan itu datang ketika mitra uji pena mengungkapkan bagaimana Microsoft Copilot untuk SharePoint, atau agen SharePoint, dapat dieksploitasi oleh penyerang lokal untuk mengakses data dan dokumentasi yang sensitif, bahkan dari file yang memiliki hak istimewa “tampilan terbatas”.
“Salah satu manfaat utama adalah bahwa kita dapat mencari dan menjaring melalui kumpulan data besar -besaran, seperti situs SharePoint dari organisasi besar, dalam waktu singkat,” kata perusahaan itu. “Ini dapat secara drastis meningkatkan peluang menemukan informasi yang akan bermanfaat bagi kita.”
Teknik -teknik serangan mengikuti penelitian baru bahwa Elizaos (sebelumnya AI16Z), kerangka kerja agen AI yang baru didesentralisasi untuk operasi Web3 otomatis, dapat dimanipulasi dengan menyuntikkan instruksi jahat ke dalam petunjuk atau catatan interaksi historis, secara efektif merusak konteks yang disimpan dan mengarah ke transfer asset yang tidak diinginkan.
“Implikasi dari kerentanan ini sangat parah mengingat bahwa Elizaosagents dirancang untuk berinteraksi dengan banyak pengguna secara bersamaan, mengandalkan input kontekstual bersama dari semua peserta,” sekelompok akademisi dari Princeton University menulis dalam sebuah makalah.
“Satu manipulasi yang berhasil oleh aktor jahat dapat membahayakan integritas seluruh sistem, menciptakan efek mengalir yang sulit dideteksi dan dikurangi.”
Di samping suntikan dan jailbreak yang cepat, masalah penting lainnya yang sedang sakit hari ini adalah halusinasi, yang terjadi ketika model menghasilkan respons yang tidak didasarkan pada data input atau hanya dibuat.
Menurut sebuah studi baru yang diterbitkan oleh perusahaan pengujian AI Giskard, menginstruksikan LLM untuk ringkas dalam jawaban mereka dapat secara negatif mempengaruhi faktualitas dan memperburuk halusinasi.
“Efek ini tampaknya terjadi karena sanggahan yang efektif umumnya membutuhkan penjelasan yang lebih lama,” katanya. “Ketika dipaksa untuk bersikap ringkas, model menghadapi pilihan yang mustahil antara membuat jawaban yang pendek tetapi tidak akurat atau tampak tidak membantu dengan menolak pertanyaan sepenuhnya.”
