Peneliti keamanan siber telah mengungkapkan dua kelemahan keamanan pada platform pembelajaran mesin (ML) Vertex Google yang, jika berhasil dieksploitasi, dapat memungkinkan pelaku jahat meningkatkan hak istimewa dan mengambil model dari cloud.
“Dengan memanfaatkan izin kerja khusus, kami dapat meningkatkan hak istimewa kami dan mendapatkan akses tidak sah ke semua layanan data dalam proyek ini,” kata peneliti Palo Alto Networks Unit 42 Ofir Balassiano dan Ofir Shaty dalam analisis yang diterbitkan awal pekan ini.
“Penerapan model beracun di Vertex AI menyebabkan eksfiltrasi semua model lainnya yang telah disesuaikan, sehingga menimbulkan risiko serangan eksfiltrasi data sensitif dan kepemilikan yang serius.”
Vertex AI adalah platform ML Google untuk melatih dan menerapkan model ML khusus dan aplikasi kecerdasan buatan (AI) dalam skala besar. Ini pertama kali diperkenalkan pada Mei 2021.
Penting untuk memanfaatkan kelemahan eskalasi hak istimewa adalah fitur yang disebut Vertex AI Pipelines, yang memungkinkan pengguna mengotomatiskan dan memantau alur kerja MLOps untuk melatih dan menyempurnakan model ML menggunakan pekerjaan khusus.
Penelitian Unit 42 menemukan bahwa dengan memanipulasi jalur pekerjaan khusus, hak istimewa dapat ditingkatkan untuk mendapatkan akses ke sumber daya yang dibatasi. Hal ini dicapai dengan membuat pekerjaan khusus yang menjalankan image yang dibuat khusus yang dirancang untuk meluncurkan shell terbalik, memberikan akses pintu belakang ke lingkungan.
Tugas khusus, menurut vendor keamanan, berjalan dalam proyek penyewa dengan akun agen layanan yang memiliki izin ekstensif untuk mencantumkan semua akun layanan, mengelola keranjang penyimpanan, dan mengakses tabel BigQuery, yang kemudian dapat disalahgunakan untuk mengakses repositori Google Cloud internal dan mengunduh gambar.
Kerentanan kedua, di sisi lain, melibatkan penerapan model beracun dalam proyek penyewa sehingga menciptakan shell terbalik ketika diterapkan ke titik akhir, menyalahgunakan izin baca-saja dari akun layanan “prediksi online-kustom” untuk menghitung Cluster Kubernetes dan mengambil kredensialnya untuk menjalankan perintah kubectl sewenang-wenang.
“Langkah ini memungkinkan kami berpindah dari ranah GCP ke Kubernetes,” kata para peneliti. “Perpindahan lateral ini dimungkinkan karena izin antara GCP dan GKE dihubungkan melalui IAM Workload Identity Federation.”
Analisis lebih lanjut menemukan bahwa akses ini dapat digunakan untuk melihat gambar yang baru dibuat di dalam cluster Kubernetes dan mendapatkan intisari gambar – yang secara unik mengidentifikasi gambar container – menggunakannya untuk mengekstrak gambar di luar container dengan menggunakan crictl dengan token autentikasi yang terkait dengan akun layanan “prediksi online khusus”.
Selain itu, model jahat juga dapat dipersenjatai untuk melihat dan mengekspor semua model bahasa besar (LLM) dan adaptornya yang telah disesuaikan dengan cara yang sama.
Hal ini dapat menimbulkan konsekuensi yang parah ketika pengembang tanpa sadar menyebarkan model trojan yang diunggah ke repositori publik, sehingga memungkinkan pelaku ancaman mengambil semua ML dan LLM yang telah disempurnakan. Setelah pengungkapan yang bertanggung jawab, kedua kekurangan tersebut telah diatasi oleh Google.
“Penelitian ini menyoroti bagaimana penerapan model jahat dapat membahayakan seluruh lingkungan AI,” kata para peneliti. “Seorang penyerang bahkan dapat menggunakan satu model yang belum terverifikasi yang diterapkan pada sistem produksi untuk mengambil data sensitif, sehingga menyebabkan serangan eksfiltrasi model yang parah.”
Organisasi disarankan untuk menerapkan kontrol ketat pada penerapan model dan izin audit yang diperlukan untuk menerapkan model dalam proyek penyewa.
Perkembangan ini terjadi ketika 0Day Investigative Network (0Din) Mozilla mengungkapkan bahwa ada kemungkinan untuk berinteraksi dengan lingkungan sandbox yang mendasari OpenAI ChatGPT (“/home/sandbox/.openai_internal/”) melalui prompt, memberikan kemampuan untuk mengunggah dan mengeksekusi skrip Python, memindahkan file , dan bahkan mengunduh buku pedoman LLM.
Meskipun demikian, perlu dicatat bahwa OpenAI menganggap interaksi tersebut sebagai perilaku yang disengaja atau diharapkan, mengingat eksekusi kode terjadi dalam batas-batas kotak pasir dan kemungkinan besar tidak akan keluar.
“Bagi siapa pun yang ingin menjelajahi sandbox ChatGPT OpenAI, penting untuk memahami bahwa sebagian besar aktivitas dalam lingkungan terkontainer ini merupakan fitur yang dimaksudkan dan bukan celah keamanan,” kata peneliti keamanan Marco Figueroa.
“Mengekstraksi pengetahuan, mengunggah file, menjalankan perintah bash, atau mengeksekusi kode python di dalam kotak pasir adalah hal yang wajar, asalkan tidak melewati batas yang tidak terlihat dalam wadah.”
