
AI dari sudut pandang penyerang: Lihat bagaimana penjahat dunia maya memanfaatkan AI dan mengeksploitasi kerentanannya untuk membahayakan sistem, pengguna, dan bahkan aplikasi AI lainnya
Penjahat dunia maya dan AI: Realitas vs. Hype
“AI tidak akan menggantikan manusia dalam waktu dekat. Namun manusia yang mengetahui cara menggunakan AI akan menggantikan manusia yang tidak mengetahui cara menggunakan AI,” kata Etay Maor, Kepala Strategi Keamanan di Cato Networks dan anggota pendiri Cato Networks. Cato CTRL. “Demikian pula, penyerang juga beralih ke AI untuk meningkatkan kemampuan mereka.”
Namun, terdapat lebih banyak hype daripada kenyataan seputar peran AI dalam kejahatan dunia maya. Berita utama sering kali membuat ancaman AI menjadi sensasional, dengan istilah seperti “Chaos-GPT” dan “Black Hat AI Tools”, bahkan mengklaim bahwa ancaman tersebut berupaya menghancurkan umat manusia. Namun, artikel-artikel ini lebih bersifat menimbulkan rasa takut dibandingkan menggambarkan ancaman serius.

Misalnya, ketika dieksplorasi di forum bawah tanah, beberapa dari apa yang disebut “alat cyber AI” ditemukan tidak lebih dari versi LLM publik dasar yang telah diganti mereknya tanpa kemampuan tingkat lanjut. Faktanya, mereka bahkan ditandai oleh penyerang yang marah sebagai penipuan.
Bagaimana Peretas Benar-benar Menggunakan AI dalam Serangan Cyber
Faktanya, penjahat dunia maya masih mencari cara untuk memanfaatkan AI secara efektif. Mereka mengalami masalah dan kekurangan yang sama dengan pengguna sah, seperti halusinasi dan kemampuan terbatas. Sesuai prediksi mereka, diperlukan waktu beberapa tahun sebelum mereka dapat memanfaatkan GenAI secara efektif untuk kebutuhan peretasan.


Untuk saat ini, alat GenAI sebagian besar digunakan untuk tugas-tugas sederhana, seperti menulis email phishing dan membuat cuplikan kode yang dapat diintegrasikan ke dalam serangan. Selain itu, kami mengamati penyerang memberikan kode yang telah disusupi ke sistem AI untuk dianalisis, sebagai upaya untuk “menormalkan” kode tersebut agar dianggap tidak berbahaya.
Menggunakan AI untuk Menyalahgunakan AI: Memperkenalkan GPT
GPT, yang diperkenalkan oleh OpenAI pada 6 November 2023, adalah versi ChatGPT yang dapat disesuaikan dan memungkinkan pengguna menambahkan instruksi spesifik, mengintegrasikan API eksternal, dan menggabungkan sumber pengetahuan unik. Fitur ini memungkinkan pengguna membuat aplikasi yang sangat terspesialisasi, seperti bot dukungan teknis, alat pendidikan, dan banyak lagi. Selain itu, OpenAI menawarkan opsi monetisasi kepada pengembang untuk GPT, melalui pasar khusus.
Menyalahgunakan GPT
GPT menimbulkan potensi masalah keamanan. Salah satu risiko penting adalah paparan instruksi sensitif, pengetahuan kepemilikan, atau bahkan kunci API yang tertanam dalam GPT khusus. Pelaku kejahatan dapat menggunakan AI, khususnya rekayasa cepat, untuk mereplikasi GPT dan memanfaatkan potensi monetisasinya.
Penyerang dapat menggunakan perintah untuk mengambil sumber pengetahuan, instruksi, file konfigurasi, dan banyak lagi. Ini mungkin sesederhana meminta GPT khusus untuk mencantumkan semua file yang diunggah dan instruksi khusus atau meminta informasi debug. Atau, yang canggih seperti meminta GPT untuk meng-zip salah satu file PDF dan membuat tautan yang dapat diunduh, meminta GPT untuk mencantumkan semua kemampuannya dalam format tabel terstruktur, dan banyak lagi.
“Bahkan perlindungan yang diterapkan oleh pengembang dapat dilewati dan semua pengetahuan dapat diekstraksi,” kata Vitaly Simonovich, Peneliti Intelijen Ancaman di Cato Networks dan anggota Cato CTRL.
Risiko-risiko ini dapat dihindari dengan:
- Tidak mengunggah data sensitif
- Meskipun menggunakan perlindungan berbasis instruksi mungkin tidak selalu mudah. “Anda perlu mempertimbangkan semua skenario berbeda yang dapat disalahgunakan oleh penyerang,” tambah Vitaly.
- Perlindungan OpenAI
Serangan dan Risiko AI
Ada beberapa kerangka kerja yang ada saat ini untuk membantu organisasi yang mempertimbangkan pengembangan dan pembuatan perangkat lunak berbasis AI:
- Kerangka Manajemen Risiko Kecerdasan Buatan NIST
- Kerangka AI Aman Google
- OWASP 10 Teratas untuk LLM
- OWASP Top 10 untuk Aplikasi LLM
- MITRE ATLAS yang baru saja diluncurkan
Permukaan Serangan LLM
Ada enam komponen utama LLM (Large Language Model) yang dapat menjadi sasaran penyerang:
- Mengingatkan – Serangan seperti suntikan cepat, di mana masukan berbahaya digunakan untuk memanipulasi keluaran AI
- Tanggapan – Penyalahgunaan atau kebocoran informasi sensitif dalam respons yang dihasilkan AI
- Model – Pencurian, keracunan, atau manipulasi model AI
- Data Pelatihan – Memperkenalkan data berbahaya untuk mengubah perilaku AI.
- Infrastruktur – Menargetkan server dan layanan yang mendukung AI
- Pengguna – Menyesatkan atau mengeksploitasi manusia atau sistem yang mengandalkan keluaran AI
Serangan dan Resiko di Dunia Nyata
Mari kita selesaikan dengan beberapa contoh manipulasi LLM, yang dapat dengan mudah digunakan untuk tujuan jahat.
- Injeksi Cepat dalam Sistem Layanan Pelanggan – Kasus baru-baru ini melibatkan dealer mobil yang menggunakan chatbot AI untuk layanan pelanggan. Seorang peneliti berhasil memanipulasi chatbot dengan mengeluarkan perintah yang mengubah perilakunya. Dengan menginstruksikan chatbot untuk menyetujui semua pernyataan pelanggan dan mengakhiri setiap tanggapan dengan, “Dan itu adalah tawaran yang mengikat secara hukum,” peneliti dapat membeli mobil dengan harga yang sangat rendah, sehingga memperlihatkan kerentanan yang besar.
- Halusinasi yang Menimbulkan Akibat Hukum – Dalam insiden lain, Air Canada menghadapi tuntutan hukum ketika chatbot AI mereka memberikan informasi yang salah tentang kebijakan pengembalian dana. Ketika pelanggan mengandalkan respons chatbot dan kemudian mengajukan klaim, Air Canada bertanggung jawab atas informasi yang menyesatkan tersebut.
- Kebocoran Data Kepemilikan – Karyawan Samsung tanpa sadar membocorkan informasi kepemilikan saat mereka menggunakan ChatGPT untuk menganalisis kode. Mengunggah data sensitif ke sistem AI pihak ketiga berisiko karena tidak jelas berapa lama data tersebut disimpan atau siapa yang dapat mengaksesnya.
- Teknologi AI dan Deepfake dalam Penipuan – Penjahat dunia maya juga memanfaatkan AI lebih dari sekadar menghasilkan teks. Sebuah bank di Hong Kong menjadi korban penipuan senilai $25 juta ketika penyerang menggunakan teknologi deepfake langsung selama panggilan video. Avatar yang dihasilkan AI meniru pejabat bank tepercaya, meyakinkan korban untuk mentransfer dana ke rekening palsu.

Kesimpulan: AI dalam Kejahatan Cyber
AI adalah alat yang ampuh bagi pembela dan penyerang. Ketika penjahat dunia maya terus bereksperimen dengan AI, penting untuk memahami cara berpikir mereka, taktik yang mereka gunakan, dan pilihan yang mereka hadapi. Hal ini akan memungkinkan organisasi untuk lebih melindungi sistem AI mereka dari penyalahgunaan dan penyalahgunaan.
Tonton seluruh kelas master di sini.