Meta pada hari Selasa diumumkan Llamafirewallkerangka kerja open-source yang dirancang untuk mengamankan sistem buatan (AI) terhadap risiko cyber yang muncul seperti injeksi cepat, jailbreak, dan kode tidak aman, antara lain.
Kerangka kerja, kata perusahaan itu, menggabungkan tiga pagar pembatas, termasuk promptguard 2, pemeriksaan perataan agen, dan codeshield.
PromptGuard 2 dirancang untuk mendeteksi jailbreak langsung dan upaya injeksi yang cepat secara real-time, sementara cek penyelarasan agen mampu memeriksa penalaran agen untuk kemungkinan pembajakan tujuan dan skenario injeksi cepat tidak langsung.
Codeshield mengacu pada mesin analisis statis online yang berupaya mencegah pembuatan kode yang tidak aman atau berbahaya oleh agen AI.
“LlamafireWall dibangun untuk berfungsi sebagai kerangka pagar pemberi pagar yang fleksibel dan real-time untuk mengamankan aplikasi bertenaga LLM,” kata perusahaan itu dalam deskripsi GitHub dari proyek tersebut.
“Arsitekturnya adalah modular, memungkinkan tim keamanan dan pengembang untuk menyusun pertahanan berlapis yang menjangkau dari konsumsi input mentah hingga tindakan output akhir – di seluruh model obrolan sederhana dan agen otonom yang kompleks.”
Bersamaan dengan Llamafirewall, Meta telah menyediakan versi terbaru dari Llamaguard dan Cyberseceval untuk lebih mendeteksi berbagai jenis konten yang melanggar dan mengukur kemampuan keamanan siber defensif dari sistem AI, masing -masing.
Cyberseceval 4 juga mencakup tolok ukur baru yang disebut AutoPatchBench, yang direkayasa untuk mengevaluasi kemampuan agen model bahasa besar (LLM) untuk secara otomatis memperbaiki berbagai kerentanan C/C ++ yang diidentifikasi melalui fuzzing, pendekatan yang dikenal sebagai penambalan bertenaga AI.
“AutoPatchBench menyediakan kerangka evaluasi standar untuk menilai efektivitas alat perbaikan kerentanan yang dibantu AI,” kata perusahaan itu. “Benchmark ini bertujuan untuk memfasilitasi pemahaman yang komprehensif tentang kemampuan dan keterbatasan berbagai pendekatan yang digerakkan AI untuk memperbaiki bug yang dipecat.”
Terakhir, Meta telah meluncurkan program baru yang dijuluki Llama untuk para pembela untuk membantu organisasi mitra dan pengembang AI mengakses solusi AI yang terbuka, akses, dan tutup untuk mengatasi tantangan keamanan tertentu, seperti mendeteksi konten yang dihasilkan AI yang digunakan dalam penipuan, penipuan, dan serangan phishing.
Pengumuman datang ketika WhatsApp mempratinjau teknologi baru yang disebut pemrosesan pribadi untuk memungkinkan pengguna memanfaatkan fitur AI tanpa mengorbankan privasi mereka dengan membongkar permintaan ke lingkungan yang aman dan rahasia.
“Kami bekerja dengan komunitas keamanan untuk mengaudit dan meningkatkan arsitektur kami dan akan terus membangun dan memperkuat pemrosesan pribadi di tempat terbuka, bekerja sama dengan para peneliti, sebelum kami meluncurkannya dalam produk,” kata Meta.
