3 hours ago
5
ilustrasi(Magnific)
PENGGUNAAN kecerdasan buatan (AI) untuk memperbaiki celah keamanan perangkat lunak masih menghadapi tantangan serius.
Riset terbaru Off-by-1 Labs dari 1Password menemukan bahwa dari ribuan patch keamanan yang dibuat AI, hanya sekitar 26% yang benar-benar berhasil menutup kerentanan tanpa mengubah perilaku aplikasi secara signifikan.
Temuan ini menunjukkan AI belum dapat sepenuhnya menggantikan keahlian manusia dalam proses perbaikan keamanan perangkat lunak.
6.080 Patch untuk Enam Kerentanan
Dalam penelitian tersebut, peneliti menguji 6.080 patch yang dibuat untuk enam CVE yang baru diungkapkan. Dua model AI reasoning yang memiliki kemampuan di bidang keamanan siber digunakan untuk menghasilkan patch secara otomatis.
Hasil penelitian menunjukkan tingkat keberhasilan rata-rata hanya 26 persen. Artinya, sekitar tiga dari empat patch tidak memenuhi seluruh kriteria yang ditetapkan peneliti.
Sebanyak 20,1 persen patch memang berhasil menutup kerentanan awal, tetapi sekaligus mengubah perilaku aplikasi secara material sehingga tidak dapat dikategorikan sebagai perbaikan yang benar-benar aman.
Patch Terlihat Benar, tetapi Masih Bermasalah
Sejumlah patch buatan AI memang berhasil melewati pengujian, tetapi masih meninggalkan jalur lain yang dapat dieksploitasi. Lebih dari sepertiga patch yang dinilai berhasil juga bersifat fragile, karena hanya memblokir pola serangan tertentu tanpa benar-benar menutup akar kerentanan.
Bahkan, dalam pengujian terhadap proyek freenginx, 114 patch yang dinilai berhasil menutup celah awal justru seluruhnya ditemukan menimbulkan masalah keamanan baru.
Petunjuk Perbaikan Sangat Menentukan
Penelitian juga menemukan bahwa kualitas instruksi yang diberikan kepada AI sangat memengaruhi hasil.
Ketika model mendapatkan arahan perbaikan yang benar, kemampuan menutup kerentanan meningkat hingga sekitar dua pertiga percobaan.
Sebaliknya, ketika AI menerima arahan yang terlihat masuk akal tetapi sebenarnya salah, tingkat keberhasilannya turun menjadi sekitar satu dari enam percobaan.
Temuan ini menunjukkan bahwa AI tidak selalu mampu mengoreksi informasi yang keliru dalam instruksi yang diberikan kepadanya.
Riset Lain Temukan Risiko Serupa
Temuan tersebut juga sejalan dengan penelitian yang diterbitkan di arXiv berjudul How Safe Are AI-Generated Patches?
Penelitian ini menganalisis lebih dari 20.000 isu GitHub dari SWE-bench dan membandingkan patch yang dibuat developer dengan patch dari LLM serta sejumlah kerangka kerja AI agent. Hasilnya menunjukkan LLM dapat memperkenalkan kerentanan baru pada patch yang dihasilkan.
Risiko tersebut juga cenderung meningkat pada workflow agentic yang memberikan AI tingkat otonomi lebih tinggi, terutama ketika isu yang harus diperbaiki tidak menyediakan konteks teknis yang cukup.
AI Belum Bisa Menggantikan Pakar Keamanan
AI tetap berpotensi membantu keamanan siber dengan mempercepat pembuatan kandidat patch dan menangani banyak kerentanan, tetapi hasil penelitian menunjukkan bahwa patch yang tampak berhasil belum tentu benar-benar aman.
Karena itu, penggunaan AI tetap memerlukan pengujian, code review, dan validasi oleh engineer keamanan sebelum diterapkan agar tidak menimbulkan kerentanan baru. (Arxiv/Help Net Security/Z-2)
