İstem Enjeksiyonu (Prompt Injection) Nedir, Nasıl Korunulur?

Yapay zeka uygulamalarının en yaygın zafiyeti: kötü niyetli metnin modeli kandırması. Doğrudan ve dolaylı enjeksiyon ile pratik önlemler.

İstem enjeksiyonu↗, bir dil modeline verilen güvenilmez metnin, modeli asıl talimatlarının dışına çıkmaya ikna etmesidir. Yapay zeka uygulamaları için bugün en yaygın ve en kritik zafiyet sınıfıdır.

İki temel biçim

Doğrudan enjeksiyon: kullanıcı, "önceki talimatları yok say" gibi ifadelerle modeli yönlendirir.
Dolaylı enjeksiyon: modelin okuduğu bir web sayfası, e-posta veya belge içine gizlenen talimatlar devreye girer. Model bu içeriği işlerken saldırganın komutunu çalıştırabilir.

Neden tehlikeli?

Model araçlara (e-posta gönderme, dosya okuma, ödeme) bağlıysa, enjekte edilen bir talimat veri sızdırabilir veya istenmeyen eylemler tetikleyebilir. Risk, modelin yetkisi kadar büyüktür.

Pratik önlemler

Güvenilmez içeriği (kullanıcı girdisi, dış belgeler) talimat değil, veri olarak işaretleyip ayrıştırın.
Modelin tek başına geri dönülemez eylem yapmasına izin vermeyin; kritik adımlarda insan onayı isteyin.
Çıktıyı bir komut gibi değil, doğrulanması gereken bir öneri gibi ele alın.
Sızıntıyı sınırlamak için modele yalnızca gereken veriye ve araca erişim verin.

En etkili sınırlama, modelin yetkisini daraltmaktan geçer: