Yapay Zekâ ve Büyük Dil Modeli (LLM) Uygulama Güvenliği

Büyük dil modelleri (LLM↗) uygulamalara hızla giriyor; ancak geleneksel uygulama güvenliğinden farklı, yeni bir saldırı yüzeyi↗ taşıyorlar. Temel zihniyet değişimi şudur: modelin ürettiği ve modele giren her şey güvenilmez kabul edilmelidir. OWASP’ın LLM uygulamaları için yayımladığı risk listesi, bu alanda iyi bir başlangıç noktasıdır.

En kritik riskler

• İstem enjeksiyonu↗ (prompt injection): En temel risk. Doğrudan enjeksiyonda kullanıcı, modelin sistem talimatlarını ezmeye çalışır. Dolaylı enjeksiyonda ise modelin okuduğu bir web sayfası/belge içine gizlenmiş talimatlar modeli kandırır. Bu, RAG ve ajan mimarilerinde özellikle tehlikelidir.
• Güvensiz çıktı işleme: Model çıktısını doğrudan tarayıcıya, kabuğa veya veritabanına vermek; XSS↗, komut enjeksiyonu gibi klasik açıklara yol açar. Çıktıyı her zaman bir kullanıcı girdisi gibi doğrulayıp kaçışlayın.
• Hassas bilgi ifşası: Model, bağlamına konulan sırları ya da eğitim verisindeki bilgileri sızdırabilir.
• Aşırı yetki (excessive agency): Modele araçlar/ajanlar bağlandığında, ele geçirilmiş bir istem gerçek eylemler (e-posta gönderme, veri silme) tetikleyebilir.
• Tedarik zinciri ve veri zehirleme: Üçüncü taraf modeller, eklentiler ve eğitim verisi birer risktir.

Savunma ilkeleri

1. Çıktıya güvenme: Model çıktısını güvenilmez kabul et; bağlama duyarlı kaçışlama ve doğrulama uygula.
2. En az yetki: Modele ve ajanlarına yalnızca gereken araç ve izinleri ver; yıkıcı eylemler için insan onayı (human-in-the-loop) iste.
3. Girdi/bağlam yalıtımı: Güvenilir sistem talimatları ile güvenilmez kullanıcı/harici içeriği ayır; dolaylı enjeksiyona karşı alınan içeriği işaretle.
4. Sır yönetimi: Sırları modelin bağlamına koyma; gizli veriyi yetki ve filtrelerle sınırla.
5. İzleme ve sınırlama: İstem/çıktı kaydı tut, anormal kullanımı sınırla (rate limit) ve kötüye kullanımı tespit et.

Rehber 2 dk okuma

Uygulama Güvenliği ve OWASP Top 10

Web uygulamalarındaki en yaygın açıklar ve savunmaları: enjeksiyon, bozuk erişim kontrolü, kimlik doğrulama hataları ve güvenli geliştirme hattına (SAST/DAST) entegrasyon.

Rehber 1 dk okuma

Güvenli Yazılım Geliştirme (Tasarımdan Güvenli)

Güvenliği en sona bırakmak pahalıya patlar. Yazılım geliştiren kuruluşlar için güvenliği tasarımın ve sürecin parçası yapmanın temelleri.

LLM güvenliği, klasik uygulama güvenliğinin yerini almaz; onun üzerine yeni bir katman ekler. Eski ilkeler (girdi doğrulama, en az yetki, çıktı kaçışlama) burada da geçerlidir.