Yapay Zeka Modellerine Yönelik Prompt Injection Saldırıları Makalemiz Yayınlandı!
Siber Guvenlik Terimleri Sozlugu
RAG mimarisinde veri sızıntısı, bilgi getirmeli üretim sistemlerinde hassas verinin yetkisiz biçimde açığa çıkmasıdır.

RAG (Retrieval-Augmented Generation), bir dil modelinin cevabını üretmeden önce kurumun kendi belgelerinden ilgili parçaları çekip bağlama eklediği mimaridir. Veri sızıntısı ise bu akışta hassas bir bilginin, onu görmeye yetkisi olmayan bir kullanıcının önüne düşmesidir. Sorun modelin kötü niyetinde değil, hangi belgenin kime gösterileceğini denetleyen katmanların eksikliğinde ortaya çıkar.
RAG’de sızıntı, modelin bilmemesi gereken bir şeyi öğrenmesi değil; bilmemesi gereken birine söylemesidir.
Tipik bir RAG hattında belgeler önce parçalara bölünür, her parça bir vektöre çevrilir ve bir vektör veritabanında saklanır. Kullanıcı soru sorduğunda sistem anlamca en yakın parçaları getirir ve modele verir. Kaçak çoğunlukla getirme adımında, erişim denetiminin bu katmana taşınmamasından doğar: İK’nın maaş belgesi ile stajyerin el kitabı aynı indekste durur ve arama, soruyu soranın rolünü umursamadan en alakalı parçayı seçer. Böylece yetkisiz bir çalışan, doğru soruyu sorduğunda gizli bir metnin özetini alabilir.
İkinci büyük kaynak, kullanıcının bilinçli zorlamasıdır. Saldırgan, sistemin bağlamına yerleştirilmiş içeriği açığa çıkarmak için özenle kurulmuş istekler gönderir; bu, RAG bağlamını hedef alan bir prompt injection biçimidir. Ayrıca modelin uydurma üretmesi de dolaylı bir risk taşır: sistem, getirdiği gerçek belgeyle uydurduğu ayrıntıyı aynı güvenle sunduğunda kullanıcı ikisini ayırt edemez; bu yönüyle konu Halüsinasyon riski ile kesişir. Bir başka sessiz kaçak yolu ise günlüklerdir; kullanıcı sorguları ve getirilen bağlam denetimsiz loglandığında, hassas veri arşivlerde birikir.
Kalıcı çözüm, erişim denetimini getirme adımının içine gömmektir. Her belge parçası bir hassasiyet etiketi ve izin listesiyle indekslenmeli; arama, yalnızca soruyu soran kimliğin görmeye yetkili olduğu parçalar arasında yapılmalıdır. Bunun üstüne çıkış filtresi eklenir: modelin ürettiği metin, kişisel veri veya sınıflandırılmış içerik açısından taranıp kullanıcıya ulaşmadan maskelenir. Bu önlemler, model katmanının bütününü kapsayan Büyük dil modeli güvenliği pratiklerinin ayrılmaz bir parçasıdır.
Bir kurum iç bilgi tabanını RAG’e açtığında, tek bir yanlış yapılandırılmış indeks yıllarca birikmiş sözleşme, personel ve mali veriyi sorgulanabilir hale getirir. Bu yüzden RAG hatları üretime alınmadan önce, gerçek bir saldırganın hangi soruları sorarak neyi dışarı çekebileceği sınanmalıdır. Bu doğrulama, kapsayıcı Yapay zeka güvenliği programının içinde yer alır ve Privia’nın red team hizmeti kapsamında getirme katmanına yönelik hedefli sızma senaryolarıyla ölçülür.
Sızma testinden olay müdahalesine, uçtan uca çözümlerle yanınızdayız.
Fiyat Teklifi AlBunlar İlginizi Çekebilir