Dolaylı prompt injection, kötü niyetli talimatların dil modelinin işlediği dış içeriğe gizlenerek modeli manipüle ettiği sinsi bir saldırıdır. Dil modelleri, web sayfaları veya belgeler gibi dış içeriği işleyebilir ve bu içerik kötü niyetli talimatlar barındırabilir. Dolaylı prompt injection, bu gizli talimatlar aracılığıyla modeli manipüle eder. Bu saldırı, dil modeli güvenliğinin özellikle sinsi bir tehdidi olarak kabul edilir ve yapay zeka güvenliğinin bir konusudur.

Saldırının önemi, sinsiliğinden gelir. Dolaylı prompt injection, kullanıcının doğrudan katılımı olmadan gerçekleşir ve bu sinsilik saldırıyı tehlikeli kılar. Bu saldırı, kullanıcının fark etmediği içerikler aracılığıyla modeli manipüle eder. Dolaylı prompt injection, dil modeli güvenliğinin bir tehdidi olarak öne çıkar ve dikkatli savunma gerektirir.

Dolaylı Prompt Injection Nedir?

Dolaylı prompt injection, kötü niyetli talimatların dil modelinin işlediği dış içeriğe (web sayfası, belge, e-posta) gizlenerek modeli manipüle ettiği bir saldırı türüdür.

Saldırı, dış içeriğe gizlenir. Dolaylı prompt injection, kötü niyetli talimatları dış içeriğe gizler ve bu gizleme modeli kandırır. Bu gizleme, saldırının temelidir. İçeriğe gizleme, saldırının bir tekniğidir. Prompt injection ailesinin bir üyesidir.

Saldırı, modelin içerik işlemesinden yararlanır. Dolaylı prompt injection, modelin dış içeriği işlemesinden yararlanır ve bu işleme gizli talimatları etkinleştirir. Bu yararlanma, saldırının mekanizmasıdır. İçerik işlemeden yararlanma, saldırının bir yoludur.

Saldırı, kullanıcı katılımı gerektirmez. Dolaylı prompt injection, kullanıcının doğrudan katılımı olmadan gerçekleşir ve bu bağımsızlık saldırıyı sinsi kılar. Bu bağımsızlık, saldırının özelliğidir. Katılım gerektirmezlik, saldırının bir niteliğidir.

Nasıl Çalışır?

Saldırı, içeriğe talimat yerleştirir. Saldırgan, modelin işleyeceği içeriğe kötü niyetli talimatlar yerleştirir ve bu talimatlar gizli kalır. Bu yerleştirme, saldırının hazırlığıdır. Talimat yerleştirme, saldırının bir adımıdır.

Saldırı, modelin içeriği işlemesini bekler. Model, içeriği işlediğinde gizli talimatlar etkinleşir ve bu etkinleşme modeli manipüle eder. Bu bekleme, saldırının tetikleyicisidir. İçerik işleme, saldırının bir aşamasıdır.

Saldırı, modeli manipüle eder. Etkinleşen gizli talimatlar, modeli istenmeyen davranışa yönlendirir ve bu yönlendirme zararlı sonuçlar doğurur. Bu manipülasyon, saldırının hedefidir. Model manipülasyonu, saldırının bir sonucudur.

Neden Tehlikelidir?

Saldırı, sinsidir. Dolaylı prompt injection, kullanıcının fark etmediği içerikler aracılığıyla gerçekleşir ve bu sinsilik saldırıyı tespit etmeyi zorlaştırır. Bu sinsilik, tehlikeyi büyütür. Sinsilik, saldırının bir tehlikesidir.

Saldırı, geniş yüzey sunar. Dolaylı prompt injection, modelin işlediği her dış içeriği bir saldırı yüzeyi yapar ve bu genişlik savunmayı zorlaştırır. Bu genişlik, riski artırır. Geniş yüzey, saldırının bir tehlikesidir.

Saldırı, ciddi sonuçlar doğurabilir. Dolaylı prompt injection, veri sızıntısı veya istenmeyen eylemler gibi ciddi sonuçlar doğurabilir ve bu sonuçlar riski önemli kılar. Bu sonuçlar, dikkati gerektirir. Ciddi sonuçlar, saldırının bir tehlikesidir. Büyük dil modeli güvenliği bu tehdidi ele alır.

Saldırı Senaryoları

Saldırı, web içeriği üzerinden gerçekleşebilir. Dolaylı prompt injection, modelin işlediği web sayfalarına gizlenen talimatlarla gerçekleşebilir ve bu talimatlar modeli manipüle eder. Bu senaryo, yaygın bir risktir. Web içeriği senaryosu, saldırının bir biçimidir.

Saldırı, belge üzerinden gerçekleşebilir. Dolaylı prompt injection, modelin işlediği belgelere gizlenen talimatlarla gerçekleşebilir ve bu belgeler modeli kandırır. Bu senaryo, belge işleme uygulamalarını riske atar. Belge senaryosu, saldırının bir biçimidir.

Saldırı, e-posta üzerinden gerçekleşebilir. Dolaylı prompt injection, modelin işlediği e-postalara gizlenen talimatlarla gerçekleşebilir ve bu e-postalar modeli manipüle eder. Bu senaryo, e-posta işleme uygulamalarını riske atar. E-posta senaryosu, saldırının bir biçimidir.

Nasıl Önlenir?

Saldırı, içerik denetimiyle önlenir. Dil modeli uygulamaları, işledikleri dış içeriği denetlemelidir ve bu denetim gizli talimatları azaltır. Bu denetim, riski azaltır. İçerik denetimi, önlemenin bir yöntemidir. Prompt injection önlemleriyle örtüşür.

Saldırı, güven sınırı ayrımıyla önlenir. Dil modeli uygulamaları, güvenilir talimatlar ile güvenilmez içeriği ayırmalıdır ve bu ayrım manipülasyonu zorlaştırır. Bu ayrım, güvenliği artırır. Güven sınırı ayrımı, önlemenin bir yöntemidir.

Saldırı, yetki sınırlamasıyla önlenir. Dil modelleri, dış içerik işlerken yalnızca gerekli yetkilere sahip olmalıdır ve bu sınırlama zararı kısıtlar. Bu sınırlama, riski azaltır. Yetki sınırlaması, önlemenin bir yöntemidir.

Saldırı, artan bir tehdittir. Dolaylı prompt injection, dil modellerinin dış içerik işlemesi yaygınlaştıkça artan bir tehdittir ve bu artış dikkati gerektirir. Bu artış, savunmayı önemli kılar. Artan tehdit, dolaylı prompt injection’ın bir bağlamıdır ve önemini vurgular.

Privia Security olarak dolaylı prompt injection değerlendirmesi ve yapay zeka güvenliği süreçlerinin ele alınmasını red team hizmeti kapsamında sağlıyoruz.