AI Güvenliği ve Yönetişimi

AI Gateway nedir? Kurumsal AI trafiğinde tek kontrol noktası

Nanda Teknoloji Mühendislik Ekibi · · 7 dk okuma

Kısaca

AI Gateway, kurum içi uygulama ve kullanıcıların LLM servislerine giden isteklerini tek noktada toplayan bir ara katmandır. Kimlik doğrulama, politika, filtreleme, kayıt ve yönlendirmeyi merkezileştirerek hem güvenliği hem yönetilebilirliği artırır.

AI Gateway, kurumdaki uygulamaların, entegrasyonların ve çalışanların büyük dil modeli (LLM) servislerine gönderdiği tüm istekleri tek bir ara katmandan geçiren bir kontrol noktasıdır. İstek modele ulaşmadan önce kimlik, yetki ve politika kontrolünden geçer; yanıt kullanıcıya dönmeden önce de denetlenebilir. Böylece hangi ekibin hangi modeli, hangi veriyle, ne kadar kullandığı görünür hale gelir. Klasik bir API geçidinden farkı, trafiğin içeriğini anlamasıdır: prompt, yanıt, token kullanımı ve model seçimi öncelikli denetim nesneleridir. Dağınık API anahtarları yerine merkezi bir yönetim düzlemi kurmak istiyorsanız başlangıç noktası budur.

Neden kurumsal AI trafiği tek noktadan geçmeli?

Bir kurumda AI kullanımı genellikle üç yoldan büyür: ürün ekiplerinin kodlarına gömdüğü model API çağrıları, departmanların kendi aldığı hazır araçlar ve çalışanların tarayıcıdan kullandığı sohbet servisleri. Her yolun kendi anahtarı, kendi sağlayıcısı ve kendi kayıt düzeni vardır. Sonuç, kimsenin tam resmi göremediği bir yapıdır. Shadow AI tam olarak bu görünmezlikten doğar.

Tek noktadan geçen trafik şu sorulara cevap verebilir:

  • Hangi uygulama hangi model sağlayıcısına istek gönderiyor?
  • Hangi API anahtarı kimin adına ve hangi amaçla kullanılıyor?
  • Bir prompt’ta kişisel veri, kaynak kod ya da sözleşme metni geçti mi?
  • Bir ekip kotayı aştığında ne olacak, kim uyarılacak?
  • Sağlayıcı yanıt vermediğinde istek nereye yönlenecek?

Bu soruların hiçbiri her uygulamaya ayrı ayrı yazılan kodla sürdürülebilir şekilde çözülmez. Merkezi katman, politikayı bir kez tanımlayıp her yere uygulamanızı sağlar.

AI Gateway nasıl çalışır?

Akış basittir, ama her adımda ayrı bir karar noktası vardır.

  1. İstemci isteği gateway’e gönderir. Uygulamalar doğrudan sağlayıcı adresi yerine gateway adresini kullanır.
  2. Kimlik ve yetki doğrulanır. İstek bir kullanıcıya, servis hesabına veya ekibe bağlanır. Sağlayıcı anahtarları istemcide değil, gateway’de tutulur.
  3. Politika uygulanır. İzin verilen modeller, kota, istek boyutu, yasaklı konular ve veri sınıfı kuralları burada denetlenir.
  4. İçerik incelenir. Prompt, hassas veri ve kötü niyetli talimat örüntüleri bakımından taranır. Bu adım AI DLP ile yakından ilişkilidir.
  5. İstek yönlendirilir. Politikaya, maliyete veya erişilebilirliğe göre uygun modele iletilir; gerekirse yedek sağlayıcıya düşer.
  6. Yanıt denetlenir ve kaydedilir. Yanıt filtrelenir, kullanım metrikleri ve denetim izi saklanır.

Bu sırayı korumak önemlidir. İçerik denetimi kimlik doğrulamadan önce yapılırsa, kimliği belirsiz isteklere kaynak harcanır; kayıt en sona bırakılırsa engellenen istekler izsiz kalır.

AI Gateway’in sağladığı temel yetenekler

Yetenek Ne işe yarar Gateway olmadığında
Merkezi kimlik ve anahtar yönetimi Sağlayıcı anahtarları tek yerde saklanır, kullanıcı bazlı yetki verilir Anahtarlar kodda, e-postada, tablolarda dolaşır
Politika uygulama Model, kota ve konu bazlı kurallar tek yerde tanımlanır Her uygulama kendi kuralını yazar, tutarsızlık doğar
İçerik denetimi Prompt ve yanıtta hassas veri ve riskli talimat taranır Denetim yok ya da uygulama başına değişken
Kullanım ve maliyet görünürlüğü Ekip, uygulama ve model bazında token ve istek takibi Faturalar geldiğinde sürpriz yaşanır
Yönlendirme ve yedeklilik Model arızasında alternatife geçiş, iş yüküne göre model seçimi Her kesinti doğrudan kullanıcıya yansır
Denetim izi Kim, ne zaman, hangi modele ne gönderdi kaydı Olay sonrası inceleme mümkün olmaz

Hangi riskleri azaltır, hangilerini azaltmaz?

Gateway bir güvenlik katmanıdır, bütün güvenlik değildir. Neyi kapattığını bilmek, yanlış güven duygusunu önler.

Azalttığı riskler: kontrolsüz anahtar yayılımı, politika dışı model kullanımı, hassas verinin yetkisiz modele gönderilmesi, maliyet taşması, denetim izinin olmaması.

Tek başına çözmediği riskler: modelin kendi hataları ve halüsinasyonları, eğitim verisi kaynaklı sorunlar, çalışanın gateway’i dolanıp kişisel cihazdan harici servise girmesi. Dolaylı talimat enjeksiyonu gibi saldırılar için ek önlemler gerekir; bunları prompt injection yazımızda ayrıntılı ele alıyoruz. OWASP’ın LLM uygulamaları için ilk 10 risk listesi, hangi risklerin gateway katmanında, hangilerinin uygulama katmanında ele alınacağını ayırmak için iyi bir başvuru çerçevesidir.

Örnek senaryo: Üç ekip, üç anahtar, sıfır görünürlük

Bir kurumda müşteri hizmetleri ekibi özet çıkaran bir araç, yazılım ekibi kod yardımcısı, hukuk birimi ise sözleşme tarayıcısı kullanıyor. Üçü de farklı sağlayıcıya, farklı hesapla bağlı. Güvenlik ekibi bir gün şu soruyu soruyor: “Müşteri kimlik numaraları herhangi bir modele gitti mi?” Cevap verilemiyor, çünkü kayıtlar üç ayrı yerde, üç ayrı biçimde ve çoğu eksik.

Gateway sonrası tablo değişir. Üç ekip de aynı uç noktayı kullanır. Müşteri hizmetleri ekibinin istekleri kişisel veri kurallarına tabi olur, kod yardımcısı yalnızca onaylı modele gider, hukuk biriminin istekleri ayrı kota ve ayrı kayıt politikasıyla işlenir. Güvenlik ekibi aynı soruyu tek sorguda yanıtlar.

AI Gateway seçerken değerlendirme kriterleri

  • Dağıtım modeli: Bulutta yönetilen mi, kurum içi mi, hibrit mi? Veri yerelliği gereksinimleriniz bunu belirler.
  • Model kapsamı: Hem harici sağlayıcıları hem kurum içi modelleri aynı arayüzle yönetebiliyor mu?
  • Politika esnekliği: Kurallar kullanıcı, ekip, uygulama ve veri sınıfı bazında ayrışabiliyor mu?
  • İçerik denetimi derinliği: Desen eşleştirmenin ötesinde bağlama duyarlı tespit var mı? Yanlış pozitif oranı nasıl yönetiliyor?
  • Kayıt ve saklama: Prompt içeriğini saklamak başlı başına bir veri sorumluluğudur. Maskeleme ve saklama süresi ayarlanabilmeli.
  • Erişilebilirlik: Gateway’in kendisi tek hata noktası olmamalı; yedeklilik ve hata durumunda davranış (açık/kapalı) net olmalı.
  • Entegrasyon: Kimlik sağlayıcı, log toplama ve olay yönetimi araçlarıyla bağlanabiliyor mu?

Yaygın hatalar

  1. Gateway’i kurup eski anahtarları iptal etmemek. Uygulamalar doğrudan sağlayıcıya gitmeye devam ederse merkezi kontrol yalnızca kâğıtta kalır.
  2. Tüm prompt’ları süresiz saklamak. Kayıt, kendi başına hassas veri deposu haline gelir. Neyin ne kadar süre saklanacağını önceden belirleyin.
  3. Tek politika ile herkesi kısıtlamak. Aşırı sıkı kurallar çalışanları kontrolsüz araçlara iter.
  4. Başarısızlık modunu düşünmemek. Gateway çökerse tüm AI özellikleri durur mu, yoksa güvenli bir yedek yola mı düşer?
  5. Yalnızca teknik kurulum yapmak. Politika metni, sorumlu kişiler ve istisna süreci yoksa teknik katman boşta çalışır.

Kurumda AI Gateway’e geçiş: pratik bir yol haritası

Merkezi katmanı bir anda devreye almak çoğu zaman direnç yaratır. Aşamalı ilerlemek hem teknik riski hem kurum içi sürtünmeyi azaltır.

Aşama 1: Envanter ve görünürlük

Önce neyin kullanıldığını öğrenin. Ağ kayıtlarından, bulut faturalarından ve ekip görüşmelerinden hangi sağlayıcıların, hangi anahtarlarla ve hangi amaçla kullanıldığını çıkarın. Bu aşamada hiçbir şeyi engellemeyin; yalnızca gözlemleyin. Elde ettiğiniz liste, politika yazmanın ve öncelik belirlemenin temelidir.

Aşama 2: Yeni projeleri gateway üzerinden başlatın

Mevcut uygulamaları taşımak zaman alır. Bu yüzden kural koyun: yeni her AI entegrasyonu gateway uç noktasını kullanır. Böylece sorun büyümeden durur. Eski uygulamalar için taşıma takvimi hazırlanır ve sağlayıcı anahtarları adım adım iptal edilir.

Aşama 3: Politika ve içerik denetimini açın

Önce izleme modunda başlayın: kurallar tetiklenir ama istek engellenmez. Yanlış pozitifleri ayıklayın, ardından engelleme ve maskeleme kurallarını veri sınıfına göre açın. Her kuralın bir sahibi ve gözden geçirme tarihi olsun.

Aşama 4: Maliyet ve kalite yönetimi

Kullanım verisi toplandıktan sonra ekip ve uygulama bazlı kotalar, model seçimi ve yedek yönlendirme kuralları devreye alınır. Basit görevlerin daha hafif modele, karmaşık görevlerin daha yetenekli modele yönlendirilmesi gibi kararlar ancak ölçüm sonrası anlam kazanır.

Gateway ile uygulama katmanı denetimi arasında iş bölümü

Merkezi katman her şeyi yapmaz; hangi kontrolün nerede durduğunu baştan belirlemek gerekir.

Kontrol Gateway katmanı Uygulama katmanı
Kimlik ve anahtar yönetimi Birincil sorumlu Gateway’e kimlik sunar
Model ve kota politikası Birincil sorumlu Kısıtlara uyar
Hassas veri tespiti Ortak kurallar Alana özgü kurallar (ör. müşteri kayıt alanları)
Araç ve eylem yetkisi Sınırlı görünürlük Birincil sorumlu
Çıktının işlenmesi Genel filtreleme Çıktıyı kullanan kodun doğrulaması
Denetim izi Merkezi kayıt İş mantığı düzeyinde kayıt

Bu iş bölümü, “gateway var, uygulama güvenli” yanılgısını önler. Özellikle bir modelin e-posta, dosya veya ödeme gibi araçlara bağlandığı mimarilerde yetki sınırı uygulama katmanında çizilir.

Gateway çalışırken izlenmesi gereken göstergeler

İşletme aşamasında şu göstergeler sağlıklı bir yapının işaretidir:

  • Doğrudan sağlayıcıya giden, gateway’i dolanan trafiğin zamanla azalması
  • Engellenen ve maskelenen isteklerin türlere göre dağılımı; ani artışlar bir olayın ya da yanlış kuralın göstergesi olabilir
  • Ekip başına istek ve token eğilimi
  • Gateway’in yanıt süresi ve hata oranı; ek gecikmenin kullanıcı deneyimine etkisi
  • İstisna taleplerinin sayısı ve ortalama kapanma süresi

Yüksek istisna talebi, politikanın iş gerçeğine uymadığını gösterebilir; bu durumda kuralı sıkılaştırmak yerine gözden geçirmek daha doğru olur.

Karar özeti

AI Gateway, kurumunuzda birden fazla ekip ve model aynı anda kullanılıyorsa ya da hassas veri model isteklerine karışabiliyorsa gereklidir. Tek bir deneysel uygulama için fazla olabilir; ama deneyler çoğaldıkça merkezileştirmenin maliyeti artar, geç kalmanın bedeli büyür. Önce görünürlük (kim neyi kullanıyor), sonra politika, ardından içerik denetimi sırasıyla ilerlemek en az dirençle sonuç veren yoldur.

Nanda Teknoloji ile ilerlemek

Nanda Teknoloji bu tür projelerde keşif, tasarım, geçiş ve işletim adımlarını yürütür: mevcut AI kullanımının envanteri çıkarılır, politika ihtiyacı belirlenir, ara katman kurumun mimarisine uygun biçimde konumlandırılır. Kontrol noktası yaklaşımı için AI Gateway çözümümüze, bütünsel çerçeve için AI güvenliği sayfasına bakabilirsiniz.

Sık sorulan sorular

AI Gateway ile klasik API Gateway aynı şey midir?

Hayır. API Gateway genel amaçlı yönlendirme ve kimlik doğrulama yapar. AI Gateway ek olarak prompt ve yanıt içeriğini inceler, model bazlı yönlendirme ve token düzeyinde kullanım takibi sağlar.

Yalnızca harici LLM kullanan kurumlarda mı gerekir?

Hayır. Kurum içinde çalışan modeller için de erişim kontrolü, kayıt ve kota yönetimi gerekir. Harici ve dahili modeller aynı ara katman üzerinden yönetilebilir.

Gateway gecikmeyi artırır mı?

Ek bir sıçrama olduğu için bir miktar gecikme eklenir. Filtreleme derinliği ve yerleşim yeri bu etkiyi belirler; bu yüzden kendi iş yükünüzle ölçüm yapmak gerekir.

AI Gateway tek başına veri sızıntısını önler mi?

Tek başına yeterli değildir. İçerik denetimi için AI DLP, politika için kurumsal kullanım kuralları ve çalışan farkındalığı birlikte düşünülmelidir.

İlgili çözümler

İlgili yazılar

AI Güvenliği ve Yönetişimi

AI DLP nedir? Prompt'larla veri sızıntısını önlemek

AI DLP, prompt ve yanıtlardaki hassas veriyi model servisine ulaşmadan tespit edip engeller ya da maskeler. Nasıl çalıştığını ve nasıl kurgulanacağını öğrenin.

· 6 dk okuma

Kritik sistemlerinizi birlikte planlayalım

İhtiyacınızı anlatın; ekibimiz uygun mimariyi ve geçiş yolunu sizinle netleştirsin.