GPU ve AI Altyapısı

Kurum içi (private) LLM çalıştırmak: altyapı gereksinimleri

Nanda Teknoloji Mühendislik Ekibi · · 6 dk okuma

Kısaca

Private LLM, modelin ve verinin kurumun kontrolündeki bir ortamda çalışmasıdır. Bunun için GPU hesaplama katmanı, model sunum yazılımı, vektör veri tabanı ve belge hattı, erişim denetimi ile günlükleme ve bunları işletecek bir ekip gerekir.

Kurum içi (private) LLM, bir büyük dil modelini ve onun işlediği verileri kurumun kontrol ettiği bir ortamda çalıştırmak demektir. Bu ortam kendi veri merkezi, kiralanmış ayrılmış altyapı ya da özel bir bulut olabilir; ortak nokta, istemlerin, belgelerin ve yanıtların kontrolsüz biçimde üçüncü tarafın servisine gitmemesidir. Çalışması için beş katman gerekir: GPU hesaplama, model sunum yazılımı, kurumsal bilgiyi bağlayan veri katmanı (RAG), kimlik ve erişim denetimi ile izleme-günlükleme. Bu yazı, kararı vermeden önce her katmanda neye ihtiyaç olduğunu, nerede sürprizlerle karşılaşıldığını ve ne zaman private yaklaşımın gereksiz olduğunu anlatıyor.

Private LLM ne zaman mantıklıdır?

Her kurumun kendi modelini çalıştırması gerekmez. Aşağıdaki durumlardan birkaçı sizde varsa private yaklaşım ciddi biçimde değerlendirilmelidir:

  • Kişisel veri, ticari sır veya düzenlemeye tabi veri içeren istemlerin dış servislere gitmesi kabul edilemiyor.
  • Veri yerelliği ve denetlenebilirlik sözleşme ya da mevzuat gereği zorunlu.
  • İç sistemlere (belge arşivi, bilet sistemi, kod deposu) bağlanan, yüksek hacimli ve sürekli bir kullanım var; dış servislere bağımlılık istenmiyor.
  • Modelin sürümünü, davranışını ve güncelleme zamanını kendiniz yönetmek istiyorsunuz.

Buna karşılık kullanım seyrekse, veri hassasiyeti düşükse ve ekip altyapı işletmeye hazır değilse, kontrollü bir dış servis ve güçlü bir yönetişim çerçevesi daha pratik olabilir. Çalışanların onaysız araçlara yönelmesini önlemek için Shadow AI nedir yazısındaki yönetim yaklaşımı iki durumda da geçerlidir.

Mimari katmanlar: bir private LLM neyden oluşur?

Katman Görevi Karar noktaları
Hesaplama (GPU) Model çıkarımını çalıştırır Bellek kapasitesi, GPU sayısı, bağlantı, kiralık/sahip
Model sunumu Modeli API olarak sunar, istekleri gruplar Çıkarım motoru, ölçekleme, sürüm yönetimi
Bilgi katmanı (RAG) Kurumsal belgeleri bağlama ekler Vektör veri tabanı, parçalama, yetki farkındalığı
Kontrol katmanı Kimlik, kota, günlük, içerik denetimi Ağ geçidi, kimlik sağlayıcı entegrasyonu, DLP
İşletim İzleme, yedekleme, güncelleme Gözlemlenebilirlik, olay yönetimi, yedekleme

Her satır ayrı bir iş paketidir. Projeler çoğunlukla ilk satırdan (donanım) başlar ve diğer dördünü sonradan “eklemeye” çalışır; bu, gecikme ve bütçe aşımının en yaygın nedenidir.

GPU ve hesaplama: boyutlandırma nasıl yapılır?

Model seçimi donanımı belirler. Ağırlıkların belleğe sığması, KV önbelleği için pay bırakılması ve eşzamanlı kullanıcı sayısının hesaplanması gerekir. Ayrıntılı yöntem için LLM için GPU seçimi yazımıza bakın. Burada üç pratik ilke öne çıkar:

  1. Küçük başlayın, ölçün. Önce daha küçük bir modelle pilot yapın; kalite yeterliyse donanım ihtiyacı belirgin düşer.
  2. Eşzamanlılığı ölçün. On kişilik pilot ile binlerce çalışanlık dağıtım aynı mimariyi gerektirmez.
  3. Yedeklilik planlayın. Tek GPU sunucusu, tek hata noktasıdır. Kritik kullanımlarda en az ikinci bir düğüm ve bir devreye alma planı gerekir.

Donanımı satın almak yerine ayrılmış kapasite kiralamak, erken aşamada ciddi esneklik sağlar; bu seçenek için GPU as a Service çözümünün kapsamına bakabilirsiniz.

Bilgi katmanı: RAG ile kurumsal veriyi bağlamak

Çoğu kurumsal kullanım senaryosunda modeli yeniden eğitmeniz gerekmez. RAG yaklaşımında belgeler parçalara ayrılır, vektör olarak indekslenir ve soru geldiğinde ilgili parçalar modele bağlam olarak verilir. Burada belirleyici olan model değil, veri hattının kalitesidir:

  • Belge kalitesi: Eski, çelişkili ve sahipsiz belgeler, yanlış yanıtların ilk kaynağıdır.
  • Parçalama stratejisi: Çok küçük parçalar bağlamı kaybeder, çok büyükler gürültü ekler.
  • Yetki farkındalığı: Kullanıcının zaten erişemediği belgeler yanıtlara sızmamalıdır. İndekse girerken yetki bilgisi saklanmalı, sorgu sırasında filtre uygulanmalıdır.
  • Güncelleme akışı: Kaynak belge değiştiğinde indeks de güncellenmelidir.

Yetki filtresi en sık atlanan noktadır. Herkesin erişimine açılan bir arama indeksi, insan kaynakları ya da finans belgelerini kazara görünür kılabilir.

Kontrol katmanı: kimlik, kota ve veri denetimi

Modelin kendi ortamınızda çalışıyor olması güvenlik sorununu çözmez; sadece sınırı değiştirir. Bu katmanda şunlar gerekir:

  • Mevcut kimlik sağlayıcıyla tek oturum açma ve rol bazlı erişim.
  • Kullanıcı, ekip ve uygulama bazında kota ve hız sınırı.
  • İstem ve yanıtlar için günlükleme; hangi verinin ne kadar süre saklanacağına dair net kural.
  • Hassas veri tespiti ve maskeleme; bunun için AI DLP benzeri bir denetim katmanı kullanılabilir.
  • Tüm model çağrılarının tek noktadan geçmesi; bunu AI Gateway mimarisi sağlar ve ayrıntıları AI Gateway nedir yazısında bulabilirsiniz.

Uygulama katmanındaki riskler (örneğin prompt injection, aşırı yetki verilmiş araçlar) ayrıca ele alınmalıdır. OWASP Top 10 for LLM Applications listesi, bu riskler için iyi bir kontrol listesi sunar.

Kişisel veri ve KVKK boyutu

Veri kurum içinde kaldığında dış aktarım riski azalır, ancak yükümlülükler ortadan kalkmaz. İşleme amacı, erişim yetkisi, saklama süresi, günlüklerdeki kişisel veri ve silme taleplerinin indeksten de uygulanması gerekir. Ayrıntılı çerçeve için AI ve KVKK yazısına bakın; resmi bilgi ve kararlar için KVKK Kurumu’nun internet sitesi birincil kaynaktır. Hukuki değerlendirmeyi kurumunuzun hukuk ve veri koruma sorumlularıyla birlikte yapın.

İşletim: modeli üretimde yaşatmak

Private LLM bir kez kurulan bir ürün değil, işletilen bir hizmettir. Şu işler süreklidir:

  • Modelin ve çıkarım motorunun güvenlik yamaları ile sürüm güncellemeleri.
  • GPU kullanımı, kuyruk uzunluğu, gecikme ve hata oranlarının izlenmesi.
  • Kalite değerlendirmesi: sabit bir soru seti ile sürüm değişikliklerinde regresyon testi.
  • İndeks, yapılandırma ve günlüklerin yedeklenmesi.
  • Olay yönetimi: kötüye kullanım, veri sızıntısı şüphesi ve model hatalı yanıtları için süreç.

Bu yük kurum içi ekibi aşıyorsa, operasyonun bir bölümünü yönetilen hizmetler modeliyle devretmek mümkündür.

Örnek senaryo: iç doküman asistanı

Bir hukuk ve uyum birimi, yüzlerce sözleşme ve iç politikanın içinde arama yapabilen bir asistan istiyor. Belgeler gizli, dış servise gitmesi istenmiyor. Ekip önce orta boy bir açık ağırlıklı modeli tek bir GPU sunucusunda deniyor ve yüz kadar gerçek soruyu içeren bir değerlendirme seti hazırlıyor. Sonuçlar yeterli çıkınca belge hattı kuruluyor: belgeler sınıflandırılıyor, sahipleri etiketleniyor ve indekse yetki bilgisiyle birlikte giriyor.

İlk pilotta iki sorun görülüyor. Birincisi, eski sürümlü sözleşmeler yeni sürümlerle karışıp çelişkili yanıtlar üretiyor; çözüm belge yaşam döngüsünü indekse yansıtmak oluyor. İkincisi, yanıtlarda kaynak belge gösterilmediği için kullanıcılar güvenmiyor; yanıtlara kaynak bağlantısı eklenince benimseme artıyor. Üretime geçerken kimlik sağlayıcı entegre ediliyor, günlükler için saklama süresi yazılıyor ve tüm istekler tek bir ağ geçidinden geçiriliyor. Bu senaryoda zor olan kısım GPU değil, belge kalitesi ve yetki yönetimiydi.

Kurulum modeli seçenekleri

Private LLM’in nerede çalışacağı da bir karardır. Üç temel seçenek vardır:

  1. Kendi veri merkezinde: Tam kontrol sağlar; güç, soğutma, donanım tedariği ve yenileme sorumluluğu sizdedir.
  2. Ayrılmış kiralık altyapı: Donanım size ayrılmış olarak sağlayıcıda çalışır; fiziksel işletim yükünü azaltır, kontrol hâlâ yüksektir.
  3. Hibrit: Hassas iş yükü kurum kontrolündeki ortamda, deneme ve pik kapasite kiralık altyapıda çalışır.

Seçimde veri sınıfı, kullanım profili, iç ekip yetkinliği ve bütçe öngörülebilirliği belirleyicidir. Çoğu kurum için önce kiralık kapasiteyle başlayıp kullanım netleştikçe karar vermek, donanıma erken kilitlenmekten daha güvenlidir.

Yaygın hatalar

  • Donanımla başlamak: Kullanım senaryosu ve veri kaynakları netleşmeden GPU almak.
  • RAG’de yetkiyi atlamak: Kullanıcıların erişimi olmayan içeriğin yanıtlarda görünmesi.
  • Günlüklerin kendisini risk yapmak: İstem günlüklerinde kişisel veri birikir; erişim ve saklama süresi tanımlanmazsa yeni bir veri deposu doğar.
  • Kalite ölçmemek: “İyi görünüyor” hissiyle canlıya çıkmak.
  • Çalışanları dışarıda bırakmak: Kullanışsız bir iç araç, çalışanları yine dış servislere yönlendirir.
  • Sahiplik belirsizliği: Modelin, indeksin ve politikaların sorumlusu atanmamış olması.

Karar özeti

  1. Kullanım senaryolarını ve veri hassasiyetini yazılı hale getirin; private ihtiyacını kanıtlayın.
  2. Küçük bir pilotla model kalitesini ve eşzamanlılık ihtiyacını ölçün.
  3. Beş katmanı (hesaplama, sunum, bilgi, kontrol, işletim) birlikte planlayın.
  4. RAG’de belge kalitesi ve yetki filtresini ilk sürümden itibaren tasarlayın.
  5. Günlükleme, saklama süresi ve KVKK uyumunu baştan netleştirin.
  6. İşletim sorumluluğunu ve yetkinlik açığını erkenden belirleyin.

Nanda Teknoloji ile ilerlemek

Nanda Teknoloji bu tür projelerde keşif, tasarım, geçiş ve işletim adımlarını yürütür: kullanım senaryosu ve veri sınıflandırması, GPU kapasitesinin boyutlandırılması, kontrol katmanının tasarımı ve süreklilik. Çalışma ortamı ve veri kontrolü gereksinimlerinizi birlikte netleştirmek için AI güvenliği ve GPU as a Service çözüm sayfalarını inceleyebilirsiniz.

Sık sorulan sorular

Private LLM ile kamuya açık bir yapay zeka servisi arasındaki fark nedir?

Private LLM'de model, istekler ve belgeler sizin belirlediğiniz ortamda işlenir; veri akışı, erişim ve günlükler sizin kontrolünüzdedir. Kamuya açık servislerde bu kontrol sağlayıcının koşullarına bağlıdır.

Private LLM kurmak için sıfırdan model eğitmek gerekir mi?

Hayır. Çoğu kurum, hazır açık ağırlıklı bir modeli kendi altyapısında çalıştırır ve kurumsal bilgiyi RAG ile bağlar. İnce ayar yalnızca belirli bir davranış veya üslup gerektiğinde düşünülür.

Private LLM kişisel veri sorunlarını tamamen çözer mi?

Hayır. Verinin yurt dışına çıkma riskini azaltır ancak KVKK yükümlülükleri, erişim yetkileri, saklama süreleri ve günlüklerin yönetimi yine gerekir.

Hangi ekip yetkinlikleri gerekir?

GPU ve konteyner altyapısı, model sunumu, veri mühendisliği ve güvenlik alanlarında çalışan bir ekip gerekir. Bu yetkinlikler kurum içinde yoksa yönetilen hizmet modeli düşünülebilir.

İlgili çözümler

İlgili yazılar

Kritik sistemlerinizi birlikte planlayalım

İhtiyacınızı anlatın; ekibimiz uygun mimariyi ve geçiş yolunu sizinle netleştirsin.