Kurum içi (private) LLM çalıştırmak: altyapı gereksinimleri
Nanda Teknoloji Mühendislik Ekibi · · 6 dk okuma
Kısaca
Private LLM, modelin ve verinin kurumun kontrolündeki bir ortamda çalışmasıdır. Bunun için GPU hesaplama katmanı, model sunum yazılımı, vektör veri tabanı ve belge hattı, erişim denetimi ile günlükleme ve bunları işletecek bir ekip gerekir.
Kurum içi (private) LLM, bir büyük dil modelini ve onun işlediği verileri kurumun kontrol ettiği bir ortamda çalıştırmak demektir. Bu ortam kendi veri merkezi, kiralanmış ayrılmış altyapı ya da özel bir bulut olabilir; ortak nokta, istemlerin, belgelerin ve yanıtların kontrolsüz biçimde üçüncü tarafın servisine gitmemesidir. Çalışması için beş katman gerekir: GPU hesaplama, model sunum yazılımı, kurumsal bilgiyi bağlayan veri katmanı (RAG), kimlik ve erişim denetimi ile izleme-günlükleme. Bu yazı, kararı vermeden önce her katmanda neye ihtiyaç olduğunu, nerede sürprizlerle karşılaşıldığını ve ne zaman private yaklaşımın gereksiz olduğunu anlatıyor.
Private LLM ne zaman mantıklıdır?
Her kurumun kendi modelini çalıştırması gerekmez. Aşağıdaki durumlardan birkaçı sizde varsa private yaklaşım ciddi biçimde değerlendirilmelidir:
- Kişisel veri, ticari sır veya düzenlemeye tabi veri içeren istemlerin dış servislere gitmesi kabul edilemiyor.
- Veri yerelliği ve denetlenebilirlik sözleşme ya da mevzuat gereği zorunlu.
- İç sistemlere (belge arşivi, bilet sistemi, kod deposu) bağlanan, yüksek hacimli ve sürekli bir kullanım var; dış servislere bağımlılık istenmiyor.
- Modelin sürümünü, davranışını ve güncelleme zamanını kendiniz yönetmek istiyorsunuz.
Buna karşılık kullanım seyrekse, veri hassasiyeti düşükse ve ekip altyapı işletmeye hazır değilse, kontrollü bir dış servis ve güçlü bir yönetişim çerçevesi daha pratik olabilir. Çalışanların onaysız araçlara yönelmesini önlemek için Shadow AI nedir yazısındaki yönetim yaklaşımı iki durumda da geçerlidir.
Mimari katmanlar: bir private LLM neyden oluşur?
| Katman | Görevi | Karar noktaları |
|---|---|---|
| Hesaplama (GPU) | Model çıkarımını çalıştırır | Bellek kapasitesi, GPU sayısı, bağlantı, kiralık/sahip |
| Model sunumu | Modeli API olarak sunar, istekleri gruplar | Çıkarım motoru, ölçekleme, sürüm yönetimi |
| Bilgi katmanı (RAG) | Kurumsal belgeleri bağlama ekler | Vektör veri tabanı, parçalama, yetki farkındalığı |
| Kontrol katmanı | Kimlik, kota, günlük, içerik denetimi | Ağ geçidi, kimlik sağlayıcı entegrasyonu, DLP |
| İşletim | İzleme, yedekleme, güncelleme | Gözlemlenebilirlik, olay yönetimi, yedekleme |
Her satır ayrı bir iş paketidir. Projeler çoğunlukla ilk satırdan (donanım) başlar ve diğer dördünü sonradan “eklemeye” çalışır; bu, gecikme ve bütçe aşımının en yaygın nedenidir.
GPU ve hesaplama: boyutlandırma nasıl yapılır?
Model seçimi donanımı belirler. Ağırlıkların belleğe sığması, KV önbelleği için pay bırakılması ve eşzamanlı kullanıcı sayısının hesaplanması gerekir. Ayrıntılı yöntem için LLM için GPU seçimi yazımıza bakın. Burada üç pratik ilke öne çıkar:
- Küçük başlayın, ölçün. Önce daha küçük bir modelle pilot yapın; kalite yeterliyse donanım ihtiyacı belirgin düşer.
- Eşzamanlılığı ölçün. On kişilik pilot ile binlerce çalışanlık dağıtım aynı mimariyi gerektirmez.
- Yedeklilik planlayın. Tek GPU sunucusu, tek hata noktasıdır. Kritik kullanımlarda en az ikinci bir düğüm ve bir devreye alma planı gerekir.
Donanımı satın almak yerine ayrılmış kapasite kiralamak, erken aşamada ciddi esneklik sağlar; bu seçenek için GPU as a Service çözümünün kapsamına bakabilirsiniz.
Bilgi katmanı: RAG ile kurumsal veriyi bağlamak
Çoğu kurumsal kullanım senaryosunda modeli yeniden eğitmeniz gerekmez. RAG yaklaşımında belgeler parçalara ayrılır, vektör olarak indekslenir ve soru geldiğinde ilgili parçalar modele bağlam olarak verilir. Burada belirleyici olan model değil, veri hattının kalitesidir:
- Belge kalitesi: Eski, çelişkili ve sahipsiz belgeler, yanlış yanıtların ilk kaynağıdır.
- Parçalama stratejisi: Çok küçük parçalar bağlamı kaybeder, çok büyükler gürültü ekler.
- Yetki farkındalığı: Kullanıcının zaten erişemediği belgeler yanıtlara sızmamalıdır. İndekse girerken yetki bilgisi saklanmalı, sorgu sırasında filtre uygulanmalıdır.
- Güncelleme akışı: Kaynak belge değiştiğinde indeks de güncellenmelidir.
Yetki filtresi en sık atlanan noktadır. Herkesin erişimine açılan bir arama indeksi, insan kaynakları ya da finans belgelerini kazara görünür kılabilir.
Kontrol katmanı: kimlik, kota ve veri denetimi
Modelin kendi ortamınızda çalışıyor olması güvenlik sorununu çözmez; sadece sınırı değiştirir. Bu katmanda şunlar gerekir:
- Mevcut kimlik sağlayıcıyla tek oturum açma ve rol bazlı erişim.
- Kullanıcı, ekip ve uygulama bazında kota ve hız sınırı.
- İstem ve yanıtlar için günlükleme; hangi verinin ne kadar süre saklanacağına dair net kural.
- Hassas veri tespiti ve maskeleme; bunun için AI DLP benzeri bir denetim katmanı kullanılabilir.
- Tüm model çağrılarının tek noktadan geçmesi; bunu AI Gateway mimarisi sağlar ve ayrıntıları AI Gateway nedir yazısında bulabilirsiniz.
Uygulama katmanındaki riskler (örneğin prompt injection, aşırı yetki verilmiş araçlar) ayrıca ele alınmalıdır. OWASP Top 10 for LLM Applications listesi, bu riskler için iyi bir kontrol listesi sunar.
Kişisel veri ve KVKK boyutu
Veri kurum içinde kaldığında dış aktarım riski azalır, ancak yükümlülükler ortadan kalkmaz. İşleme amacı, erişim yetkisi, saklama süresi, günlüklerdeki kişisel veri ve silme taleplerinin indeksten de uygulanması gerekir. Ayrıntılı çerçeve için AI ve KVKK yazısına bakın; resmi bilgi ve kararlar için KVKK Kurumu’nun internet sitesi birincil kaynaktır. Hukuki değerlendirmeyi kurumunuzun hukuk ve veri koruma sorumlularıyla birlikte yapın.
İşletim: modeli üretimde yaşatmak
Private LLM bir kez kurulan bir ürün değil, işletilen bir hizmettir. Şu işler süreklidir:
- Modelin ve çıkarım motorunun güvenlik yamaları ile sürüm güncellemeleri.
- GPU kullanımı, kuyruk uzunluğu, gecikme ve hata oranlarının izlenmesi.
- Kalite değerlendirmesi: sabit bir soru seti ile sürüm değişikliklerinde regresyon testi.
- İndeks, yapılandırma ve günlüklerin yedeklenmesi.
- Olay yönetimi: kötüye kullanım, veri sızıntısı şüphesi ve model hatalı yanıtları için süreç.
Bu yük kurum içi ekibi aşıyorsa, operasyonun bir bölümünü yönetilen hizmetler modeliyle devretmek mümkündür.
Örnek senaryo: iç doküman asistanı
Bir hukuk ve uyum birimi, yüzlerce sözleşme ve iç politikanın içinde arama yapabilen bir asistan istiyor. Belgeler gizli, dış servise gitmesi istenmiyor. Ekip önce orta boy bir açık ağırlıklı modeli tek bir GPU sunucusunda deniyor ve yüz kadar gerçek soruyu içeren bir değerlendirme seti hazırlıyor. Sonuçlar yeterli çıkınca belge hattı kuruluyor: belgeler sınıflandırılıyor, sahipleri etiketleniyor ve indekse yetki bilgisiyle birlikte giriyor.
İlk pilotta iki sorun görülüyor. Birincisi, eski sürümlü sözleşmeler yeni sürümlerle karışıp çelişkili yanıtlar üretiyor; çözüm belge yaşam döngüsünü indekse yansıtmak oluyor. İkincisi, yanıtlarda kaynak belge gösterilmediği için kullanıcılar güvenmiyor; yanıtlara kaynak bağlantısı eklenince benimseme artıyor. Üretime geçerken kimlik sağlayıcı entegre ediliyor, günlükler için saklama süresi yazılıyor ve tüm istekler tek bir ağ geçidinden geçiriliyor. Bu senaryoda zor olan kısım GPU değil, belge kalitesi ve yetki yönetimiydi.
Kurulum modeli seçenekleri
Private LLM’in nerede çalışacağı da bir karardır. Üç temel seçenek vardır:
- Kendi veri merkezinde: Tam kontrol sağlar; güç, soğutma, donanım tedariği ve yenileme sorumluluğu sizdedir.
- Ayrılmış kiralık altyapı: Donanım size ayrılmış olarak sağlayıcıda çalışır; fiziksel işletim yükünü azaltır, kontrol hâlâ yüksektir.
- Hibrit: Hassas iş yükü kurum kontrolündeki ortamda, deneme ve pik kapasite kiralık altyapıda çalışır.
Seçimde veri sınıfı, kullanım profili, iç ekip yetkinliği ve bütçe öngörülebilirliği belirleyicidir. Çoğu kurum için önce kiralık kapasiteyle başlayıp kullanım netleştikçe karar vermek, donanıma erken kilitlenmekten daha güvenlidir.
Yaygın hatalar
- Donanımla başlamak: Kullanım senaryosu ve veri kaynakları netleşmeden GPU almak.
- RAG’de yetkiyi atlamak: Kullanıcıların erişimi olmayan içeriğin yanıtlarda görünmesi.
- Günlüklerin kendisini risk yapmak: İstem günlüklerinde kişisel veri birikir; erişim ve saklama süresi tanımlanmazsa yeni bir veri deposu doğar.
- Kalite ölçmemek: “İyi görünüyor” hissiyle canlıya çıkmak.
- Çalışanları dışarıda bırakmak: Kullanışsız bir iç araç, çalışanları yine dış servislere yönlendirir.
- Sahiplik belirsizliği: Modelin, indeksin ve politikaların sorumlusu atanmamış olması.
Karar özeti
- Kullanım senaryolarını ve veri hassasiyetini yazılı hale getirin; private ihtiyacını kanıtlayın.
- Küçük bir pilotla model kalitesini ve eşzamanlılık ihtiyacını ölçün.
- Beş katmanı (hesaplama, sunum, bilgi, kontrol, işletim) birlikte planlayın.
- RAG’de belge kalitesi ve yetki filtresini ilk sürümden itibaren tasarlayın.
- Günlükleme, saklama süresi ve KVKK uyumunu baştan netleştirin.
- İşletim sorumluluğunu ve yetkinlik açığını erkenden belirleyin.
Nanda Teknoloji ile ilerlemek
Nanda Teknoloji bu tür projelerde keşif, tasarım, geçiş ve işletim adımlarını yürütür: kullanım senaryosu ve veri sınıflandırması, GPU kapasitesinin boyutlandırılması, kontrol katmanının tasarımı ve süreklilik. Çalışma ortamı ve veri kontrolü gereksinimlerinizi birlikte netleştirmek için AI güvenliği ve GPU as a Service çözüm sayfalarını inceleyebilirsiniz.