GPU ve AI Altyapısı

LLM eğitimi ve çıkarımı için GPU seçimi: temel kriterler

Nanda Teknoloji Mühendislik Ekibi · · 6 dk okuma

Kısaca

LLM için GPU seçiminde belirleyici kriter ham hesaplama gücü değil, önce GPU belleğidir; model ağırlıkları, KV önbelleği ve eğitimde optimizer durumu belleğe sığmalıdır. Sonra bellek bant genişliği, GPU'lar arası bağlantı ve işletme maliyeti gelir.

Büyük dil modeli (LLM) için GPU seçerken ilk soru “en hızlı kart hangisi?” değil, “modelim ve bağlamım bellekte nasıl durur?” olmalıdır. Bir modeli çalıştırmak için ağırlıklarının, o an işlenen isteklerin KV önbelleğinin ve çalışma tamponlarının GPU belleğine sığması gerekir. Eğitim ve ince ayarda buna gradyanlar ile optimizer durumu da eklenir. Bellek yetmiyorsa modeli birden fazla GPU’ya bölmek ya da nicemlemek zorunda kalırsınız. Bellek yeterliyse sıradaki kriterler bellek bant genişliği, GPU’lar arası bağlantı, yazılım uyumu ve toplam işletme maliyetidir. Bu yazı, LLM projelerinde bu kriterleri hesap yöntemi, karar tablosu ve yaygın hatalarla birlikte ele alıyor.

Önce iş yükünü tanımlayın: eğitim, ince ayar mı, çıkarım mı?

GPU seçimi, iş yükünün türüne göre tamamen değişir. Üç ayrı senaryo vardır ve her biri farklı darboğaza sahiptir.

  • Sıfırdan eğitim (pre-training): Çok büyük veri ve uzun süre gerektirir. Çok sayıda GPU, hızlı ağ ve kurumsal bir MLOps ekibi ister. Çoğu kurum için gerçekçi bir hedef değildir.
  • İnce ayar (fine-tuning): Hazır bir modeli kendi verinizle uyarlarsınız. Parametre verimli yöntemler (LoRA gibi) belleği ciddi biçimde azaltır; tek bir sunucudaki birkaç GPU çoğu zaman yeterlidir.
  • Çıkarım (inference): Eğitilmiş modeli kullanıcılara sunarsınız. Gecikme, eşzamanlı kullanıcı sayısı ve istek başına maliyet öne çıkar.

Kurumsal projelerin büyük çoğunluğu ikinci ve üçüncü sınıfa girer. Bu yüzden “eğitim için dev kümeler” yerine “doğru boyutlandırılmış çıkarım ve hafif ince ayar” odaklı düşünmek daha gerçekçidir.

Bellek hesabı: model sığacak mı?

İlk tahmin için basit bir formül yeterlidir:

Ağırlık belleği ≈ parametre sayısı × parametre başına bayt

Parametre başına bayt, sayı biçimine bağlıdır: 32 bit için 4, 16 bit (FP16/BF16) için 2, 8 bit için 1, 4 bit için yarım bayttır. Örneğin 7 milyar parametreli bir model 16 bitte yaklaşık 14 GB ağırlık gerektirir; 70 milyar parametreli bir model aynı biçimde yaklaşık 140 GB. Bu, ağırlıkların alt sınırıdır; gerçek ihtiyaç daha yüksektir.

Üzerine eklenenler:

  1. KV önbelleği: Her istek için bağlam uzunluğu ve katman sayısıyla büyür. Uzun bağlam ve çok eşzamanlı kullanıcı, ağırlıklardan daha fazla bellek tüketebilir.
  2. Aktivasyonlar ve çalışma tamponları: Çıkarım çerçevesinin kendi payı.
  3. Eğitimde gradyanlar ve optimizer durumu: Tam eğitimde ağırlık belleğinin birkaç katı gerekir. Bu nedenle tam ince ayar, aynı modelin çıkarımından çok daha fazla bellek ister.

Pratik kural: modelin ağırlık boyutunu hesaplayın, KV önbelleği ve çalışma payı için ciddi bir tampon bırakın, sonra gerçek istek profilinizle ölçün. Tahmin ile üretim arasındaki fark, genellikle bağlam uzunluğundan kaynaklanır.

Karar tablosu: hangi ihtiyaçta hangi kriter öne çıkar?

İş yükü Birincil darboğaz Seçimde öne çıkan kriter Tipik yaklaşım
Küçük model çıkarımı (örneğin tek bölüm kullanımı) Maliyet ve gecikme Bellek yeterliliği, birim maliyet Tek GPU, nicemlenmiş model
Büyük model çıkarımı Model belleğe sığmaz Bellek kapasitesi, GPU’lar arası bağlantı Birden fazla GPU’ya bölme
Yüksek eşzamanlılıkla çıkarım KV önbelleği ve bant genişliği Bellek bant genişliği, toplu işleme Çıkarım motoru ile sürekli batching
Parametre verimli ince ayar Bellek Kapasite, yazılım uyumu Tek sunucu, birkaç GPU
Tam ince ayar / sıfırdan eğitim Bellek ve iletişim Bağlantı hızı, küme ağı, depolama Çok sunuculu küme, uzman işletme

Bellek bant genişliği neden hesaplama gücünden önemli olabilir?

LLM çıkarımının üretim aşaması (token token metin üretimi) çoğu zaman hesaplama değil, bellek bant genişliği ile sınırlıdır. Her yeni token için model ağırlıklarının büyük bölümü bellekten okunur. Bu yüzden iki kart benzer hesaplama gücüne sahip olsa bile, bellek bant genişliği yüksek olan çıkarımda daha hızlı yanıt verir.

Buna karşılık istemin ilk işlendiği aşama (prefill) hesaplama yoğundur. Uzun belgeleri özetleyen veya RAG ile çok sayıda bağlam parçası okuyan uygulamalarda prefill süresi belirleyici olabilir. Kendi iş yükünüzün bu iki aşamadan hangisine yaslandığını bilmek, doğru kartı seçmenin yarısıdır. RAG kullanan sistemlerde bağlam uzun olacağından KV önbelleği ihtiyacını da ayrıca hesaba katın.

Çoklu GPU: ne zaman gerekir, neye mal olur?

Model tek GPU’ya sığmıyorsa üç yaygın bölme yöntemi vardır: tensör paralelliği (katman içi işlemi böler), boru hattı paralelliği (katmanları GPU’lara dağıtır) ve veri paralelliği (aynı modeli kopyalayıp istekleri paylaştırır). Tensör paralelliği GPU’lar arasında sık ve yoğun iletişim gerektirir; bu yüzden aynı sunucu içindeki yüksek hızlı bağlantı hayati önem taşır. Standart ağ üzerinden bu tür iletişim, kazancı büyük ölçüde silebilir.

Bu nedenle şunu sorun: modeliniz tek sunucudaki GPU’lara sığıyorsa, sunucular arası bölmeye gitmeyin. Önce nicemleme, daha kısa bağlam veya daha küçük bir model alternatiflerini değerlendirin. Çok düğümlü çözüm, ağ, zamanlayıcı ve hata yönetimi karmaşıklığını da beraberinde getirir.

Nicemleme ve model boyutu: donanımı küçültmenin yolu

Ağırlıkları 16 bit yerine 8 ya da 4 bitle saklamak bellek ihtiyacını belirgin biçimde düşürür ve daha küçük, daha ucuz donanıma izin verir. Bedeli kalite riskidir: etkisi modele, nicemleme yöntemine ve göreve göre değişir. Özetleme gibi toleranslı görevlerde fark küçük kalabilir; kod üretimi ya da hassas sınıflandırmada daha belirgin olabilir.

Önerilen yöntem, kendi değerlendirme veri setinizle (gerçek sorular, beklenen yanıtlar) farklı model boyutlarını ve nicemleme düzeylerini karşılaştırmaktır. Böylece “daha büyük kart” yerine “yeterince iyi model ve doğru boyutlu kart” kararına ulaşırsınız.

Yazılım yığını ve uyumluluk

Donanım seçimi yazılımla bir bütündür. Şunları kontrol edin:

  • Kullanacağınız çıkarım motoru ve eğitim kütüphaneleri seçtiğiniz GPU mimarisini ve sürücü sürümünü destekliyor mu?
  • Kullanmak istediğiniz hassasiyet biçimleri (BF16, FP8 gibi) donanımda yerel olarak destekleniyor mu?
  • Konteyner ve orkestrasyon katmanında GPU paylaşımı (bölme, zaman paylaşımı) ihtiyacınız var mı?
  • İzleme: GPU kullanımı, bellek, sıcaklık ve hata metrikleri mevcut gözlemlenebilirlik araçlarınıza akıyor mu?

Yazılım uyumsuzluğu, kâğıt üzerinde güçlü bir kartın fiilen verimsiz kalmasının en sık nedenlerinden biridir.

Güç, soğutma ve veri merkezi gerçekleri

GPU sunucuları geleneksel sunuculara kıyasla çok daha fazla güç çeker ve ısı üretir. Kendi veri merkezinizde çalıştıracaksanız rafın güç yoğunluğu, soğutma kapasitesi ve kablolama önceden doğrulanmalıdır. Kiralama modelinde bu yük sağlayıcıdadır, ancak sözleşmede kapasite ve tedarik koşullarını netleştirmeniz gerekir. Detaylı değerlendirme için GPU as a Service nedir yazısına bakabilirsiniz.

Yaygın hatalar

  • Yalnızca parametre sayısına bakmak: KV önbelleği ve bağlam uzunluğunu hesaba katmayan boyutlandırma, üretimde bellek yetersizliğiyle sonuçlanır.
  • Tek kullanıcıyla ölçüm yapmak: Pilotta hızlı görünen sistem, eşzamanlı yük altında çöker.
  • Eğitim donanımını çıkarım için almak: Çıkarım iş yükünün farklı profili, daha ekonomik seçenekleri mümkün kılabilir.
  • Ağı atlamak: Çok GPU’lu planda bağlantı hızını sonradan düşünmek.
  • Kullanım oranını varsaymak: GPU boşta beklerken de maliyet işler; gerçek kullanım oranı kararı değiştirir.
  • Güvenliği sona bırakmak: Modele giden ve gelen veri akışının denetimi için AI Gateway gibi kontrol noktalarını baştan tasarıma dahil etmemek.

Satın alma mı, kiralama mı?

Sahiplik, kullanım oranı yüksek ve öngörülebilir iş yüklerinde mantıklıdır; ancak güç, soğutma, yedek parça, sürücü ve yenileme döngüsünü de üstlenirsiniz. Kiralama, deneme aşamasında, dalgalı yükte ya da donanım nesli hızla değişirken esneklik sağlar. Pek çok kurum hibrit yol seçer: ilk denemeleri ve piklerde kiralık kapasiteyi, sürekli temel yükü ise ayrı planlanmış kapasiteyi kullanır. Seçenekleri değerlendirirken GPU as a Service modelinin kapsamını ve kurum içi çalıştırma gereksinimlerini birlikte ele almak için kurum içi private LLM yazısı da yol gösterir.

Karar özeti

  1. Eğitim mi, ince ayar mı, çıkarım mı olduğunu netleştirin.
  2. Model boyutu ve bağlam uzunluğundan bellek ihtiyacını hesaplayın; tampon bırakın.
  3. Gecikme ve eşzamanlılık hedefinize göre bellek bant genişliğini ve toplu işlemeyi değerlendirin.
  4. Mümkünse tek sunucuda kalın; çok düğümlü yapıyı yalnızca gerekirse seçin.
  5. Kendi verinizle model boyutu ve nicemleme karşılaştırması yapın.
  6. Güç, soğutma, yazılım uyumu ve güvenliği ilk günden plana katın.
  7. Satın alma ve kiralama kararını kullanım oranı üzerinden verin.

Nanda Teknoloji ile ilerlemek

Nanda Teknoloji bu tür projelerde keşif, tasarım, geçiş ve işletim adımlarını yürütür: iş yükünün sınıflandırılması, boyutlandırma, ortamın kurulumu ve sürekli izleme. İhtiyacınız deneme ya da dalgalı kapasite ise GPU as a Service çözümü iyi bir başlangıç noktasıdır; yük ve kullanım netleştikçe mimari birlikte yeniden değerlendirilebilir.

Sık sorulan sorular

LLM çıkarımı için kaç GB GPU belleği gerekir?

İlk yaklaşım olarak parametre sayısını bir parametrenin bayt değeriyle çarpın; 16 bitlik ağırlıkta parametre başına 2 bayt gerekir. Bunun üzerine KV önbelleği ve çalışma payı eklenir, bu yüzden eşzamanlı kullanıcı sayısı toplamı belirler.

Eğitim ile çıkarım aynı GPU'yu kullanabilir mi?

Teknik olarak evet, ancak ihtiyaçlar farklıdır. Eğitim bellek kapasitesi ve GPU'lar arası bağlantıya, çıkarım ise gecikmeye, bellek bant genişliğine ve maliyet verimliliğine daha duyarlıdır.

Nicemleme (quantization) kaliteyi düşürür mü?

Ağırlıklar daha az bit ile saklandığında bellek ihtiyacı düşer ve çoğu durumda kalite kaybı sınırlı kalır; ancak etkisi modele ve göreve göre değişir. Kendi verinizle ölçmeden üretime almayın.

GPU satın almak mı, kiralamak mı daha doğru?

İş yükü öngörülebilir ve sürekliyse sahiplik, dalgalı ya da deneme aşamasındaysa kiralama mantıklı olur. Kararı kullanım oranı, işletme yetkinliği ve donanım yenileme döngüsü birlikte belirler.

İlgili çözümler

İlgili yazılar

Kritik sistemlerinizi birlikte planlayalım

İhtiyacınızı anlatın; ekibimiz uygun mimariyi ve geçiş yolunu sizinle netleştirsin.