Sözlük
GPU nedir? (Graphics Processing Unit)
Çok sayıda hesaplamayı eş zamanlı yapabilen, başlangıçta grafik için geliştirilmiş ancak yapay zekâ eğitimi ve çıkarımında yaygın kullanılan işlemci.
GPU, binlerce küçük işlem biriminin aynı anda çalışmasına dayanır. Bu paralel yapı, makine öğrenmesindeki yoğun matris işlemleri için genel amaçlı işlemcilere göre çok daha uygundur; bu nedenle yapay zekâ iş yüklerinde temel donanımdır.
Seçimde bellek miktarı, bellek bant genişliği, birden çok kartın birbirine bağlanma yöntemi ve yazılım desteği belirleyicidir. LLM gibi büyük modeller için bellek çoğu zaman en kritik sınırdır. Eğitim ile çıkarım farklı donanım gereksinimleri doğurur.
GPU satın almak yüksek yatırım ve işletim yükü getirir; kiralama modeli esneklik sağlar. Kullanım yoğunluğu belirsiz projelerde hizmet olarak GPU tercih edilebilir. Kuruma özel model çalıştırmak veya ince ayar yapmak isteyen ekipler için bu karar önemlidir.