Sözlük
Çıkarım (Inference) nedir?
Eğitilmiş bir yapay zekâ modelinin yeni girdiler üzerinde tahmin veya yanıt üretmesi. Modelin eğitimden sonra gerçek kullanımda çalıştığı aşamadır.
Çıkarım, hazır bir modelin kullanıcıdan aldığı girdiye yanıt ürettiği aşamadır. Bir LLM ile sohbet etmek, aslında çıkarım çalıştırmaktır. Eğitimden farkı, modelin ağırlıklarının değişmemesidir.
Çıkarımda öne çıkan ölçütler yanıt gecikmesi, aynı anda karşılanabilen istek sayısı ve birim istek başına maliyettir. Model boyutu, kullanılan sayısal hassasiyet ve gruplayarak işleme gibi teknikler bu ölçütleri etkiler. Eğitime kıyasla daha az hesaplama gerektirir, fakat sürekli ve ölçeklenebilir çalışmak zorundadır.
Bir modeli kendi ortamında sunmak için yeterli GPU belleği gerekir. Modelin kuruma özgü davranması için ince ayar, güncel bilgi için RAG kullanılabilir. Yük arttıkça yük dengeleme da devreye girer.