Tarık Şenkal Etiketler
Verimlilik
2 yazı
Verimlilik6 dkÜretimde Kuantizasyon: FP8, NVFP4 ve Türkçe'de Kalite Kaybı
FP8, NVFP4, AWQ ve GPTQ arasında nasıl seçilir? Donanım uyumluluk matrisi, vLLM ile sunum ve düşük bitli kuantizasyonun Türkçe metinde ölçülmeyen kalite bedeli.
Verimlilik6 dkModel Damıtma ve Küçük Modeller: Büyük Öğretmenden Küçük Öğrenciye Bilgi Aktarımı
Model damıtma (knowledge distillation), büyük bir öğretmen modelin bilgisini küçük ve hızlı bir öğrenci modele aktarır. Yumuşak etiketleri, sıcaklığı ve damıtma kaybını; bunun neden, nasıl ve ne zaman işe yaradığını sezgisel örneklerle anlatıyoruz.