Model Yönlendirme ve Kademeleme: Her İşe Aynı Modeli Vermeyin
Yönlendirme, her isteği maliyeti ve yeteneği uygun modele göndermektir. Kademeli mimari, güven eşiği, kaçış yolu ve gerçek maliyet-kalite ölçümü.
Çoğu yapay zeka ürünü tek bir modelle başlar ve öyle kalır. Trafik büyüdüğünde fatura da büyür, çünkü basit bir niyet tespiti ile karmaşık bir analiz aynı pahalı modele gitmektedir. Yönlendirme bu israfı ortadan kaldırır: her isteği, onu yapabilecek en ucuz modele gönderir.
Yönlendirme ve kademeleme
İki farklı desen vardır. Yönlendirme, isteği görmeden önce sınıflandırıp doğrudan uygun modele gönderir; tek çağrı yapılır. Kademeleme ise önce ucuz modeli dener, sonuç yeterince iyi değilse pahalı modele yükseltir; bazen iki çağrı yapılır.
Yönlendirme daha ucuzdur ama sınıflandırma hatası doğrudan kaliteye yansır. Kademeleme daha güvenlidir ama en kötü durumda toplam maliyeti artırır.
Kararı neye göre vermeli
- Görev tipi: Özetleme, çıkarım ve biçimlendirme küçük modele; çok adımlı analiz büyüğe.
- Girdi uzunluğu ve karmaşıklığı: Kısa ve tekil sorular genellikle küçük modelle çözülür.
- Riski: Hatanın maliyeti yüksekse, tasarruf etmeyin.
- Gecikme bütçesi: Kullanıcı bekliyorsa hız, kaliteden önce gelebilir.
Güven eşiği ve kaçış yolu
Kademeli mimaride kritik soru şudur: ucuz modelin cevabının yeterli olduğunu nasıl anlarsınız? Pratik sinyaller şunlardır: modelin kendi belirttiği belirsizlik, çıktının şemaya uyup uymaması, getirilen kanıtla tutarlılık ve basit bir doğrulayıcı modelin onayı.
Her kademeli sistemin açık bir kaçış yolu olmalıdır: eşiğin altında kalındığında ne olacağı baştan tanımlanmalı, belirsiz bırakılmamalıdır.
Ölçmeden yönlendirme olmaz
| Ölçüt | Neden |
|---|---|
| Kademe başına doğruluk | Küçük model gerçekten yetiyor mu |
| Yükseltme oranı | Tasarruf gerçek mi |
| Uçtan uca gecikme | İki çağrı kullanıcıyı bekletiyor mu |
| İstek başına maliyet | Asıl hedef |
Yükseltme oranı yüzde altmışa çıkmışsa kademeleme işe yaramıyordur: hem ucuz hem pahalı çağrı yapılıyor, tasarruf yerine ek maliyet doğuyordur.
Yaygın hatalar
En sık görülen üç hata: yönlendiriciyi asla yeniden değerlendirmemek, kademeleri aynı prompt ile çalıştırmak (küçük model farklı bir talimatla daha iyi olur) ve kalite düşüşünü izlememek. Maliyet düşüşü hemen görünür, kalite düşüşü haftalar sonra fark edilir.
Sık sorulanlar
Yönlendirici de bir maliyet değil mi?
Evet ama küçüktür. Kural tabanlı ya da küçük modelli yönlendiricinin maliyeti, kazandırdığının yanında ihmal edilebilir.
Önbellekleme ile birlikte kullanılır mı?
Kesinlikle. Yönlendirmeden önce önbelleğe bakmak en ucuz adımdır; tekrar eden istekler hiç modele gitmez.
Kaç kademe olmalı?
Genellikle iki yeterlidir. Üç kademe, karmaşıklığı ve hata ayıklama yükünü kazançtan hızlı artırır.
Yönlendirme, kaliteden ödün vermeden ölçeklenmenin en doğrudan yoludur ve çoğu ekibin en geç kaldığı optimizasyondur. Devamı için LLM maliyet optimizasyonu ve küçük dil modelleri yazılarına bakabilirsiniz.
