llama.cpp Sunucusuna Çoklu Model Yönetimi ve Yönlendirici Modu Eklendi
Kaynak: huggingface.co ·
Yazılım, sunucuyu yeniden başlatmaya gerek kalmadan birden fazla model arasında dinamik olarak geçiş yapmayı, modelleri yüklemeyi ve kaldırmayı sağlayan yeni bir yönlendirici modu ile güncellendi. Çok süreçli mimari sayesinde her model kendi sürecinde çalışır ve bir model çöktüğünde diğerleri etkilenmez. Sistem, önbellek klasörünü tarayarak modelleri otomatik keşfeder, ilk istekte modelleri belleğe yükler ve en son kullanılanlar mekanizmasıyla sınır aşımında eski modelleri bellekten çıkarır.
Neden önemli?
Bu özellik, geliştiricilerin farklı model sürümlerini test etmesini veya sunucuyu sürekli yeniden başlatmadan çoklu model dağıtımları yapmasını kolaylaştırarak iş akışlarını hızlandırır.
Bununla neler yapılabilir?
- Olası kullanım: Geliştirme sürecinde sunucuyu yeniden başlatmadan farklı dil modelleri arasında geçiş yapmak.
- Olası kullanım: Önbellekteki GGUF dosyalarını otomatik keşfederek tek bir sunucu üzerinden farklı modellerle sohbet etmek.
Somut sonuçlar ve kanıtlar
- llama.cpp sunucusu, yeniden başlatma gerektirmeden birden fazla model arasında dinamik olarak yükleme, kaldırma ve geçiş yapma olanağı tanıyan yönlendirici modunu sunuyor. (Üreticinin açıklaması)
Sınırlar ve açık kalan sorular
Yükleme süreleri model boyutuna bağlıdır ve varsayılan olarak aynı anda en fazla 4 model yüklü kalabilir.