Transformers Kütüphanesi Model Tanımlarını Standartlaştırıyor
Kaynak: huggingface.co ·
Transformers kütüphanesi, yapay zeka ekosisteminde model tanımlarını standartlaştırmak amacıyla yeni bir döneme girdiğini duyurdu. Yapılan açıklamaya göre kütüphane, ortalama her hafta yaklaşık 3 yeni mimari ekleyerek şu anda 300'den fazla model mimarisini destekliyor. vLLM, SGLang ve TGI gibi popüler çıkarım motorları artık Transformers'ı arka uç olarak kullanmak üzere entegre ediliyor. Ayrıca kod tabanının basitleştirilmesi, gereksiz bileşenlerin kaldırılması ve modüler model tanımlarının güçlendirilmesi hedefleniyor.
Neden önemli?
Bu standartlaşma hamlesi, model geliştiricilerin tek bir katkıyla modellerini tüm alt akış kütüphanelerinde kullanılabilir hale getirmesini sağlıyor. Model kullanıcıları ise eğitim, çıkarım ve üretim araçları arasında çok daha yüksek bir uyumluluk ve birlikte çalışabilirlik elde ediyor.
Bununla neler yapılabilir?
- Olası kullanım: Unsloth ile eğitilen bir modeli kolayca yerel olarak çalıştırmak için llama.cpp uyumlu GGUF dosyalarına dönüştürmek.
- Olası kullanım: Yeni eklenen bir model mimarisini doğrudan vLLM veya SGLang gibi çıkarım motorlarında üretim düzeyinde hızla sunmak.
Somut sonuçlar ve kanıtlar
- Transformers kütüphanesi şu anda ortalama haftada ~3 yeni mimari ekleyerek 300'den fazla model mimarisini desteklemektedir. (Üreticinin açıklaması)
Sınırlar ve açık kalan sorular
llama.cpp gibi bazı kütüphaneler kendi arka uçlarını korumaya devam ettiği için tam anlamıyla otomatik ilk gün desteği tüm araçlarda aynı şekilde çalışmamaktadır ve iki kütüphane arasında farklı arka uçlar bulunmaktadır.