6 Dil ve 128k Bağlam Desteği Sunan Tamamen Açık 3 Milyarlık Modeli SmolLM3 Tanıtıldı
Kaynak: huggingface.co ·
11 trilyon token üzerinde eğitilen SmolLM3, aynı ölçekteki diğer modellere göre üstün performans sergileyen ve 4 milyarlık alternatiflerle rekabet edebilen yeni bir açık kaynaklı yapay zeka modelidir. Model, İngilizce, Fransızca, İspanyolca, Almanca, İtalyanca ve Portekizce olmak üzere altı dili desteklemektedir. NoPE ve YaRN teknolojileri sayesinde model, 128k bağlam uzunluğunu işleyebilmektedir. Ayrıca model, sistem komutlarına eklenen bayraklar aracılığıyla hem doğrudan yanıt verme hem de detaylı akıl yürütme modlarını destekleyen çift modlu bir sohbet şablonuna sahiptir.
Neden önemli?
Önceki açık kaynaklı küçük modellerde bulunmayan çift modlu akıl yürütme yeteneği, uzun bağlam desteği ve eksiksiz eğitim reçetesi topluluğa sunulmaktadır. Bu sayede geliştiriciler ve araştırmacılar, maliyetli tersine mühendislik süreçlerine ihtiyaç duymadan rekabetçi 3 milyarlık modelleri yerel olarak çalıştırabilir ve yeniden üretebilir.
Bununla neler yapılabilir?
- Olası kullanım: /think ve /no_think bayrakları kullanılarak sohbet sırasında akıl yürütme veya doğrudan yanıt verme modları arasında geçiş yapma.
- Olası kullanım: Standart XML araçları veya Python fonksiyon çağrıları aracılığıyla yapay zeka ajan iş akışlarında araç çağırma işlemlerini gerçekleştrme.
- Olası kullanım: 128k bağlam uzunluğu kapasitesi sayesinde uzun dokümanlar, kod depoları veya kitaplar üzerinde analiz yapma ve soru yanıtlama.
Somut sonuçlar ve kanıtlar
- Uzatılmış düşünme modu etkinleştirildiğinde model, AIME 2025 benchmark testinde %36.7 başarı oranına ulaşmaktadır. (Üreticinin açıklaması)
- Canlı kod yarışmalarında, genişletilmiş düşünme modu kullanıldığında LiveCodeBench üzerinde %30.0 başarı elde edilmektedir. (Üreticinin açıklaması)
- Model, GPQA Diamond testinde lisansüstü düzeyde akıl yürütme gerektiren sorularda %41.7 başarı oranı göstermektedir. (Üreticinin açıklaması)
Sınırlar ve açık kalan sorular
Modelin uzun bağlam performansı bazı orta eğitim aşamalarından etkilenebilmekte olup, istenen 128k kapasiteye ulaşmak için model birleştirme tekniklerinin uygulanması gerekmiştir. Ayrıca modelin çalıştırılması için transformers v4.53.0 veya güncel vllm sürümlerinin kullanılması zorunludur.