DeepSeek-V4, 1 Milyon Token Bağlam Penceresi ve Yeni Dikkat Mekanizmalarıyla Tanıtıldı
Kaynak: huggingface.co ·
DeepSeek, toplam 1.6T parametreli Pro ve 284B parametreli Flash sürümlerinden oluşan yeni DeepSeek-V4 model ailesini tanıttı. Model, uzun bağlamlı ajan görevlerini verimli hale getirmek için Sıkıştırılmış Seyrek Dikkat (CSA) ve Yoğun Sıkıştırılmış Dikkat (HCA) olmak üzere iki yeni hibrit dikkat mekanizması kullanıyor. Araç çağrıları arasında akıl yürütme geçmişini koruyan yapı, donanımsal yükü önemli ölçüde azaltırken KV önbellek boyutunu küçültüyor. Açıklanan modeller arasında DeepSeek-V4-Pro ve DeepSeek-V4-Flash gibi farklı varyantlar yer alıyor.
Neden önemli?
Önceki modeller uzun bağlamlarda yüksek bellek maliyeti ve GPU darboğazları yaşarken, V4 mimarisi KV önbellek boyutunu geleneksel yaklaşımlara göre çok daha düşük seviyelere çekerek uzun soluklu yapay zeka ajanlarının çalışmasını kolaylaştırıyor. Bu durum, geliştiricilerin tarayıcı veya terminal oturumları gibi çok adımlı görevleri daha düşük maliyetle yürütmesini sağlıyor.
Bununla neler yapılabilir?
- Olası kullanım: Terminal Bench 2.0 veya SWE Verified gibi uzun adımlı kodlama ve terminal oturumlarında çoklu araç çağrısı içeren iş akışlarının yürütülmesi.
- Olası kullanım: Araç çağrıları sırasında akıl yürütme içeriğinin kullanıcı mesajları arasında korunarak çok turlu ajan görevlerinin yönetilmesi.
Somut sonuçlar ve kanıtlar
- Terminal Bench 2.0 testinde V4-Pro-Max 67.9 puan almıştır. (Üreticinin açıklaması)
- SWE Verified testinde 80.6 görev çözülmüştür. (Üreticinin açıklaması)
Sınırlar ve açık kalan sorular
Modelin bilgi ve akıl yürütme skorları rekabetçi olsa da her alanda lider değildir. Think Max modu en az 384K token bağlam penceresi gerektirir ve düşünme modlarının bazı testlerde davranışı olumsuz etkileyebileceği belirtilmektedir.