Anthropic, Mesaj İş Parçacıkları ile Uzun Konuşmalarda İlk Token Süresini Yüzde 35 Azalttı
Kaynak: the-decoder.com ·
Anthropic, Claude platformunda kamuya açık beta olarak Mesaj İş Parçacıkları özelliğini kullanıma sundu. Şirket açıklamasına göre bu yenilik, her API isteğinde tüm konuşma geçmişini yeniden göndermek yerine yalnızca son mesajdan bu yana değişen kısımları iletiyor. Özellik, 500 bin ile 1 milyon token arasındaki isteklerde ilk token süresini yaklaşık yüzde 35 oranında kısaltıyor. Bellekte şifreli olarak tutulan bu iş parçasları, beş dakikalık hareketsizlik durumunda zaman aşımına uğruyor.
Neden önemli?
Önceki durumda her API isteğinde tüm geçmişin baştan işlenmesi gecikmelere yol açıyordu. Bu yeni yöntem, özellikle uzun belgeler veya görseller işleyen iş akışları ve kodlama ajanları için hız avantajı sağlıyor.
Bununla neler yapılabilir?
- Olası kullanım: Kodlama ajanları ve bilgisayar kullanım ajanları aracılığıyla büyük kod tabanlarının taranması
- Olası kullanım: Çok sayıda belge veya görsel içeren uzun iş akışı süreçlerinin hızlandırılması
Somut sonuçlar ve kanıtlar
- Mesaj İş Parçacıkları, 500.000 ile 1 milyon token arasındaki isteklerde ilk token süresini yaklaşık yüzde 35 oranında kısaltıyor. (Kaynak)
Sınırlar ve açık kalan sorular
Özellik şu an kamuya açık beta aşamasındadır ve beş dakikalık hareketsizlik sonrasında iş parçacığı süresi dolmaktadır. Claude platformunun yanı sıra AWS, Microsoft Foundry ve Google Cloud üzerinden erişilebilmektedir; token kullanımı tam geçmiş okunduğu için değişmemektedir.