Yapay Zeka Kodlama Ajanlarının Maliyetini Token Yerine Birleştirilen Kod Değişiklikleriyle Ölçme Yöntemi
Kaynak: technologyreview.com ·
Yazılım geliştirme süreçlerinde kullanılan yapay zeka ajanlarının token tüketimine dayalı fiyatlandırma modelleri, yüksek kullanım oranlarında maliyet baskısı yaratmaktadır. Sektör analistleri ve şirketler, maliyeti token sayısı yerine başarıyla tamamlanan ve koda aktarılan her bir birleştirilmiş kod değişikliği üzerinden takip etmeyi önermektedir. Bu yaklaşım, pahalı çıkarım modellerini en zorlu görevler için ayırırken rutin işleri açık ağırlıklı yerel modellere yönlendiren hibrit bir altyapı mimarisini desteklemektedir. Yapılan çalışmalar, şirket içi altyapı ve yönlendirici ağ geçitleri kullanılarak token maliyetlerinin yüzde 30 ile 50 oranında düşürülebileceğini göstermektedir.
Neden önemli?
Geliştiricilerin yapay zeka ajanlarını daha yoğun kullanmasıyla birlikte değişken maliyetler şirket bütçelerini hızla tüketebilir; bu nedenle token tüketimi yerine üretilen yazılım miktarını ölçmek sürdürülebilir yapay zeka entegrasyonu için kritik önem taşır.
Bununla neler yapılabilir?
- Olası kullanım: Karmaşık planlama ve yeni akıl yürütme görevleri için birinci sınıf yapay zeka modelleri rezerve edilebilir.
- Olası kullanım: Kod üretimi ve test oluşturma gibi rutin iş akışları şirket içinde işletilen açık ağırlıklı modellere yönlendirilebilir.
Somut sonuçlar ve kanıtlar
- HPE'nin şirket içi uygulamalarda hibrit yapay zeka platformu kullanarak token maliyetlerini yüzde 30 ile 50 oranında düşürdüğü bildirildi. (Kaynak)
Sınırlar ve açık kalan sorular
Sahip olunan kapasitenin maliyeti; enerji, operasyon, bakım ve amortisman giderlerini içerir ve düşük veya öngörülemeyen kullanım oranlarında API modelleri daha avantajlı olmaya devam edebilir.