Kurumsal Java Çerçeve Taşımaları İçin ScarfBench Değerlendirme Testi Tanıtıldı
Kaynak: huggingface.co ·
Kurumsal Java uygulamalarının taşınması ve modernizasyonunda yapay zeka ajanlarını değerlendirmek amacıyla ScarfBench (Self-Contained Application Refactoring Benchmark) adlı açık kaynaklı bir değerlendirme testi tanıtıldı. Spring, Jakarta EE ve Quarkus ekosistemleri arasındaki çapraz çerçeve taşıma görevlerini inceleyen bu test; 34 uygulama, 102 çerçeve uygulaması, 204 taşıma görevi, yaklaşık 151 bin satır kod, yaklaşık 2000 kaynak ve test dosyası ile 1331 uzman yazımı test barındırıyor. Geleneksel testlerin aksine kod üretimini değil, taşınan uygulamaların gerçekten derlenip derlenmediğini, doğru şekilde dağıtılıp dağıtılmadığını ve davranışsal doğrulamayı geçip geçmediğini ölçüyor. Yapılan değerlendirmelerde ajanların aşırı özgüvenli olduğu, derleme başarı oranının dağıtım başarısından, onun da davranışsal başarıdan yüksek olduğu ve yapılandırma katmanının süreçte en çok zorluk çıkaran alan olduğu görüldü.
Neden önemli?
Mevcut yazılım mühendisliği testleri hata giderme ve kod üretimine odaklanırken, çerçeve taşıma süreçleri kod çevirisinden çok daha fazlasını, yani davranış korumayı ve bağımlılık yönetimini gerektirir. Bu test, yapay zeka ajanlarının gerçek dünya kurumsal uygulamalarını ne kadar güvenilir taşıyabildiğini gösteren somut bir karşılaştırma düzeyi sunar.
Bununla neler yapılabilir?
- Olası kullanım: Kurumsal Java uygulamalarını Spring, Jakarta EE ve Quarkus arasında taşımak isteyen ekiplerin, yapay zeka ajanlarının gerçek başarısını üretim ortamına almadan önce test etmesi.
- Olası kullanım: Yapay zeka araştırma gruplarının ajan mimarilerini ve tekniklerini yapılandırma, derleme ve dağıtım başarı ölçütlerine göre kıyaslaması.
Somut sonuçlar ve kanıtlar
- Claude Code, 30 bütün uygulama için başarılı derleme rapor ederken, bu uygulamalardan yalnızca 22 tanesi gerçekten başarılı bir şekilde derlendi. (Üreticinin açıklaması)
Sınırlar ve açık kalan sorular
Çerçeve taşıma zorluğu hedef çerçeveye göre değişmekte olup Jakarta EE özellikle zorlayıcıdır. Docker önbellek tutarsızlıkları, bağlantı sorunları ve Maven sarmalayıcı yapı araçları gibi çevresel sorunlar doğrulamayı geciktirebilmektedir.