Yerel Modellerle Açık Kaynak Kod Deposu Talepleri Sınıflandırılıyor
Kaynak: huggingface.co ·
Bu çalışmada, açık kaynak kod deposu bildirimleri ve çekme isteklerini (PR) sıfır maliyetle ve yerel olarak sınıflandırmak için Gemma ve Qwen gibi orta ölçekli açık ağırlıklı modellerin ajan çerçevesi içinde kullanılması incelenmiştir. Sınıflandırma süreci, güvenliği artırmak için salt okunur kısıtlı bir kabuk üzerinden yürütülmüş ve 330 GitHub girdisinden oluşan bir değerlendirme seti üzerinde test edilmiştir. Yapılan testlerde gemma-4-26b-a4b modeli daha yüksek geri çağırma sağlarken, qwen3.6-35b-a3b modeli daha yüksek kesinlik ve tam eşleşme oranları sunmuştur. Araştırma, bu yaklaşımın bütçe dostu ve gerçek zamanlı bir alternatif sunduğunu göstermektedir.
Neden önemli?
Kapalı kaynak modellerin maliyeti ve erişilebilirlik kısıtlamaları göz önüne alındığında, yerel modellerin kendi donanımında çalıştırılması yapay zeka altyapısının mülkiyetini korumak isteyen geliştiriciler ve kurumlar için önem taşır. Bu yöntem, bulut tabanlı API kotalarını tüketmeden gerçek zamanlı bildirimler ve sınıflandırma yapılmasına imkan tanır.
Bununla neler yapılabilir?
- Olası kullanım: Açık kaynak kod deposuna gelen yeni sorun ve çekme isteklerinin otomatik olarak etiketlenip ilgili kişilere yönlendirilmesi.
- Olası kullanım: Müşteri destek biletlerinin veya içerik moderasyon itirazlarının yerel modeller kullanılarak gerçek zamanlı ve maliyetsiz sınıflandırılması.
Somut sonuçlar ve kanıtlar
- Gemma ve Qwen modelleri 330 satırlık değerlendirme setinde test edilmiş, Qwen 0.831 kesinlik ve 0.540 tam eşleşme sağlarken Gemma 0.905 geri çağırma oranına ulaşmıştır. (Üreticinin açıklaması)
Sınırlar ve açık kalan sorular
Sistem performansı kullanılan donanıma, model optimizasyonlarına ve seçilen parametrelere bağlıdır. İlk yerel model sürümlerinde yanlış pozitif etiketleme gürültü yaratabilmektedir ve sonuçlar kullanılan 330 satırlık belirli bir değerlendirme setine dayanmaktadır.