Keras ve TPU Kullanarak Yapay Zeka Modellerinin Hata Düzeltme Yeteneklerini Test Etme
Kaynak: huggingface.co ·
Bu çalışmada, 10 milyardan az parametreye sahip çeşitli yapay zeka modellerinin basit bir takvim API senaryosunda hatalarını doğal dille gelen geri bildirimlerle ne kadar iyi düzeltebildiği incelenmiştir. Deney için TPU'lar üzerinde JAX ve Keras altyapısıyla birden fazla modeli aynı anda belleğe yükleyebilen bir sohbet robotu arenası kurulmuştur. Yapılan testlerde modellerin ilk soruları yanıtlama güvenilirliği ve kullanıcı yönlendirmeleriyle hatalarını düzeltme başarıları karşılaştırılmıştır. Sonuçlar, büyük modellerin her zaman en iyi sonucu vermediğini, bazı modellerin ise doğru API çağrısı yapsa bile fazladan açıklama metinleri ekleme gibi tekrarlayan hatalar yaptığını göstermiştir.
Neden önemli?
Yapay zeka modellerinin kullanıcıların düzeltme isteklerini anlayıp koda yansıtabilmesi, güvenilir birer asistan olmaları açısından kritik önem taşır. Bu çalışma, küçük ve orta ölçekli açık kaynaklı modellerin metin tabanlı komutlarla hatalarını düzeltme kapasitesini test ederek geliştiricilere hangi modellerin bu tür görevler için daha uygun olduğu konusunda rehberlik eder.
Bununla neler yapılabilir?
- Olası kullanım: Kullanıcıların takvim etkinliklerini metin komutlarıyla eklemesini veya iptal etmesini sağlayan sesli asistan arayüzleri geliştirmek.
- Olası kullanım: Yapay zeka modelinin ürettiği kodlardaki tarih ve saat formatı hatalarını düzeltmek için interaktif bir geri bildirim döngüsü kurmak.
Somut sonuçlar ve kanıtlar
- Gemma 2 9B ve Llama 3.1 8B modelleri ilk soru testlerinde 5 denemenin hepsinde başarılı sonuç vermiştir. (Üreticinin açıklaması)
- Bir TPU v5e 2x4 yapılandırması, 8 çekirdeğe ve çekirdek başına 16GB RAM'e sahip olup toplam 128GB bellek sunmaktadır. (Üreticinin açıklaması)
Sınırlar ve açık kalan sorular
Deney yalnızca 30 dakikalık varsayılan süreye sahip iki basit API (takvim ekleme ve silme) içeren yapay ve basit bir senaryo üzerinde gerçekleştirilmiştir. Küçük modeller bu senaryoda bile zorlanmış, bazı modeller ise doğru API çağrısının yanında gereksiz sohbet metinleri üretmiştir.