Yapılan Yeni Bir Araştırma Büyük Dil Modelleri Geliştirme Hızının Akademik Araştırmaları Geride Bıraktığını Gösterdi
Kaynak: the-decoder.com ·
Stanford araştırmacıları Owen Queen ve James Zou, büyük dil modelleri hakkındaki 50 yaygın iddianın 20 model üzerinde test edildiğinde yüzde 44'ünün geçerliliğini yitirdiğini tespit etti. Temmuz 2024 ile Eylül 2026 arasında piyasaya sürülen modelleri inceleyen çalışma, ortalama bulgu ömrünün 15.7 ay olduğunu ortaya koydu. Modellerin yapamadığı şeylerle ilgili iddialar en hızlı şekilde geçerliliğini yitirirken, tercihler ve eğilimler hakkındaki iddialar daha uzun süre kalıcılığını koruyor. Araştırmacılar, ampirik bulguların genel geçer doğrular olarak değil, belirli bir zamandaki spesifik model gözlemleri olarak sunulması gerektiği uyarısında bulunuyor.
Neden önemli?
Bu durum, yapay zeka alanındaki akademik araştırmaların teknolojik gelişim hızı karşısında hızla eskiyebildiğini göstererek geliştiricilerin ve araştırmacıların değerlendirme yöntemlerini yeniden gözden geçirmesini gerektiriyor.
Bununla neler yapılabilir?
- Olası kullanım: Araştırmacılar gelecekteki modeller üzerinde yeniden test yapılabilmesi için model sürümünü, tarihini, komutları ve analiz kodunu belgelendirebilir.
- Olası kullanım: Geliştiriciler akademik iddiaların geçerlilik süresini göz önünde bulundurarak kendi model değerlendirme süreçlerini güncelleyebilir.
Somut sonuçlar ve kanıtlar
- Stanford araştırmacıları 50 yaygın iddiayı test ederek yüzde 44'ünün çoktan geçerliliğini yitirdiğini ve tahmin edilen ömre sahip 22 bulgunun ortalama ömrünün 15.7 ay olduğunu buldu. (Kaynak)
Sınırlar ve açık kalan sorular
Araştırma, Temmuz 2024 ve Eylül 2026 tarihleri arasında sekiz farklı geliştirici tarafından piyasaya sürülen 20 model ve 50 iddiayla sınırlıdır; tüm evrensel dil modellerini veya gelecekteki sürümleri kapsamaz.