GPT-6 Astra, Ağırlık Alanı Programlama ile Diğer Yapay Zeka Modellerini Doğrudan Düzenliyor
Kaynak: the-decoder.com ·
MIT araştırmacıları, GPT-6 Astra modelinin geleneksel eğitime gerek duyulmaksızın diğer yapay zeka modellerinin iç ayarlarını doğrudan analiz edip değiştirebildiğini gösterdi. Ağırlık Alanı Programlama adı verilen bu yaklaşımla büyük dil modelleri; ham sayıları inceleyerek oyunları tanımlayabiliyor, sıfırdan oyun ağları yazabiliyor ve mevcut modellerin ağırlıklarını hedefli şekilde güncelleyebiliyor. Qwen modelinde yapılan testte, ağırlıkların yalnızca yüzde 0,016'sı değiştirilerek matematik ve yönerge takip başarılarında artış sağlandı. Araştırmacılar, bu yöntemin güvenlik denetimleri ve maliyetli yeniden eğitim süreçleri olmadan hedefli davranış değişiklikleri için potansiyel barındırdığını belirtiyor.
Neden önemli?
Bu araştırma, yapay zeka modellerini eğitmek için harcanan zamanı ve maliyeti azaltabilecek yeni bir paradigma sunuyor. Model mekaniği gibi doğrudan ağırlıklar üzerinde çalışmak, gelecekte güvenlik denetimlerinin ve performans iyileştirmelerinin daha hızlı yapılmasını sağlayabilir.
Bununla neler yapılabilir?
- Olası kullanım: Yapay zeka modellerinin iç ağırlıkları doğrudan incelenerek hangi oyunlar veya görsel görevler için eğitildikleri veri setlerine ihtiyaç duyulmadan tespit edilebilir.
- Olası kullanım: Kodlama ortamları ve test iterasyonları kullanılarak bir modelin matematik becerileri, tüm ağı yeniden eğitmeden sadece belirli ağırlıklar değiştirilerek artırılabilir.
Somut sonuçlar ve kanıtlar
- Qwen modelinde ağırlıkların yüzde 0,016'sı değiştirilerek MATH-500 karşılaştırma düzeyi doğruluğu 7,9'dan 48,1 yüzdesine çıkarıldı. (Kaynak)
Sınırlar ve açık kalan sorular
Yöntemin yetenekleri hâlâ sınırlıdır ve temelden eksik olan yetenekler sadece bireysel ağırlıkların yeniden yazılmasıyla eklenememektedir. Her modelde aynı ölçüde başarılı sonuçlar alınamamıştır.