ICML 2026 Konferansında 2.200'den Fazla Yapay Zeka Makalesi Kod Ajanlarıyla Yeniden Üretildi
Kaynak: huggingface.co ·
19 günlük bir hackathon sürecinde 1.200'den fazla katılımcı, kod ajanlarını kullanarak ICML 2026 konferansında kabul edilen makalelerin yaklaşık üçte biri olan 2.226 makaleyi iddia iddia yeniden üretti. Süreç sonucunda 6.816 kayıt defteri yayımlandı ve otomatik bir hakim model tarafından 35.900'den fazla iddia değerlendirildi. İnceleme sonucunda incelenen makalelerin yüzde 51'inde en az bir iddia bağımsız olarak doğrulanırken, yüzde 23'ünde ise en az bir iddia çürütüldü veya tartışmalı bulundu. Bu çalışma, yapay zeka ajanlarının ölçeklenebilir bilimsel denetim süreçlerinde nasıl kullanılabileceğini ve insan araştırmacıların rolünü nasıl değiştirebileceğini ortaya koydu.
Neden önemli?
Akademik konferanslara sunulan makale sayısı katlanarak artarken hakemlerin inceleme kapasitesi aynı oranda büyümemektedir. Kod ajanları ve paylaşımlı altyapılar sayesinde binlerce makalenin paralel olarak denetlenmesi, bilimsel araştırmaların güvenilirliğini artırmakta ve topluluğun sonuçları toplu olarak doğrulamasına olanak tanımaktadır.
Bununla neler yapılabilir?
- Olası kullanım: Araştırmacılar, karmaşık makale iddialarını test etmek ve kanıtlamak için kod ajanlarını paralel olarak çalıştırabilir.
- Olası kullanım: Akademik konferans komiteleri, sunulan yüzlerce makalenin veri ve kod doğruluğunu ölçeklenebilir ajan altyapılarıyla denetleyebilir.
Somut sonuçlar ve kanıtlar
- 19 günde 1.221 katılımcı, 2.226 ICML 2026 makalesini (konferansın yaklaşık üçte biri) yeniden üreterek toplam 6.816 kayıt defteri yayınladı. (Üreticinin açıklaması)
- İncelenen makalelerin yüzde 51'inde (1.103 makale) en az bir iddia bağımsız olarak doğrulanırken, 266 makale her bir çıkarılan iddiayla tam olarak yeniden üretildi. (Üreticinin açıklaması)
- İncelenen makalelerin yüzde 23'ünde (496 makale) en az bir iddia çürütüldü veya tartışmalı bulundu. (Üreticinin açıklaması)
Sınırlar ve açık kalan sorular
Tam yeniden üretimin imkansız olduğu durumlarda (örneğin tescilli veri setleri veya yayınlanmamış kontrol noktaları nedeniyle) katılımcılar orijinal mülkleri taklit eden sentetik veriler üzerinde oyuncak ölçekte yeniden üretimler gerçekleştirdi. Saf ajan yürütümü yerel döngülere sıkışma, ölçeğe bağlı davranışları yanlış okuma veya birim uyumsuzluklarına dayalı hatalı çürütmeler yapma gibi sınırlarla karşılaştı.