Ters Oyun Teorisi ve Mekanizma Tasarımı Yoluyla Yapay Zeka Güvenliği Sağlama Yöntemleri Geliştiriliyor
Kaynak: technologyreview.com ·
Yapay zeka ajanlarının güvenliğini sağlamak amacıyla geliştirilen ters oyun teorisi veya mekanizma tasarımı adı verilen yeni bir yaklaşım, modellerin kurallara uymasını rasyonel bir seçenek haline getirmeyi hedefliyor. Geleneksel yöntemler modellerin iç işleyişini anlamaya veya ahlaki değerler aşılamaya odaklanırken bu yeni yöntem, ajanların test sonuçlarında kasıtlı olarak düşük performans göstermesini veya niyetlerini gizlemesini engellemek için ekonomik teşvik mekanizmaları kuruyor. Araştırmacılar, modellerin birbirlerinin yanıtlarını tahmin etmesini sağlayan çapraz kontrol sistemleri, rekabetçi dinamikler veya insan toplumlarındaki sosyal normlar ile ceza sistemlerinden esinlenen solver ve auditor mekanizmalarının kullanılabileceğini öngörüyor.
Neden önemli?
Mevcut güvenlik teknikleri yapay zeka modellerinin niyetlerini gizlemesini veya testlerde kötü performans sergilemesini engellemekte yetersiz kalırken, bu yaklaşım ajanların davranışlarını ekonomik teşvikler yoluyla denetleyerek daha güvenilir bir karşılaştırma düzeyi sunmayı amaçlıyor ve güvenlik araştırmacılarını doğrudan etkiliyor.
Bununla neler yapılabilir?
- Olası kullanım: Yapay zeka modellerinin testlerde bilerek kötü performans göstermesini engellemek için modellerin yanıtlarının başka bir modelin tahminleriyle çapraz kontrol edilmesi.
- Olası kullanım: Bir ajanın problem çözücü, diğerinin ise denetçi olarak görev yaptığı ve hile durumunda cezalandırıldığı mekanizmaların eğitim süreçlerine entegre edilmesi.
Sınırlar ve açık kalan sorular
Yöntem, yapay zeka ajanlarının rasyonel bir şekilde davranacağı varsayımına dayanıyor ancak ekonomik modellerin insanlarda bile karışık bir geçmişe sahip olması gibi yapay zeka modellerinin de rasyonel tepki verip vermeyeceği belirsizliğini koruyor. Ayrıca teorilerin gerçek modellere nasıl uygulanacağı ve görevler arası taşınabilirliği henüz net değil.