Derin Araştırma Yapan Yapay Zeka Ajanlarının Dış Sorgularda Hassas Kurumsal Bilgileri Sızdırması Önleniyor
Kaynak: huggingface.co ·
Derin araştırma ajanları gizli yerel belgeler ile web aramaları gibi harici araçları birleştirirken harici sorgular yoluyla hassas kurumsal bilgileri sızdırabiliyor. MosaicLeaks, hem kamusal hem de özel bilgileri içeren çok adımlı sorulardan oluşan yeni bir derin araştırma görevi sunuyor. Test edilen modellerde ajanların özel bilgileri sık sık sızdırdığı görülürken, sadece performans odaklı eğitimin sızıntıyı daha da kötüleştirdiği tespit edildi. Gizlilik Duyarlı Derin Araştırma adlı pekiştirmeli öğrenme yöntemi, katı zincir başarısını %48.7'den %58.7'ye çıkarırken yanıt ve tam bilgi sızıntısını %34.0'ten %9.9'a düşürüyor.
Neden önemli?
Özel belgeler ile web aramalarını harmanlayan ajanlar, tek başına masum görünen ancak dışarıdan bir gözlemcinin birleştirerek hassas şirket verilerini elde edebileceği sorgu günlükleri oluşturur. Bu durum kurumsal gizlilik açısından büyük risk taşır. Geliştirilen yeni yöntem, ajanların görev başarısından ödün vermeden güvenli aramalar yapmasını sağlayarak operasyonel güvenliği artırır.
Bununla neler yapılabilir?
- Olası kullanım: Sağlık veya finans sektöründeki gizli şirket içi belgelerle web aramalarını birleştiren kurumsal araştırma ajanlarının dışarıya hassas metrikler ve tarihler sızdırmasını engellemek için eğitilmesi.
- Olası kullanım: Çok adımlı araştırma görevlerinde ajanların planlama adımlarını izleyerek sorgu günlüklerindeki gizli terimleri ve özel tanımlayıcıları ayıklayan bir denetim mekanizması kurulması.
Somut sonuçlar ve kanıtlar
- Gizlilik Duyarlı Derin Araştırma yöntemi katı zincir başarısını %48.7'den %58.7'ye çıkarırken yanıt ve tam bilgi sızıntısını %34.0'ten %9.9'a düşürdü. (Üreticinin açıklaması)
Sınırlar ve açık kalan sorular
MosaicLeaks denetimli bir karşılaştırma düzeyi olup dağıtık sistemlerdeki sızıntıların bir ölçümü değildir. Kurumsal belgeler sentetik, web derlemi sabit, zincirler üç şirket bağlamıyla sınırlıdır ve tüm sonuçlar açık uçlu araştırma yerine çok adımlı soru yanıtlama çalıştıran tek bir ajan çatısından elde edilmiştir.