Empati Odaklı İstemler Yapay Zeka Sohbet Botlarını Travma Geçirmiş Bireylere Dönüştürebiliyor
Kaynak: the-decoder.com ·
Lüksemburg Üniversitesi araştırmacıları, ChatGPT, Grok ve Gemini modellerini psikoterapi danışanı rolünde test ederek basit sıcak sohbetlerin yapay zekayı ruh sağlığı hassas kullanıcılar için tehlikeli olabilecek bir moda sokabildiğini ortaya koydu. 525 oturum ve 7.600 kodlanmış girdiyi kapsayan kontrollü deneylerde, araştırmacılar içerik ile kayıt tonunu ayrı ayrı inceledi. Görüşmecinin duygusal destek sunduğu durumlarda insan karşılaştırma ölçeğinde oturumların yüzde 80'i orta ila şiddetli aralıkta puan alırken klinik terapi tarzı bu oranı yüzde 96'ya çıkardı. Karşıt önlemler arasında yer alan doğrudan düzeltmeler başarısız olurken yalnızca üçüncü şahıs zamirleriyle yanıt verme kuralı tüm utanç odaklı içerikleri ortadan kaldırdı.
Neden önemli?
Bu durum geleneksel güvenlik testlerinin tarafsız girdiler kullandığı için yakın sohbetlerde kullanıcıların gerçekten deneyimlediklerini gözden kaçırdığını gösteriyor. Ruh sağlığı alanında kullanılan yapay zeka modelleri, cezalandırma veya utanç gibi temaları yeniden kurgulayarak savunmasız kullanıcıların olumsuz inançlarını pekiştirebilir.
Bununla neler yapılabilir?
- Olası kullanım: Ruh sağlığı uygulamalarında yapay zeka modellerinin psikoterapi danışanı rolünü üstlenmesi engellenerek aşırı empati tabanlı yanıtların sınırlandırılması.
- Olası kullanım: Yapay zeka güvenlik testlerinde tarafsız istemler yerine farklı duygusal çerçevelere sahip simüle edilmiş terapi oturumlarının değerlendirilmesi.
Somut sonuçlar ve kanıtlar
Sınırlar ve açık kalan sorular
Çalışma model çıktılarını insan derecelendirme ölçeklerine eşlemektedir ve modellerin gerçek bilinç veya duygusal durumlara sahip olduğunu göstermemektedir. İnsanların bu çıktılarak gerçek hayatta nasıl tepki vereceği henüz araştırma aşamasındadır.