Açık Tıbbi Dil Modeli Karşılaştırma Düzeyi ile Sağlık Alanındaki Büyük Dil Modellerinin Değerlendirilmesi
Kaynak: huggingface.co ·
Sağlık sektöründe büyük dil modellerinin kullanımını standartlaştırmak amacıyla Açık Tıbbi Dil Modeli Karşılaştırma Düzeyi tanıtıldı. Bu platform; MedQA, MedMCQA, PubMedQA ve MMLU alt kümeleri gibi çeşitli tıbbi veri setleri ve görevler üzerinden modellerin performansını değerlendirmektedir. Karşılaştırma düzeyi, ticari ve açık kaynaklı modellerin tıbbi bilgi ve akıl yürütme yeteneklerini karşılaştırmak için standart bir ortam sunmaktadır. Yapılan analizler, ticari modellerin yanı sıra 7 milyar parametreli açık kaynaklı modellerin de belirli veri setlerinde rekabetçi performans gösterdiğini ortaya koymaktadır.
Neden önemli?
Sağlık alanında hatalı bilgiler hayati sonuçlar doğurabileceğinden, modellerin güvenilirliğinin standart testlerle ölçülmesi kritik önem taşır. Bu platform, araştırmacılara ve pratisyenlere modellerin güçlü ve zayıf yönlerini belirleme imkanı tanır.
Bununla neler yapılabilir?
- Olası kullanım: Araştırmacıların yeni geliştirdikleri büyük dil modellerini MedQA ve PubMedQA gibi tıbbi veri setleri üzerinde test etmesi.
- Olası kullanım: Sağlık uzmanlarının farklı açık kaynaklı ve ticari modellerin klinik bilgi ve akıl yürütme becerilerini karşılaştırması.
Somut sonuçlar ve kanıtlar
- MedQA veri seti, Amerika Birleşik Devletleri Tıbbi Lisans Sınavından çoktan seçmeli sorular içerir ve geliştirme setinde 11.450, test setinde 1.273 soru barındırır. (Üreticinin açıklaması)
- MedMCQA veri seti, 2.4 bin sağlık konusunu ve 21 tıbbi konuyu kapsayan, geliştirme setinde 187 binden fazla, test setinde 6.100 soru içeren bir veri setidir. (Üreticinin açıklaması)
Sınırlar ve açık kalan sorular
Platform şu anda use_remote_code=True gerektiren modelleri desteklememektedir. Ayrıca modellerin ağırlıklarının Safetensors formatına dönüştürülmesi ve Transformers kütüphanesindeki AutoClasses ile uyumlu olması gerekmektedir.