25 Tür İçin 165 Dolar Maliyetle Geliştirilen Açık Kaynaklı mRNA Dil Modeli Boru Hattı
Kaynak: huggingface.co ·
Açık kaynaklı yapay zeka ekibi OpenMed, yapı tahmininden kodon optimizasyonuna kadar uzanan uçtan uca bir protein yapay zeka boru hattı geliştirdi. Araştırmacılar, 250.000 kodlama dizisi üzerinde farklı dönüştürücü mimarilerini karşılaştırarak CodonRoBERTa-large-v2 modelini en iyi performans gösteren mimari olarak belirlediler. Ardından bu çalışmayı 25 türe ölçekleyerek 55 grafik işlemci saatinde 4 üretim modeli eğittiler ve tür koşullandırmalı ortak bir temel sistem kurdular. Bütün modeller ve eğitim kodları Apache 2.0 lisansıyla yayımlandı.
Neden önemli?
Bu çalışma, biyolojik dil modellerinde doğal dil işleme ağırlıklarının doğrudan aktarılamayacağını göstererek alan odaklı hiperparametre ayarının önemini kanıtlıyor. Geliştirilen tür koşullandırmalı sistem ve transfer öğrenme yaklaşımı, veri kısıtlı organizmalarda bile etkili kodon optimizasyonu yapılmasını sağlayarak mRNA aşıları, gen terapisi ve rekombinant protein üretim süreçlerini hızlandırıyor.
Bununla neler yapılabilir?
- Olası kullanım: Doğru 3D yapıyı elde etmek amacıyla ESMFold kullanarak terapötik bir enzimin başlangıç dizisinin yapı tahmini yapılabilir.
- Olası kullanım: ProteinMPNN kullanılarak hedef yapı için aktif bölge sabit tutulup iskelet tasarımı gerçekleştirilebilir ve yapı kararlılığını artıracak aday diziler üretilebilir.
- Olası kullanım: CodonRoBERTa-large-v2 veya türe özel uzman modeller kullanılarak tasarlanan amino asit dizileri hedeflenen canlıda en yüksek verimle ifade olmasını sağlayacak DNA kodonlarına optimize edilebilir.
Somut sonuçlar ve kanıtlar
- CodonRoBERTa-large-v2 modeli 4.10 karmaşıklık değeri ve 0.40 Spearman Codon Adaptasyon İndeksi korelasyonu elde ederek ModernBERT mimarisini geride bıraktı. (Üreticinin açıklaması)
- 25 türü kapsayan 4 üretim modeli 4 adet A100 grafik işlemcisi üzerinde toplam 55 grafik işlemci saatinde eğitildi. (Üreticinin açıklaması)
Sınırlar ve açık kalan sorular
Çalışmada kullanılan çok türcü modelin test karmaşıklığı 24.9 olarak ölçülmüştür ve CHO uzman modelinde yetersiz eğitim adımları nedeniyle hafif bir performans düşüşü gözlenmiştir. Ayrıca CodonJEPA araştırmasında henüz boyutsal çökme problemi tamamen çözülememiştir.