DharmaOCR Modeli Özel Eğitim ve Doğrudan Tercih Optimizasyonu ile OCR Karşılaştırma Testlerinde Başarı Sağladı
Kaynak: huggingface.co ·
Brezilya Portekizcesi metin tanıma alanında uzmanlaştırılan küçük dil modeli DharmaOCR, daha yeni ve daha büyük kaynaklara sahip genel amaçlı modellere karşı yapılan değerlendirmelerde daha yüksek puan elde etti. Üreticiye göre, modelin eğitim sürecinde iki aşama kullanıldı: alan odaklı denetimli ince ayar ve tekrarlayan döngüleri azaltan Doğrudan Tercih Optimizasyonu. Yapılan değerlendirmelerde model, Brezilya lise bitirme sınavı makalelerinden oluşan özel test setinde Mistral OCR4 ve Unlimited-OCR modellerini geride bıraktı. Ayrıca metin dejenerasyonu adı verilen üretim hatasının sistem kuyruğundaki GPU maliyetini artırdığı gösterildi.
Neden önemli?
Genel amaçlı çok dilli modeller belirli bir dilde veya karmaşık belgelerde özel isimleri yanlış okuyabilir ve sonsuz tekrara girerek sistem kaynaklarını tüketebilir. Bu çalışma, kaynakları tek bir alana odaklamanın ve tercih optimizasyonu uygulamanın üretim ortamındaki kararsızlıkları azaltarak daha güvenilir ve maliyetsiz sonuçlar verdiğini göstermektedir.
Bununla neler yapılabilir?
- Olası kullanım: El yazısı ve özel kültürel referanslar barındıran Brezilya Portekizcesi sınav kâğıtlarının ve eski belgelerin optik karakter tanıma işlemlerinde kullanılması.
- Olası kullanım: Belge sınıflandırma ve bilgi çıkarma iş akışlarında küçük dilli modellerin üretim maliyetlerini düşürmek için metin dejenerasyon oranlarının izlenmesi.
Somut sonuçlar ve kanıtlar
- Brezilya Portekizcesi odaklı değerlendirme testinde DharmaOCR 0.925 puan alırken, Mistral OCR4 0.798 ve Unlimited-OCR 0.7587 puan elde etti. (Üreticinin açıklaması)
- Beş model ailesinde Doğrudan Tercih Optimizasyonu, ince ayara kıyasla dejenerasyon oranını yüzde 37 ile yüzde 87 arasında azalttı. (Üreticinin açıklaması)
Sınırlar ve açık kalan sorular
Çalışma yalnızca Brezilya Portekizcesi diline ve optik karakter tanıma senaryolarına odaklanmaktadır. Elde edilen sonuçlar diğer dillere veya genel metin üretimi görevlerine doğrudan genelleştirilemez. Ayrıca eğitim maliyetleri ve veri seti gereksinimleri her kurum için erişilebilir olmayabilir.