Bir encoder, yedi baş: maskeleme kayıpları ile bir güvenlik sınıflayıcı eğitimi
Yedi ayrı sıralama sınıflayıcısını birleştirerek çok başlı bir model geliştirdik. Eğitim sürecinde öğrendiklerimizi paylaşıyoruz.
Son aylarda yedi ayrı sıralama sınıflayıcısını tek bir çok başlı modele birleştirdik. Bu model, paylaşılan bir mmBERT-small encoder ile yedi görev başlığı içeriyor. Eğitim verilerimiz yalnızca bazı görevler için etiket taşıdığı için, eksik görevler kayıptan tamamen maskelemekte. Bu süreçte, eksik görev gradyanlarının sıfır olduğunu doğrulayan bir kendi kendine test yazdık. Sonuçlar, birleşik modelin yedi ayrı modelden daha verimli bir şekilde çalıştığını gösteriyor, ancak bazı görevlerde performans kaybı yaşandı.