Qwen3.5'in Mamba-Transformer Mimarisi Rust ile Sıfırdan Uygulandı
Qwen3.5 için Rust ile sıfırdan geliştirilen ferrite çıkarım motorunun mimarisi ve hata ayıklama süreci hakkında bilgiler.
Ferrite, Qwen3.5-0.8B için Rust ile sıfırdan geliştirilen bir çıkarım motorudur. Bu süreçte dikkat katmanlarının yapısı ve hata ayıklama süreci hakkında önemli bilgiler paylaşıldı. Mimaride, Gated DeltaNet ve standart GQA transformer dikkat mekanizmalarının kombinasyonu kullanıldı. Bu yazıda, karşılaşılan zorluklar ve çözüm yolları detaylandırıldı.