» Etiket
llm-training
2 yayınFarklı tokenizer'lı öğretmenden distilasyon: bilginin %85'i haritalamada kayboluyor
Farklı tokenizer'lı model damıtmasında top-K logit projeksiyonu bilginin %85'ini yok edebilir; zincir kuralı tabanlı düzeltme korunumu %86'ya çıkarıyor.
Flash-MSA: Seyrek Dikkatle Milyon Token Eğitimini Hızlandırma
Flash-MSA, Hopper/Blackwell GPU'larda MiniMax Sparse Attention için açık kaynak CuTeDSL eğitim çekirdekleri sunuyor; geri yayılım doğrusal zamanda çalışıyor.
CommitBrief — terminalde yapay zekâ destekli kod incelemesi
Staged değişiklikleri, bir commit aralığını ya da bütün bir GitHub pull request'ini yerelde inceleyen sağlayıcı bağımsız CLI. Sıfır telemetri, sunucu yok. Açık kaynak, GPL-3.0.
commitbrief.com