» Etiket
nlp
2 yayınGigatoken: Rust BPE Tokenizer 24.53 GB/s'e Ulaştı, 989 Kat Hızlandı
Rust tabanlı Gigatoken, regex yerine SWAR ve dual-cursor teknikleriyle BPE tokenizasyonda 24.53 GB/s hıza ulaşarak HuggingFace tokenizers'ı geride bırakıyor.
Bir encoder, yedi baş: maskeleme kayıpları ile bir güvenlik sınıflayıcı eğitimi
Yedi ayrı sıralama sınıflayıcısını birleştirerek çok başlı bir model geliştirdik. Eğitim sürecinde öğrendiklerimizi paylaşıyoruz.
CommitBrief — terminalde yapay zekâ destekli kod incelemesi
Staged değişiklikleri, bir commit aralığını ya da bütün bir GitHub pull request'ini yerelde inceleyen sağlayıcı bağımsız CLI. Sıfır telemetri, sunucu yok. Açık kaynak, GPL-3.0.
commitbrief.com