» Etiket
bpe
1 yayınGigatoken: Rust BPE Tokenizer 24.53 GB/s'e Ulaştı, 989 Kat Hızlandı
Rust tabanlı Gigatoken, regex yerine SWAR ve dual-cursor teknikleriyle BPE tokenizasyonda 24.53 GB/s hıza ulaşarak HuggingFace tokenizers'ı geride bırakıyor.
CommitBrief — terminalde yapay zekâ destekli kod incelemesi
Staged değişiklikleri, bir commit aralığını ya da bütün bir GitHub pull request'ini yerelde inceleyen sağlayıcı bağımsız CLI. Sıfır telemetri, sunucu yok. Açık kaynak, GPL-3.0.
commitbrief.com