» Etiket

tokenization

2 yayın

«22 Tem 2026»

22 Tem 20268.80
Gigatoken: HuggingFace tokenizer'lardan ~1000x hızlı tokenizasyon
Gigatoken, HuggingFace tokenizers'a kıyasla ~1000x hızlı, Rust tabanlı drop-in tokenizasyon kütüphanesi; GB/s seviyesinde işleme sunuyor.
llm machine-learning nlp performance
22 Tem 20267.30
Temsili mühendislik ile token kullanımını azaltma
Caveman paketi ile token kullanımını azaltma ve aktivasyon yönlendirmesinin etkisi üzerine yeni bulgular.
machine-learning natural language processing tokenization
Reklam
CommitBrief — terminalde yapay zekâ destekli kod incelemesi
Staged değişiklikleri, bir commit aralığını ya da bütün bir GitHub pull request'ini yerelde inceleyen sağlayıcı bağımsız CLI. Sıfır telemetri, sunucu yok. Açık kaynak, GPL-3.0.
commitbrief.com