» Etiket
tokenization
5 yayınGigatoken: HuggingFace tokenizer'lardan ~1000x hızlı tokenizasyon
Gigatoken, HuggingFace tokenizers'a kıyasla ~1000x hızlı, Rust tabanlı drop-in tokenizasyon kütüphanesi; GB/s seviyesinde işleme sunuyor.
Gigatoken: Rust BPE Tokenizer 24.53 GB/s'e Ulaştı, 989 Kat Hızlandı
Rust tabanlı Gigatoken, regex yerine SWAR ve dual-cursor teknikleriyle BPE tokenizasyonda 24.53 GB/s hıza ulaşarak HuggingFace tokenizers'ı geride bırakıyor.
Yapay Zeka Neden İngilizce Dışında Daha Kötü Çalışıyor?
Büyük dil modellerinin İngilizce dışında neden daha kötü çalıştığını; eğitim verisi, tokenizer verimliliği ve maliyet açısından inceliyoruz.
CommitBrief — terminalde yapay zekâ destekli kod incelemesi
Staged değişiklikleri, bir commit aralığını ya da bütün bir GitHub pull request'ini yerelde inceleyen sağlayıcı bağımsız CLI. Sıfır telemetri, sunucu yok. Açık kaynak, GPL-3.0.
commitbrief.comTuro: CLI AI Ajanları için Agresif Token Tasarrufu Proxy'si
Turo, CLI tabanlı AI ajanlarının prompt token kullanımını dolgu kelimeleri silerek %70'e kadar azaltan açık kaynaklı proxy aracı.
Temsili mühendislik ile token kullanımını azaltma
Caveman paketi ile token kullanımını azaltma ve aktivasyon yönlendirmesinin etkisi üzerine yeni bulgular.