» Etiket
tokenization
9 yayınGigatoken: HuggingFace tokenizer'lardan ~1000x hızlı tokenizasyon
Gigatoken, HuggingFace tokenizers'a kıyasla ~1000x hızlı, Rust tabanlı drop-in tokenizasyon kütüphanesi; GB/s seviyesinde işleme sunuyor.
Farklı tokenizer'lı öğretmenden distilasyon: bilginin %85'i haritalamada kayboluyor
Farklı tokenizer'lı model damıtmasında top-K logit projeksiyonu bilginin %85'ini yok edebilir; zincir kuralı tabanlı düzeltme korunumu %86'ya çıkarıyor.
AI Model Fiyatlarındaki Gizli Maliyet: Tokenizer Farkı Faturayı Nasıl Şişiriyor
AI model fiyat kartları $/token gösterir ama tokenizer farkları TypeScript'te faturayı %73'e kadar şişirebilir. Gerçek maliyet analizi.
CommitBrief — terminalde yapay zekâ destekli kod incelemesi
Staged değişiklikleri, bir commit aralığını ya da bütün bir GitHub pull request'ini yerelde inceleyen sağlayıcı bağımsız CLI. Sıfır telemetri, sunucu yok. Açık kaynak, GPL-3.0.
commitbrief.comGigatoken: Rust BPE Tokenizer 24.53 GB/s'e Ulaştı, 989 Kat Hızlandı
Rust tabanlı Gigatoken, regex yerine SWAR ve dual-cursor teknikleriyle BPE tokenizasyonda 24.53 GB/s hıza ulaşarak HuggingFace tokenizers'ı geride bırakıyor.
Unigram: Baytları Tam Olarak 1 LLM Token'ı Tutan Kelimelere Kodlayan Rust Kütüphanesi
Unigram, baytları tam 1 LLM token'lık kelimelere kodlayan Rust kütüphanesi; hex ve base64'e göre sabit, öngörülebilir token maliyeti sunuyor.
Yapay Zeka Neden İngilizce Dışında Daha Kötü Çalışıyor?
Büyük dil modellerinin İngilizce dışında neden daha kötü çalıştığını; eğitim verisi, tokenizer verimliliği ve maliyet açısından inceliyoruz.
Turo: CLI AI Ajanları için Agresif Token Tasarrufu Proxy'si
Turo, CLI tabanlı AI ajanlarının prompt token kullanımını dolgu kelimeleri silerek %70'e kadar azaltan açık kaynaklı proxy aracı.
Temsili mühendislik ile token kullanımını azaltma
Caveman paketi ile token kullanımını azaltma ve aktivasyon yönlendirmesinin etkisi üzerine yeni bulgular.
TokenRouter: Token Seviyesi LLM Yönlendirme Motoru
TokenRouter, token seviyesinde LLM yönlendirmesi için bir motor sunuyor. Modellerin işbirliği yapmasını sağlıyor.