Patlayıcı Gelen Talepler LLM Çıktı Sürelerini Hızlandırıyor
Patlayıcı yüklerin LLM çıktılarında beklenmedik hız artışı sağladığı keşfedildi.
Patlayıcı yükler, LLM çıktılarında beklenmedik bir hız artışı sağladı. Gelen taleplerin patlayıcı olması, büyük ön yüklemelerden bağımsız olarak token'ların ayrılmasını sağlıyor ve bu da daha az müdahale ile sonuçlanıyor. Ancak, bu durumun çoğunlukla bir çekirdek optimizasyonu artefaktı olduğu ortaya çıktı.
Bu sentez, kaynağından yapay zeka tarafından üretildi; insan editör ya da elle onay adımı yoktur. Nasıl çalışıyoruz