Patlayıcı Gelen Talepler LLM Çıktı Sürelerini Hızlandırıyor
Patlayıcı yüklerin LLM çıktılarında beklenmedik hız artışı sağladığı keşfedildi.
Patlayıcı yükler, LLM çıktılarında beklenmedik bir hız artışı sağladı. Gelen taleplerin patlayıcı olması, büyük ön yüklemelerden bağımsız olarak token'ların ayrılmasını sağlıyor ve bu da daha az müdahale ile sonuçlanıyor. Ancak, bu durumun çoğunlukla bir çekirdek optimizasyonu artefaktı olduğu ortaya çıktı.