Kaybı Olmayan Spekülatif Kodlama ile LLM Çıkarımını Hızlandırma

Büyük dil modellerinin (LLM) çıkarımını hızlandırmak, üretken yapay zeka için kritik bir zorluktur. Spekülatif kodlama (SD) yöntemleri, tek bir hedef ileri geçiş kullanarak birden fazla token üretme imkanı sunarak önemli verimlilik kazançları sağlar. Ancak mevcut SD yaklaşımları, taslak ve hedef modellerin aynı kelime dağarcığını paylaşmasını gerektiriyor, bu da taslak havuzunu sınırlıyor ve genellikle sıfırdan bir taslak eğitimi gerektiriyor. Üç yeni SD yöntemi sunarak bu kelime dağarcığı kısıtlamasını ortadan kaldırıyoruz. Tüm bu yöntemler, hedef dağılımını koruyarak kayıpsızdır ve ek eğitim veya değişiklik gerektirmeden mevcut modellerle çalışır. Deneysel olarak, özetleme, programlama ve uzun bağlam görevlerinde, algoritmalarımız standart otoregresif kodlamaya göre %2,8'e kadar hız artışları göstermektedir.