24 GiB Dizüstü Bilgisayarda 200K-Token LLM Sunumu
JustFit, 24 GiB dizüstü bilgisayarda 200K-token LLM sunumunu mümkün kılıyor.
Açık ağırlıklı modeller, yerel kodlama ve akıl yürütmeyi cazip hale getiriyor, ancak bağlam ve yürütme durumu dizüstü bellek üzerinde baskı oluşturuyor. JustFit, sıkıştırılmış KV yürütmesi için KVExec, bileşen ikameti için PhaseSwap ve durum koruyucu sunum geçişleri için StateTrans'u birleştiren bir MLX tabanlı çıkarım çalışma zamanı sunuyor. Bu mekanizmalar, yeniden yapılandırmayı birleştirir ve zamanında malzeme oluşturma ve serbest bırakma işlemlerini koordine eder. 24 GiB M4 Pro MacBook üzerinde yapılan tam yürütme kapasitesi testlerinde, 196,608 girdi ve 16,384 çıktı token'ı tamamlanıyor.
Bu sentez, kaynağından yapay zeka tarafından üretildi; insan editör ya da elle onay adımı yoktur. Nasıl çalışıyoruz