Colibri: 744B parametreli GLM-5.2'yi 25GB RAM ile çalıştırma

Colibri, tek dosyalık ve bağımlılığı olmayan bir C çıkarım motoru olarak GLM-5.2'nin 744B parametreli Mixture-of-Experts modelini GPU kullanmadan, yalnızca 25 GB RAM'e sahip tüketici sınıfı bir makinede çalıştırabiliyor. Yaklaşık 9.9 GB'lık yoğun (dense) katmanlar sürekli bellekte tutulurken, 21.504 uzman katmanı (~370 GB) NVMe'de tutulup yalnızca router tarafından seçildiklerinde diskten akıtılıyor.

Proje; MLA dikkat mekanizmasıyla KV-cache'i 57 kat küçültme, DeepSeek Sparse Attention ile hesaplama karmaşıklığını düşürme, int8 MTP başlığıyla spekülatif kod çözme ve kullanım sıklığına göre sıcak uzmanları otomatik olarak RAM'e sabitleyen bir öğrenen önbellek gibi ileri seviye teknikleri birleştiriyor. Sonuç, geliştirme makinesinde 0.05-0.1 token/s gibi mütevazı ama disk ve çekirdek sayısı arttıkça ölçeklenen bir hız sunuyor.

Bu yaklaşım, dev boyutlu açık ağırlıklı modellerin donanım maliyeti engelini aşmak isteyen mühendisler için önemli: yüksek uçlu GPU kümeleri yerine standart NVMe depolama ve orta seviye RAM ile 700B+ parametreli modellere erişim mümkün hale geliyor.