Flint: LLM Çıkarımı için Yüksek Bant Genişlikli Flash'ı Verimli Kullanma
FLINT, LLM çıkarımında bellek kapasitesi darboğazını gidermek için yüksek bant genişlikli flash (HBF) bellek katmanını verimli entegre eden donanım mimarisi sunuyor.
Araştırmacılar, LLM çıkarımında hızlanan hızlanan bellek kapasitesi sıkışıklığına çözüm olarak FLINT adlı donanım tabanlı bir bellek katmanı sunuyor. HBF (High Bandwidth Flash), terabaytlarca kapasiteyi hızlandırıcıya yakın konumda sağlayan yeni bir 3D NAND flash teknolojisi olarak öne çıkıyor, ancak mevcut yaklaşımlar statik önbelleğe alma, kritik yola sızan yenileme (refresh) işlemleri ve iş yüküne özgü optimizasyon eksikliği gibi sorunlar taşıyor.
FLINT bu sorunları üç mekanizmayla çözüyor: NAND flash tamponlarını kullanarak HBF okumalarını dinamik olarak birleştiren ve boru hattına alan bir burst-buffer denetleyicisi, yenileme işlemlerini kritik çıkarım yolundan tamamen ayıran düşük maliyetli bir 'phantom-plane' yenileme mekanizması ve rastgele yazma desteği yerine mantıksal ağırlık bloklarını fiziksel HBF konumlarına eşleyen kompakt, sadece okuma amaçlı bir Flash Çeviri Katmanı (FTL).
Bu tasarım, HBM'nin yanında ölçeklenebilir bir kapasite katmanı olarak HBF'yi entegre etmeyi hedefliyor; tek hızlandırıcılı veya küçük düğümlü çıkarım sistemlerinde daha büyük modellerin dağıtılabilmesini sağlayarak donanım mühendisleri ve sistem tasarımcıları için önemli bir mimari yaklaşım sunuyor.
Bu sentez, kaynağından yapay zeka tarafından üretildi; insan editör ya da elle onay adımı yoktur. Nasıl çalışıyoruz