Birleşik Bellek: Mini PC'ler Dev GPU'ların Yapamadığını Nasıl Yapar
AMD Strix Halo gibi birleşik bellekli mini PC'ler, 70B parametreli modelleri RTX 5090'ın bile sığdıramadığı şekilde çalıştırabiliyor. Kapasite ve bant genişliği dengesini inceliyoruz.
Aynı fiyat aralığındaki iki makine çarpıcı bir çelişki ortaya koyuyor: 32GB VRAM'li bir RTX 5090, 4-bit kuantize edilmiş 70 milyar parametreli bir modeli belleğe sığdıramazken, 128GB birleşik belleğe sahip küçük bir mini PC bu modeli sorunsuz yükleyip yavaş da olsa çalıştırabiliyor. Bunun nedeni, CPU, entegre GPU ve NPU'nun tek bir LPDDR5X bellek havuzunu paylaştığı 'birleşik bellek' mimarisi; ayrı bir VRAM sınırı olmadığı için neredeyse tüm bellek modele ayrılabiliyor.
Ancak bu kapasite avantajının bir bedeli var: bant genişliği. Roofline modeline göre metin üretimi (decode) büyük ölçüde bellek bant genişliğiyle sınırlıdır, çünkü her token için modelin neredeyse tamamının bellekten okunması gerekir. Strix Halo gibi ~256 GB/s bant genişliğine sahip cihazlar, 900-1800 GB/s'lik GDDR7 belleğe sahip GPU'lara kıyasla token üretiminde belirgin şekilde geride kalıyor. Buna karşılık Mixture-of-Experts (MoE) modelleri, token başına çok daha az parametre aktif ettiğinden mini PC'lerde çarpıcı biçimde hızlanabiliyor.
Asıl gözden kaçan darboğaz ise prompt işleme (prefill) aşaması. Bu aşama bellek değil, ham hesaplama gücüne bağlı olduğundan, entegre GPU'ların sınırlı FLOPS kapasitesi yüzünden uzun metinlerde ciddi gecikmeler yaşanıyor; bir kod dosyasını okumak bile onlarca saniye sürebiliyor. Üstelik çipler üzerindeki büyük NPU TOPS rakamları da yanıltıcı, çünkü NPU aynı paylaşılan belleği kullandığından decode hızındaki temel darboğazı ortadan kaldırmıyor.