Dell Pro Max GB10 ile Yerel AI Kümesi: İki Nvidia Grace Blackwell Bağlandı
İki Dell Pro Max GB10 sistemi RDMA/RoCE ile kümelendi: 256GB birleşik bellek, düşük maliyet, ancak zorlu kurulum süreci.
Tom's Hardware, iki adet Dell Pro Max with GB10 sistemini Nvidia'nın ConnectX-7 200Gbps ağ arayüzü üzerinden RoCE (RDMA over Converged Ethernet) ile birleştirerek 256GB birleşik bellek sunan bir yerel AI kümesi kurdu. Bu yaklaşım, tek bir sistemde 128GB'a sığmayan büyük dil modellerini ağ üzerinden dağıtarak çalıştırmayı mümkün kılıyor; tıpkı veri merkezlerindeki ölçeklendirme mantığı gibi.
Dört adet ayrık GPU'dan oluşan bir sunucu kurmak; Threadripper Pro veya Epyc gibi pahalı platformlar, 20 bin doları aşan GPU maliyetleri, yüksek güç tüketimi ve gürültü gibi dezavantajlar getiriyor. Buna karşılık, 4TB SSD'li test yapılandırmasıyla adet başına yaklaşık 6.332 dolarlık iki Pro Max GB10 sistemi, çok daha düşük maliyetle ve kutudan çıkar çıkmaz kümelenebilir donanımla benzer bir bellek havuzu sağlıyor.
Kurulum sürecinde ConnectX-7'nin PCIe 5.0 x4 bağlantılarının tam 200Gbps için mantıksal olarak ikiye bölünmesi gerektiği, sistemlerin yalnızca Ethernet/RoCE protokolünü desteklediği (Infiniband değil) ve bir firmware güncelleme aşamalandırma hatası nedeniyle beklenen bant genişliğinin ilk etapta alınamadığı ortaya çıktı. Sorun, apt üzerinden zorla güncelleme yapılarak çözüldü ve nihai testlerde 200Gbps bağlantıya yakın performansa ulaşıldı; ancak süreç kesinlikle tak-çalıştır seviyesinde değil.