Meta, GPU Duraksamalarını Azaltmak için BLOB Depolamayı Yeniden Yapılandırdı

Meta, exabayt ölçeğindeki BLOB depolama altyapısını, GPU'ların senkronizasyon adımlarında herhangi bir yavaş depolama isteğinin tüm kümeyi durdurabildiği yapay zeka eğitimi taleplerini karşılayacak şekilde yeniden tasarladı. Web ölçeğindeki HDD iş yükleri için tasarlanmış eski sistem, ad, hacim ve konteyner katmanları gibi birden fazla durum tutan metadata katmanına dayanıyordu; bu da arama başına yüzlerce milisaniyelik gecikmeye yol açabiliyordu — geleneksel uygulamalar için sorun değildi ama flash depolamadan milisaniye seviyesinde ve sınırlı pMax gecikmesi bekleyen AI iş hatları için yetersizdi.

Yeni tasarım, metadata'yı ZippyDB destekli tek ve düz bir şemada birleştirerek çok adımlı aramalar yerine O(1) yol çözümlemesi sağlıyor. Ayrıca veri düzlemi proxy'sini kaldırarak, verileri doğrudan Tectonic depolama sunucularından GPU sunucularına akıtan 'şişman' bir istemci SDK'sı getiriyor; bu da hem gecikmeyi hem de trafiği proxy'lemenin güç yükünü azaltıyor — veri merkezlerinin artık alan değil güç kısıtlı hale geldiği bir dönemde kritik bir avantaj. Son olarak, yığın artık küresel bir servis olarak değil, GPU kümeleriyle aynı bölgede konumlandırılarak dağıtılabiliyor.

Bu değişikliklerin tümü, Meta'nın Tectonic'in ham performansına neredeyse sıfır depolama katmanı yükü ile ulaşmasını sağlıyor; bu da GPU kullanımını doğrudan artırırken, coğrafi olarak dağıtılmış hesaplama ortamlarında AI araştırma iterasyonunu yavaşlatan veri taşıma sürtünmesini azaltıyor.