SkyPilot ve Hugging Face'ten sıfır egress'li çoklu bulut AI depolama
SkyPilot ve Hugging Face, modelleri Hub'da tutup GPU'ları herhangi bir bulutta egress ücreti olmadan çalıştırmayı sağlayan yeni bir depolama entegrasyonu sundu.
SkyPilot, Hugging Face ile birlikte model ve veri setlerini Hub'da tutup hesaplamayı GPU'nun bulunduğu herhangi bir bulutta çalıştırmayı sağlayan yeni bir depolama entegrasyonu duyurdu. store: hf ile tek bir hf:// URL'si ve mevcut HF_TOKEN kullanılarak bir Hugging Face Bucket'ı ya da model/veri seti deposu, SkyPilot görevine MOUNT veya COPY modunda bağlanabiliyor.
Bu yaklaşımın kritik noktası: Hugging Face depolama hizmeti egress veya CDN ücreti almıyor. Böylece SkyPilot işi 20'den fazla bulut, Kubernetes, Slurm veya on-prem kümelerden hangisinde GPU müsaitse orada çalıştırsa da, veriyi okumak ücretsiz kalıyor. Bu, ekiplerin belirli bir bulut sağlayıcısına veri nedeniyle kilitlenmesini ortadan kaldırıyor ve rezerve edilmiş GPU kapasitesinin tamamının kullanılmasını sağlıyor.
MOUNT modu, hf-mount FUSE arka ucunu kullanarak tembel (lazy) okuma yapıyor; yani kod sadece dokunduğu baytları çekiyor ve GPU neredeyse anında veri işlemeye başlıyor. Xet tabanlı depolama sayesinde checkpoint'ler ve model varyantları arasında sadece değişen chunk'lar depolanıp aktarılıyor. Yayınlanan kıyaslamada, AWS, GCP ve Lambda üzerinde aynı SkyPilot YAML dosyasıyla yapılan bir fine-tune çalışması, model yüklemenin saniyeler içinde ve maliyetsiz gerçekleştiğini, checkpoint yazımlarının ise bulut başına 100-170 MB/s civarında seyrettiğini gösterdi.
Bu sentez, kaynağından yapay zeka tarafından üretildi; insan editör ya da elle onay adımı yoktur. Nasıl çalışıyoruz