OlmoEarth Platformu: Jeo-uzamsal çıkarımı kıta ölçeğine taşıyor
Ai2'nin OlmoEarth Platformu, bölümlenmiş CPU/GPU boru hatları ve özel metadata indeksleme ile kıta ölçeğinde jeo-uzamsal AI çıkarımı çalıştırıyor.
Ai2, OlmoEarth temel modellerini (yaklaşık 10 TB çok modlu uydu verisiyle önceden eğitilmiş) ince ayardan kıta ölçekli çıkarıma taşıyan bir altyapı katmanı olan OlmoEarth Platformu'nu duyurdu. Çevre alanındaki birçok kuruluş, veri etiketleme, model ince ayarı ve büyük ölçekli çıkarımı yönetecek mühendislik kaynağına sahip değil; platform tam olarak bu eksikliği gidermeyi hedefliyor.
Mimari, her işi donanıma göre üç aşamaya ayırıyor: yoğun G/Ç gerektiren CPU tabanlı veri toplama/ön işleme, GPU tabanlı çıkarım ve CPU tabanlı son işleme/birleştirme. İşler coğrafi olarak worker boyutlu parçalara, ardından modelin bağımsız işleyebildiği pencerelere bölünerek binlerce örnekte paralel ölçeklenebiliyor.
Kuzey Amerika için üretilen yakın tarihli bir yangın riski haritasında platform, tepe noktasında yaklaşık 19.600 CPU ve 994 GPU'yu paralel kullandı, 168 GB/s'yi aşan ağ verimi sağladı ve tahmini 4.737 saatlik seri işlem süresini yaklaşık 30,5 saate indirerek 155 kat hızlanma elde etti. Dış STAC kataloglarının ani metadata sorgusu patlamalarıyla boğulmaması için platform kendi güncel indeksini tutuyor (SNS bildirimleri veya periyodik yoklama ile) ve COG/Zarr gibi bulut optimizeli formatlarda pencereli okumalar yapıyor.
Bu yaklaşım, büyük ölçekli jeo-uzamsal veya uzaktan algılama çıkarım sistemleri kuran mühendisler için hibrit CPU/GPU boru hatları, bölüm tabanlı paralellik ve hız sınırlamasına duyarlı metadata indeksleme konusunda somut mühendislik örnekleri sunuyor.
Bu sentez, kaynağından yapay zeka tarafından üretildi; insan editör ya da elle onay adımı yoktur. Nasıl çalışıyoruz