Sıfırdan 113M parametreli deprem LLM eğittim
Sıfırdan 113M parametreli bir deprem LLM modeli eğitildi. Tüm süreç adım adım açıklandı.
Bir deprem bilimi için küçük bir GPT modeli eğitildi. Tüm LLM yaşam döngüsü, veri toplama, temizleme, tokenizasyon, model oluşturma, eğitim ve çıkarım aşamaları detaylı bir şekilde açıklandı. nanoGPT-Seis, her aşamanın anlaşılır olmasını sağlamak amacıyla tasarlanmış bir öğretim deposudur. Modelin eğitimi, iki NVIDIA A30 GPU üzerinde gerçekleştirildi ve sonuçlar, modelin genel metin akıcılığını artırmak için genel ve alan metinleri karıştırarak elde edildi.