LoRA Speedrun: Fine-Tuning Teknikleri İçin Açık Hız Sıralaması
LoRA Speedrun, Qwen2.5-1.5B ve GSM8K üzerinde tek bir L40S GPU'da doğrulanmış, herkese açık bir LoRA fine-tuning hız sıralaması sunuyor.
LoRA Speedrun, modded-nanogpt tarzında bir parametre-verimli fine-tuning yarışması: Qwen2.5-1.5B (base) modelini GSM8K eğitim setiyle, tek bir L40S GPU üzerinde en az %57 exact-match doğruluğuna en hızlı şekilde ulaştırmak hedefleniyor. Görev, model, donanım ve veri seti sabit; LoRA rank/yerleşimi, quantization, öğrenme oranı programı, sequence packing, özel kernel'ler gibi her şey serbest.
Rekorlar bağımsız olarak doğrulanıyor: ağa kapalı bir Modal sandbox'ında üç farklı seed ile yeniden çalıştırma, eğitim kodunun otomatik güvenlik taraması ve insan incelemesi geçilmeden bir süre listeye giremiyor. Denemek ve doğrulamak ücretsiz — Modal'ın aylık işlem kredileri sayesinde herkes tek komutla katkı sunabilir veya herhangi bir rekoru yeniden doğrulayabilir.
Şu anki rekor 6dk05sn (düz LoRA baseline'ının 11dk57sn'sinden) — sequence packing ve completion-only loss masking ile elde edildi, hem ~2 kat hızlı hem de daha yüksek doğrulukta (%61.1'e karşı %59.4). Mühendisler için bu, DoRA, rsLoRA, PiSSA, LoRA+ ve NEFTune gibi PEFT tekniklerinin birbirine karşı, uyumsuz makaleler yerine aynı donanımda test edilebildiği nadir bir adil arena.