Airbnb LLM Değerlendirmesini Haftalardan Bir Güne Nasıl İndirdi
Airbnb'nin dört katmanlı LLM değerlendirme altyapısı, deterministik önbellekleme ve micro LoRA adaptörleriyle iterasyon süresini haftalardan bir güne indiriyor.
Üretim ortamındaki LLM sistemlerinde en büyük zorluk modeli eğitmek değil, bir değişikliğin gerçekten iyileştirme olup olmadığını güvenilir şekilde ölçmektir. Airbnb mühendisleri, yargıç modellerin aynı girdiye farklı puanlar vermesi ve referans çıktıların her çalıştırmada farklı metinler üretmesi nedeniyle yüzde iki'lik bir puan farkının gerçek mi yoksa gürültü mü olduğunu ayırt edemedikleri sorununu çözmek için dört katmanlı bir altyapı kurdu.
Yaklaşımın merkezinde, epistemik belirsizlik (model/yargıç sınırları) ile aleatorik belirsizliği (görev belirsizliği) birbirinden ayırmak var; bu ikisi karıştırıldığında yüksek entropili doğru cevaplar yanlışlıkla halüsinasyon olarak sınıflandırılabiliyor. Örnek bazında önbellekleme, yargıç puanlarını ve referans üretimlerini girdi ve yapılandırmaya göre anahtarlayarak değerlendirmeyi deterministik ve tekrar başlatılabilir hale getiriyor, böylece tekrar tekrar yargılama ve yeniden üretimden kaynaklanan gürültünün büyük kısmı ortadan kalkıyor.
Model güncellemelerinde, günler süren ve regresyon riski taşıyan tam adaptör yeniden eğitimi yerine, rank değeri 50'nin altında olan küçük 'micro adaptörler' kullanılıyor. Bu adaptörler dondurulmuş bir temel model üzerine katmanlanıyor, tek bir GPU'da bir saatten kısa sürede eğitiliyor ve regresyon kontrolleri ile kademeli devreye alma (canary) süreciyle bir yazılım yaması gibi yayınlanıyor. Sonuç, haftalar süren yeniden eğitim döngüsü yerine aynı gün içinde düzeltme ve doğrulama yapabilen bir iş akışı.