Netflix GenRec: Özellik Mühendisliği Yerine LLM Tabanlı Sıralayıcı
Netflix'in GenRec'i, özellik mühendisliği yerine LLM tabanlı sıralama kullanarak daha az veriyle üretim performansına ulaşıyor.
Netflix, üretim ortamındaki öneri sistemini büyük ölçüde elle hazırlanmış özelliklere dayanan karmaşık bir mimariden kurtarmak için GenRec adlı LLM tabanlı bir sıralama modeli geliştirdi. Kullanıcı geçmişi, içerik meta verileri ve bağlam bilgisi, binlerce manuel özellik yerine doğal dilde metinler halinde ifade edilerek Netflix'e özgü bir temel dil modeline besleniyor.
Sistem iki aşamalı bir eğitim sürecine dayanıyor: ilk aşamada açık kaynaklı bir LLM, Netflix'in kendi verileriyle içerik ve üye davranışlarını anlayacak şekilde uyarlanıyor. İkinci aşamada ise model, katalog farkındalıklı bir sıralama hedefi, dil modelleme hedefi ve uzun vadeli üye değerine hizalanmış ödül ağırlıklı kayıplarla sıralama görevine özel olarak yeniden eğitiliyor. Netflix ölçeğinde token bütçesini yönetmek için ekip, etkileşim geçmişini sinyal gücüne göre seçici biçimde tutan, özetleyen veya atan bir bağlam mühendisliği yaklaşımı uyguluyor.
Büyük ölçekli bir A/B testinde GenRec, hem kısa hem de uzun vadeli çevrimiçi metriklerde olgun bir üretim sıralayıcısına eşit veya daha iyi performans gösterirken, mevcut sistemin kullandığı etiketli verinin ve giriş sinyallerinin yalnızca küçük bir kısmını kullandı; çıkarım maliyetlerini kontrol altında tutmak için Netflix'in LLM sunum altyapısında yalnızca prefill modunda çalışıyor.
Mühendisler için GenRec, öneri sistemlerinin özellik mühendisliğinden bağlam mühendisliğine, özel mimarilerden genel amaçlı LLM omurgalarına kayışının somut ve üretimde doğrulanmış bir örneğidir.