Önceki Token Tahmini ile LLM Yakın-Exact İstekte Yeniden Yapılandırma
LLM'lerin istem yeniden yapılandırmasını önceki token tahmini ile ele alan yeni bir yaklaşım sunuluyor.
Büyük dil modelleri (LLM'ler) metin üretirken, bir sonraki token'ı otomatik olarak örnekleyerek çalışır. Bu durum, gözlemlenen çıktılardan istemleri çıkarmayı karmaşık hale getiren çoktan çoka bir eşleme oluşturur. Önceki çalışmalar, istemlerin kurtarılmasını bir anlamsal yeniden yapılandırma görevi olarak çerçeveliyor. Ancak, biz, yardımcı araçlar olmadan, bir LLM'yi karanlık kutu ortamında tersine çevirme işlevsel bir yaklaşım sunuyoruz. Bu yaklaşım, hedef LLM'den sentetik olarak üretilen verilerle sıfırdan bir ters dil modeli eğitiyor. Bu yöntem, önceki token tahmini kullanarak, ileri ve ters süreçler arasında güvenilir bir bağlantı kurarak, istemlerin yeniden yapılandırılmasını sağlıyor.