SIMURG: LLM Akışındaki Bozulmayı Gerçek Zamanlı Durduran Koruma

SIMURG, bir LLM'in ürettiği token akışını karakter karakter izleyen, yalnızca numpy kullanan hafif bir izleme sistemidir. Tekrar döngüleri, dil kayması, eğitim verisi sızıntısı ve yapısal bozulma gibi "decoding corruption" türü hataları, kullanıcıya ulaşmadan önce tespit eder. Bu hata sınıfı, gerçek anlamda yanlış ama akıcı bir cevaptan (halüsinasyon) farklıdır: bozulma, tekrar oranı, script karışımı, sıkıştırılabilirlik ve tahminsel şaşkınlık gibi ölçülebilir istatistiksel izler bırakır.

Sistem, her akışın ilk 350 karakterini bir tampon içinde tutar, yalnızca temiz olduğu doğrulandığında serbest bırakır, ardından her 400 karakterde bir yeniden kontrol yapar. Beş dedektörden oluşan bir topluluk -n-gram şaşkınlığı, Count-Min tekrar örneklemesi, kayan SimHash sapması, robust-z öz-kalibrasyonu ve yorumlanabilir kurallar- konformal kalibrasyon ile birleştirilerek temiz çıktılarda sabit bir yanlış alarm oranı garanti eder. Küçük bir çevrimiçi lojistik model, GPU veya eğitim verisi gerektirmeden ek sağlamlık katar.

Bir dizüstü CPU'sunda SIMURG saniyede yaklaşık 197.000 karakter işleyerek tipik LLM token üretim hızının çok ötesine geçer ve bozulmayı başlangıcından yaklaşık 590 karakter sonra durdurarak sunucunun cevabı kullanıcıya göstermeden yeniden üretmesini sağlar. Dört hata sınıfını kapsayan 243 akışlık sentetik bir kıyaslamada akış düzeyinde %97,5 doğruluk elde etmiş, dil kayması ve içerik sızıntısında tam isabet göstermiştir.

Quantize edilmiş, küçük veya kendi barındırılan modelleri üretimde çalıştıran mühendisler için bu araç, LLM-yargıç maliyeti veya token log-olasılıklarına erişim gerektirmeden, üç satırlık entegrasyonla bilinen bir üretim hatasını yakalama imkânı sunar.