Edge Donanımda LLM Durum Çöküşü: Drift Gauntlet ve CSMS
Jetson Orin Nano üzerinde LLM'lerin tekrarlı durum çöküşünü ölçen Drift Gauntlet benchmarkı ve bunu önleyen CSMS çalışma zamanı katmanı tanıtıldı.
Bir araştırma ekibi, sürekli çalışan otonom ajanların (örneğin görme-dil-eylem sistemleri) kısıtlı edge donanımlarda uzun süreli özyinelemeli çıkarım sırasında yaşadığı durum sapması ve şema bozulmasını incelemiş. Bu sorunu ölçmek için, modelin 50 özyinelemeli döngü boyunca deterministik bir JSON dünya-durumunu koruma becerisini test eden model-agnostik bir benchmark olan Drift Gauntlet geliştirilmiş; şema bütünlüğü, sabitlere karşı direnç ve 'Logos Drift' adı verilen öklid mesafesi tabanlı bir sapma metriği ölçülüyor.
Sorunu çözmek için ise CSMS (Cognitive State Manifold Safeguard) adında donanım-yerel bir çalışma zamanı yönetişim katmanı önerilmiş. Kara kutu çıkarım motorlarında doğrudan Hessian hesaplaması mümkün olmadığından, CSMS gömme kovaryansı üzerinden spektral kararlılık vekili kullanarak durum uzayının genişleyip daralmasını izliyor ve sapma yükseldiğinde müdahale ediyor.
NVIDIA Jetson Orin Nano üzerinde 1B-8B parametreli 10 açık ağırlıklı model ailesiyle yapılan testlerde, CSMS'in TinyLlama'daki şema hatalarını 22'den 1'e indirdiği, kararlı modellerde gecikme maliyetinin neredeyse sıfır olduğu, ağır stres altında bile ek yükün yüzde 10 civarında kaldığı ve bellek baskısı altında ortalama adım gecikmesinin 13.74 saniyeden 2.18 saniyeye düştüğü rapor edilmiş.
Bu sonuçlar, sürekli çalışan robotik ve ajan tabanlı yapay zeka sistemlerinde çalışma zamanı güvenilirliğinin zorunlu bir altyapı katmanı haline geldiğini gösteriyor; mühendisler için özellikle edge dağıtımlarda modelin performans kaybı olmadan kararlılığını koruyabilmesi kritik bir tasarım hedefi olarak öne çıkıyor.