ModelMRI: Yerel LLM, VLM ve Robot Politikalarının İçini Gösteren Araç
ModelMRI, LLM, VLM ve robot politikalarının dikkat, aktivasyon yamalama ve kavramlarını yerel olarak inceleyen açık kaynaklı bir araçtır.
ModelMRI, açık kaynaklı ve MIT lisanslı bir araç olup tamamen yerel makinede çalışarak LLM'lerin, görsel-dil modellerinin ve robot politikalarının çalışma anındaki iç mekanizmasını ortaya çıkarır. pip ile kurulur, tarayıcı arayüzünü yalnızca localhost üzerinden sunar; bulut bağımlılığı, telemetri veya API anahtarı gerektirmez ve tek bir mimariye kilitlenmek yerine keyfi nn.Module, TorchScript veya GGUF kontrol noktalarıyla çalışır.
Araç, basit dikkat görselleştirmesinin ötesine geçer: dikkat başlıklarını nedensel olarak devre dışı bırakıp ortaya çıkan KL sapmasını ölçerek sıralar; bu sıralamada üç farklı taban çizgisi (sıfırlama, ortalama, yeniden örnekleme) kullanılır, böylece hangi ablasyon yönteminin seçildiği gizli kalmaz. Ayrıca, bir gerçeğin ağda nerede karara bağlandığını bulmak için kalıntı, dikkat ve MLP yolları boyunca aktivasyon yamalama uygular ve bulguları rastgele taban çizgisi kontrollerine karşı test eder.
Kaynak materyaldeki mimariler arası karşılaştırma, bir gerçeğin modelde 'nerede yaşadığının' evrensel bir transformer özelliği olmadığını gösteriyor — üç model erken katman MLP / geç katman dikkat düzeni sergilerken, dördüncü model (Qwen3-1.7B) bu düzeni tersine çevirdi. Araç, ölçüm maliyetlerini (gereken ileri geçiş sayısını) raporlar ve yüklemeden önce kontrol noktalarında çalıştırılabilir kod olup olmadığını tarayan bir özellik içerir; bir ölçüm güvenilir olmayacaksa dürüst bir reddetme mesajı verir.
Bu sentez, kaynağından yapay zeka tarafından üretildi; insan editör ya da elle onay adımı yoktur. Nasıl çalışıyoruz