Subtext: LLM'in İç Düşüncelerini Canlı Görselleştiren Araç

Subtext, Anthropic'in dil modellerinde bulduğu "J-space" kavramına dayanan açık kaynaklı bir araç. Bu iç temsil kümesi, modelin sözlü olarak rapor edebildiği, kasıtlı şekilde değiştirebildiği ve çok adımlı akıl yürütmede nedensel olarak kullandığı küçük bir alt kümeyi temsil ediyor. Subtext, Jacobian lens yöntemini canlı bir sohbet sırasında sürekli olarak uyguluyor: hem kullanıcının mesajını okurken hem de yanıt üretirken, dokuz farklı katmanda modelin iç durumunu hangi kelimelere yatkın olduğunu gösteren bir arayüzle anlık olarak görüntülüyor.

Araç, Anthropic'in Claude ölçeğindeki modellerle gözlemlediği fenomenleri açık kaynaklı, tüketici donanımında çalışan 4B parametreli bir Qwen modelinde yeniden üretiyor: yargının çıktı üretilmeden önce oluşması, planlanan kelimelerin alakasız tokenlar üretilirken yüksek güçte tutulması ve iki adımlı sorularda ara terimlerin (örneğin "İtalya" ve ardından "euro") açığa çıkması gibi. Görselleştirme, katman derinliğini dikey konumla, okuma/üretim fazını renk koduyla (amber/mavi) ve okuma gücünü boyut-opaklıkla temsil ediyor.

Proje, Anthropic'in referans implementasyonuna karşı doğrulanmış: aynı girdilerde top-5 okumalar tam eşleşiyor ve kosinüs benzerliği 0.99998'in üzerinde. NVIDIA GPU (~10GB VRAM) gerektiren araç, oturumları JSON olarak dışa aktarıp GPU olmadan tarayıcıda tekrar oynatma imkanı da sunuyor. Apache 2.0 lisansıyla yayınlanan Subtext, mekanistik yorumlanabilirlik alanındaki soyut araştırmayı somut, etkileşimli bir gözlem aracına dönüştürüyor — ancak yazarlar bunun modelin öznel deneyimini değil, yalnızca bilginin rapor ve akıl yürütme için işlevsel erişilebilirliğini gösterdiğini vurguluyor.