Anthropic, Dil Modelinde Küresel Çalışma Alanı Keşfetti
Anthropic'in yeni J-lens tekniği, Claude gibi modellerde bilinç teorisindeki küresel çalışma alanına benzeyen bir iç temsil bölgesi ortaya koyuyor.
Anthropic, Transformer Circuits Thread kapsamında yayımladığı yeni bir araştırmada, Claude Sonnet 4.5 gibi dil modellerinin içinde bilişsel bilim literatüründeki 'küresel çalışma alanı' (global workspace) kavramına benzeyen küçük, ayrıcalıklı bir iç temsil bölgesi bulduğunu duyurdu. Bu bölge, modelin o anda 'düşündüğü' ve sözelleştirebileceği kavramları temsil eden vektörlerden oluşuyor ve araştırmacılar buna J-space adını veriyor.
J-space'i tespit etmek için ekip, önceki logit lens yönteminin ara katmanlarda güvenilir sonuç vermemesi sorununu çözen yeni bir yorumlanabilirlik aracı geliştirdi: Jacobian Lens (J-lens). Bu araç, her katmanın çıktı üzerindeki ortalama etkisini binlerce promptta ölçerek, modelin bağlamdan bağımsız olarak sözelleştirmeye eğilimli olduğu kavramları ayrıştırıyor. Böylece araştırmacılar, modelin hiç dile getirmediği ama 'aklında tuttuğu' kavramları da okuyabiliyor.
Anthropic ekibi, bu bölgenin gerçek bir küresel çalışma alanı gibi davranıp davranmadığını beş farklı kriterle test etti: sözel rapor tutarlılığı, dikkati yönlendirme, ara akıl yürütme adımlarının taşınması ve kavramların farklı bağlamlara aktarılabilirliği. Testlerde, J-space içindeki bir vektörü değiştirmek (örneğin 'futbol' yerine 'rugby', ya da 'Mars' yerine 'Dünya' koymak) modelin nihai cevabını doğrudan ve öngörülebilir şekilde değiştirdi.
Bu bulgu, mühendisler için önemli çünkü modelin iç akıl yürütme sürecine doğrudan müdahale edip gözlemleme imkanı sunuyor. Yorumlanabilirlik, güvenlik denetimi ve model davranışını hata ayıklama açısından, sadece çıktıya değil modelin 'ne düşündüğüne' bakabilmek yeni bir katman ekliyor.