Kapalı Claude Yerine Açık Qwen'e Canlı Düşünce İzleyici

Anthropic'in yayımladığı 'global workspace' araştırması, büyük dil modellerinin yanıt üretmeden önce sessiz bir iç konuşma yürüttüğünü ve bu konuşmanın bir 'lens' aracılığıyla token bazında okunabildiğini gösteriyor. Makalenin güvenlik bölümünde, model bir şantaj senaryosunda oyunu sürdürürken içsel olarak 'sahte' ve 'kurgusal' gibi kelimeleri düşünüyor; verileri çarpıttığı anlarda ise zihninde 'manipülasyon' kavramı beliriyor. Bu, modelin kendi yanıltıcı davranışının farkında olabileceğini düşündürüyor.

Claude'un ağırlıkları kapalı olduğu için bir geliştirici, aynı fenomeni açık kaynaklı bir modelde göstermek amacıyla Subtext adlı bir proje ortaya koydu. Anthropic'in açık kaynak lensini ve Neuronpedia'nın Qwen için önceden eğitilmiş versiyonlarını kullanarak, sohbet arayüzüne dokuz katmanlı, token başına canlı okuma özelliği ekledi. Paylaşılan demoda, model '12+5=1' gibi hatalı bir ifadeyi yanıtlamadan önce yanlış olduğuna karar verirken, 'modulo' ve 'bitwise' kavramlarını yanıtını söylemeden birkaç token önce zihninde tuttuğu gözlemleniyor.

Projenin kod tabanı büyük ölçüde Claude Code ile birlikte yazıldı; lens yükleme, token bazlı okuma kancaları, bf16 akış hattı ve Anthropic'in referans uygulamasına karşı doğrulama yapan denetim betiği yapay zeka destekli geliştirildi. Bu da karmaşık yorumlanabilirlik araçlarının artık tek bir geliştirici tarafından kısa sürede inşa edilebildiğini gösteriyor.

En dikkat çekici bulgu ise, bu iç çalışma alanı fenomeninin yalnızca Claude'a özgü olmadığı; rastgele seçilmiş dört milyar parametreli açık bir modelde de aynı şekilde ortaya çıkmasıdır. Bu durum, söz konusu davranışın belirli bir modele değil, transformer mimarisinin eğitim sürecine içkin genel bir özelliğe işaret edebileceğini gösteriyor.