Qwen3-TTS'te klonlanmış sese duygu: 25 MB graft ve steering vektörleri

Qwen3-TTS, dokuz nötr ön ayarlı konuşmacıyla geliyordu ama klonlanmış sesler donuk ve duygusuzdu; büyük klon dosyaları da duygu mekanizmasını çalıştıramıyordu. Ekip bu sorunu, CustomVoice transformer ağırlıklarını koruyan ve sadece gerekli delta'yı saklayan yaklaşık 25 MB'lık bir .qvoice "graft" formatıyla çözdü. Bu format hem paylaşılabilir küçüklükte hem de prosodiyi tam koruyor, en önemlisi duygu araçlarının tutunabileceği iç durumu canlı tutuyor.

Yol boyunca τ-vektörleri, x-vector enjeksiyonu, dil başına yoğun fine-tune ve tohum paletleri gibi birçok yöntem denendi ve terk edildi — hiçbiri güvenilir, seçilebilir ve timbre'i koruyan bir sonuç vermedi. Sonunda işe yarayan tarif iki katmanlı: ön ayarlı sesler için residual stream'e eklenen hafif bir "activation steering" vektörü yeterli oluyor; klonlanmış sesler içinse bu vektörün, gerçek duygusal konuşma verisiyle eğitilmiş küçük bir CSP fine-tune (.expr) ve bir İngilizce instruct prompt ile birlikte uygulanması gerekiyor. Tek başına hiçbiri yeterli değil.

Duygular aktivasyon uzayında birer yön olduğu için toplanabiliyor: öfke ve tiksinti vektörleri karıştırıldığında hor görme, korku ve şaşkınlık karıştırıldığında huşu gibi yedi yeni "dyad" duygu ortaya çıkıyor — hiç yeni eğitim gerekmeden. Cümle içinde [emotion] etiketleriyle duygular tek bir promptta art arda değiştirilebiliyor; CLI, satır içi etiketler ve HTTP sunucusu artık aynı steering tarifini kullanıyor, böylece komut satırında bulunan bir duygu karışımı sunucu isteğinde de birebir aynı şekilde çalışıyor.