Kyutai Pocket TTS: 5 Saniyede Ses Klonlama, CPU'da, MIT Lisanslı

Kyutai'nin yakın zamanda yayınladığı Pocket TTS, ~100M parametreli bir akış (streaming) dil modeli olarak çalışıyor; klasik akustik model + vokoder yapısı yerine Kyutai'nin Mimi nöral kodeği üzerinden ses tokenlarını sırayla üretip 24kHz çıktıya dönüştürüyor. Bu mimari sayesinde metin uzunluğundan bağımsız sabit bir gerçek zaman faktörü (RTF 0.69-0.76) sunuyor ve streaming desteğiyle interaktif uygulamalar için elverişli hale geliyor.

Modelin asıl öne çıkan özelliği, sadece 5 saniyelik bir referans ses klibinden CPU üzerinde ince ayar veya GPU gerektirmeden sıfır-atış ses klonlama yapabilmesi; aksan, tını, tempo hatta mikrofon karakterini bile taklit edebiliyor. Kokoro, Supertonic ve Inflect-Nano gibi rakip CPU-dostu modeller sabit ses setleriyle geliyor, bu da Pocket TTS'i kullanıcı tarafından sağlanan sesleri CPU'da işleyebilen tek model konumuna getiriyor.

180 zamanlı çalıştırma, 36 ses örneği ve UTMOS ile objektif MOS skorlaması içeren benchmark'ta Pocket TTS test edilen altı konfigürasyon arasında en yavaşı (RTF 0.714) olsa da, klonlama yeteneği onu benzersiz kılıyor. Kokoro en yüksek kalite skorunu (UTMOS ~4.44-4.46) verirken sabit seslerle sınırlı; Supertonic hız odaklı ama OpenRAIL-M lisansıyla ticari kısıtlamalara sahip; Inflect-Nano ise küçük boyutuna rağmen UTMOS'un bilinen bir zaafiyeti nedeniyle olduğundan yüksek puan alıyor ve gerçekte metalik/robotik ses üretiyor, ayrıca 15 saniyelik çıktı sınırı bulunuyor.

Mühendisler için önemli detay, Pocket TTS'in MIT lisanslı olması ve pip ile CUDA derlemesi gerektirmeden kolayca kurulabilmesi. Bu, ticari projelerde esneklik arayan geliştiriciler için Apache 2.0 (Kokoro) ve OpenRAIL-M (Supertonic) alternatiflerine göre önemli bir avantaj sunuyor.