Yapay Zeka Dublaj Hattı: faster-whisper, XTTS-v2, FFmpeg
faster-whisper, XTTS-v2 ve FFmpeg kullanarak ses klonlayan, zaman senkronunu koruyan açık kaynaklı bir yapay zeka dublaj hattının nasıl kurulacağı adım adım anlatılıyor.
Bu rehber, İngilizce bir videoyu orijinal konuşmacının klonlanmış sesiyle İspanyolca seslendirilmiş hale getiren uçtan uca bir yapay zeka dublaj hattını manuel olarak kurmayı anlatıyor. Zaman damgalı transkripsiyon için faster-whisper, çeviri için uzunluk kısıtlı bir LLM/MT motoru, ses klonlama ve sentez için XTTS-v2, son montaj için de FFmpeg kullanılıyor. Metin, hazır çözümler olan open-dubbing ve KrillinAI gibi araçların perde arkasında ne yaptığını göstermeyi amaçlıyor.
Pipeline'ın en kritik kısmı, çevrilen konuşmanın orijinal zaman dilimine sığmama sorunu. İspanyolca metinler genelde İngilizceden daha uzun sürdüğü için, her segmentin hedef süresi ölçülüyor, taşan kısımlar önce sessizliğe yayılıyor, ardından FFmpeg'in atempo filtresiyle hafifçe hızlandırılıyor, hâlâ sığmayanlar ise daha kısa bir çeviri talimatıyla yeniden çevriliyor. Bu ölçüm-düzeltme döngüsü, dublajın kalitesini belirleyen asıl mühendislik problemi olarak öne çıkıyor.
Metin ayrıca lisans, rıza ve teknik tuzaklara dikkat çekiyor: XTTS-v2 ağırlıkları ticari kullanımı kısıtlayan bir lisansla geliyor, ses klonlama için konuşmacının yazılı onayı gerekiyor, sayılar ve kod isimleri TTS tarafından bozulabiliyor, arka plan müziği ayrıştırılmadan kaybolabiliyor ve birden fazla konuşmacı olan içerikler diarization gerektiriyor. Son olarak dublajın ayrı bir dosya yerine videoya ek ses parçası (multi-language track) olarak eklenmesi öneriliyor.