Netflix'ten Kontrollü AI Video Düzenleme: Vera ve VOID Araştırması

Netflix araştırma ekibi, tanıtım videoları ve fragmanlar gibi içeriklerin üretiminde karşılaşılan manuel düzenleme darboğazlarını çözmek amacıyla iki yeni yapay zeka modelini tanıttı: Vera ve VOID. Mevcut üretken video düzenleme yöntemlerinin temel sorunu, bir sahnedeki tek bir öğeyi değiştirirken tüm kareyi yeniden üretmeleri ve bu sırada karakter kimliği, performans veya arka plan gibi değişmemesi gereken detayları da bozabilmeleridir. Nesne silme işlemlerinde ise sahnenin fiziksel tutarlılığı genellikle göz ardı edilerek gerçekçi olmayan sonuçlar ortaya çıkmaktadır.

Vera, bu sorunu katmanlı bir video difüzyon mimarisiyle çözüyor. Model, kaynak videoyu olduğu gibi korurken yalnızca değişmesi gereken bölgeyi ayrı bir düzenleme katmanı ve alfa maskesi olarak üretiyor; bu katmanlar daha sonra orijinal görüntüyle birleştiriliyor. Ekip, bu yaklaşımı eğitmek için kamuya açık uygun veri seti bulunmadığından, 832x480 çözünürlükte 486 bin kareden oluşan özel bir katmanlı video veri seti oluşturdu. Mimari tarafında ise Mixture-of-Transformers (MoT) yaklaşımı kullanılarak, düzenleme, alfa ve kompozit katmanları için ayrı transformer dalları eğitilip ortak öz-dikkat mekanizmasıyla birleştirildi. 1.3 milyar ve 14 milyar parametreli iki varyant geliştirilerek nesne ekleme ve arka plan değiştirme görevlerinde kapsamlı testler yapıldı.

VOID ise nesne ve etkileşim silme görevlerine odaklanan bir video tamamlama (inpainting) modeli olarak öne çıkıyor; sadece hedef nesneyi silmekle kalmıyor, sahneyi o nesne hiç yokmuş gibi fiziksel olarak tutarlı şekilde yeniden kuruyor. Netflix, bu iki modelin arkasındaki teknik detayları içeren araştırma makalelerini de kamuya açık olarak paylaştı. Bu çalışma, üretken yapay zekanın yaratıcı kontrolü ortadan kaldırmak yerine sanatçıların hassas müdahalesini destekleyecek şekilde nasıl tasarlanabileceğine dair somut bir mühendislik örneği sunuyor.