Araştırma: Yapay Zeka Filigranları Adli Delil Standardını Karşılamıyor
Yeni araştırma, KGW, Unigram ve SynthID filigranlarının parafrazlama sonrası neredeyse tamamen kaybolduğunu ve Daubert standardını karşılamadığını gösteriyor.
Yeni bir ampirik çalışma, yaygın kullanılan üç LLM filigranlama yöntemini —KGW, Unigram ve SynthID-Text— hem Daubert yasal kabul edilebilirlik standardına hem de NIST SP 800-86 adli süreç gereksinimlerine karşı test ediyor. Araştırmacılar değerlendirmeyi yapılandırmak için zorunlu eşikler içeren 60 puanlık bir Adli Hazırlık Skoru (FRS) çerçevesi geliştirdi ve saldırı vektörü olarak anlamı koruyan parafrazlamayı seçti; çünkü bu yöntem hem hukuken gerçekçi hem de kanıt kurcalaması olarak görmezden gelinmesi zor.
Sonuçlar, AB Yapay Zeka Yasası ve Kaliforniya'nın SB 942 yasası gibi düzenlemelerin dayandığı varsayımları ciddi şekilde sarsıyor; bu yasalar filigranların sağlam ve kaldırılması zor olmasını şart koşuyor. 846 parafraz denemesinde, başlangıçta tespit edilen tüm KGW ve Unigram filigranları parafrazlama sonrası tamamen kayboldu; SynthID ise vakaların yüzde 98,3'ünde filigranını yitirdi. Herhangi bir saldırı olmadan bile üç yöntemin de yanlış negatif oranları zaten yüksekti. SynthID ayrıca insan yazımı metinleri yüzde 5'in üzerinde oranda yapay zeka üretimi olarak yanlış tanımladı ve kendi çıktılarının neredeyse beşte birinde belirsiz 'paradoks' sonuçlar verdi.
Üç yöntemden hiçbiri Daubert'in beş kriterinden ikisinden fazlasını karşılayamadı; bu da mevcut filigranlama uygulamalarının mahkemelerin aradığı delil eşiğinin gerisinde kaldığı anlamına geliyor. Uyumluluk veya köken doğrulama araçları geliştiren mühendisler için bu çalışma, filigran tabanlı tespitin henüz daha güçlü içerik doğrulama yaklaşımlarının yerini alacak güvenilirlikte olmadığının açık bir işareti.