Federated Öğrenme Projesi: Yüksek Doğruluk Yanıltıcı Olabilir
Federated öğrenme algoritmalarının karşılaştırılması, global doğruluğun yanıltıcı olabileceğini ortaya koydu.
Bir araştırma projesi kapsamında, federated öğrenme algoritmalarının (FedAvg, FedProx, FedNova) merkezi bir temel ile karşılaştırılması yapıldı. CICIDS2017 veri seti kullanılarak, saldırı türüne göre dört farklı "silo"ya ayrıldı. Küçük bir silo olan Web Saldırıları, 3 milyon toplam örnekten yalnızca 3 bin örneğe sahip. Global doğruluk oranları yüksek görünse de, azınlık silo %49 doğrulukla her saldırıyı kaçırdı. Bu durum, global sayının büyük siloların iyi performansı nedeniyle gizlendiğini gösteriyor. FedNova, tüm silolar arasında daha tutarlı sonuçlar elde etti ve azınlık sınıfındaki saldırıların tespitinde daha etkili oldu. Sonuç olarak, global doğruluk tek başına güvenilir bir metrik değildir; her bir istemci performansına bakmak ve toplama yöntemini dikkatlice seçmek önemlidir.