Yazılımın en pahalı 10 hatası ve hepsinde ortak olan şey
Knight Capital'dan Boeing 737 MAX'e, Therac-25'ten CrowdStrike'a: yazılım tarihinin en maliyetli 10 hatasını ve ortak kök nedenini inceliyoruz.
Yazılım tarihinin en pahalı on olayına bakıldığında çarpıcı bir örüntü ortaya çıkıyor: neredeyse hiçbiri saldırı değil. NotPetya dışında listedeki her vaka, kurumun kendi sisteminin ürettiği sessiz, ölçeklenebilir bir hatadan kaynaklanıyor. Knight Capital 45 dakikada 440 milyon dolar kaybederken tüm sistemler sağlıklı görünüyordu; hatanın kaynağı yıllar önce devre dışı bırakılmış, ancak yeniden kullanılan bir özellik bayrağıydı.
Liste, farklı sektörlerden benzer bir mekanizmayı gösteriyor: Boeing'in MCAS sistemi tek bir hatalı sensöre güvenerek 346 kişinin ölümüne yol açtı; İngiltere'deki Post Office Horizon skandalında yazılımın ürettiği hayali açıklar yüzlerce kişinin haksız yere mahkum olmasına neden oldu; Zillow'un fiyatlama algoritması tek bir evde değil tüm portföyde sistematik olarak yanıldı. Ariane 5, Mars Climate Orbiter, AT&T'nin 1990 çöküşü ve Therac-25 vakaları ise ölü kod, birim uyuşmazlığı ve yarış koşulu gibi teknik ayrıntıların, doğrulanmadığında nasıl felakete dönüştüğünü gösteriyor. CrowdStrike'ın 2024'teki güncelleme kesintisi ise güvenilen tek bir değişikliğin dünya çapında nasıl anında yayılabileceğinin en yakın tarihli kanıtı.
Bu vakaların ortak paydası, saldırgan yokluğunda bile sistemin kendini sağlıklı raporlarken hatanın sessizce büyümesi ve tek bir değişikliğin, insan müdahalesine fırsat kalmadan tüm ağa aynı anda yayılması. Mühendisler için asıl mesaj, bu riskin otonom yapay zeka ajanlarıyla yeniden ve çok daha büyük ölçekte karşımıza çıkmaya hazır olması: insan gözetimi olmadan hızla ve tutarlı biçimde hareket eden sistemler, doğru göründükleri anda bile pahalı hatalar üretebilir.