LangGraph'ta Görünmez Hata: Başarılı Çalışma Yanlış Olabilir
LangGraph pipeline'ları hatasız tamamlanabilir ama yönlendirme kararları sessizce yanlış yöne kayabilir. Maker/checker sapma oranı ve durum anlık görüntüleri bu riski nasıl azaltır?
Üretimdeki LangGraph pipeline'larında en tehlikeli hata modu, sistemin hatasız tamamlanmasıdır. Standart gözlemlenebilirlik araçları yalnızca pipeline'ın çalışıp çalışmadığını gösterir; ancak doğru kararlar verip vermediğini göstermez. Sınıflandırma güveni yavaşça kayabilir, bir üst kaynağın şeması değişebilir veya model davranışı bir prompt güncellemesiyle kayabilir -- bunların hiçbiri bir hata fırlatmaz, sistem yeşil görünmeye devam eder.
Yedi veri kaynağından işlem sınıflandıran 19 düğümlü bir finansal pipeline örneği bu sorunu somutlaştırıyor. Sistem her seferinde temiz çıkış yapıyordu, ancak asıl soru formülün doğru hesaplanıp hesaplanmadığı değil, hesaplamanın hangi vergi yargı bölgesi bağlamında yapıldığıydı. Yanlış yargı bölgesiyle yapılan doğru bir hesaplama, hatasız görünen ama temelden yanlış bir sonuç üretiyordu.
Bu tür sapmaları yakalamak için koşullu kenarların (conditional edge) sadece kontrol akışı değil, izlenebilir kararlar olarak ele alınması gerekiyor. Kritik kontrol noktalarında tam durum anlık görüntüleri almak, kenar geçiş dağılımlarını zaman içinde izlemek, her yönlendirme kararının girdilerini ve güven skorunu kaydetmek, düğüm bazında gecikme ve token kullanımını takip etmek pratik bir enstrümantasyon çerçevesi oluşturuyor.
Büyütücü/kontrolcü (maker/checker) mimarisinde iki bileşenin birbirinden bağımsız ürettiği sonuçlar arasındaki uyuşmazlık oranı, en güvenilir öncü gösterge olarak öne çıkıyor. Örnek pipeline'da checker, formülün doğru ama yargı bölgesinin yanlış olduğunu tespit ederek işlemi insan incelemesine yönlendirdi. Zaman içinde izlenen sapma oranı sayesinde bu artış, hatalı sonuç çıktı katmanına ulaşmadan önce fark edilebildi.