5 Üretim Yapay Zeka Sisteminde 5 Katmanlı Kalite Mimarisi

Bengaluru merkezli bir AI kalite mimarı, QAIP, SCIP, ARIA, ZENTRAVIX ve AIMO adlı beş üretim yapay zeka sistemini geliştirirken geleneksel yazılım kalite kontrolünün AI sistemleri için işlemediğini fark etti. Geleneksel QA ikili (geçti/kaldı) çalışırken, AI kalitesi olasılıksal, davranışsal ve sürekli değişkendir; en tehlikeli hata çökme değil, sağlıklı görünürken yanlış olan çıktıdır. Yazar bunu 'karpuz etkisi' olarak adlandırıyor: ARIA'nın otomatik değerlendirme skoru %94 iken canlı Sokratik uyum oranı yalnızca %22,2 çıkmış.

Bu sorunu çözmek için beş katmanlı bir kalite mimarisi kurulmuş. Giriş katmanında Pydantic ile veri doğrulama, RAG için benzerlik eşiği ve halüsinasyon yerine devre kesici mekanizması, ayrıca prompt değişikliklerinin düşmanca (adversarial) veri setlerine karşı puanlanıp 0.90 eşiğinin altında otomatik geri alınması sağlanmış. İşleme katmanında deterministik desen kontrolleri maliyetli LLM hakemliğinden önce hataların yarısını yakalarken, deepeval ile sadakat ve davranışsal uyum ölçülüyor; IsolationForest ise SHAP açıklamalarıyla birlikte kademeli maliyet/gecikme sapmalarını tespit ediyor. Yüksek riskli kararlar için insan onayı kuyruğu, AB Yapay Zeka Yasası uyumluluğu açısından da kritik bir bileşen olarak sunuluyor.

Çıktı katmanında JSON şema doğrulaması ve RAGAS metrikleriyle (bağlam kesinliği, geri çağırma, sadakat, cevap doğruluğu) RAG hattı sistematik olarak ölçülüyor; bu ölçüm, alınan bağlamın %11'inin alakasız olduğunu ortaya çıkarmış ve benzerlik eşiğinin yükseltilmesiyle giderilmiş. Üretimde gerçekleşen bir olayda, kalitesi düşen bir prompt sürümü otomatik olarak engellenip önceki sürüme geri alınmış, öğrenciler bozulmuş bir öğretim deneyimi yaşamamış. Bu yaklaşım, LLM tabanlı sistemler kuran mühendislere, sessizce bozulan davranışları yakalayacak somut bir kontrol çerçevesi sunuyor.