LLM Kararları Neden Deterministik Olmalı
LLM tabanlı sistemlerde kararların neden deterministik kodla verilmesi gerektiği ve denetlenebilirliğin mühendisler için önemi anlatılıyor.
Bir mühendis, LLM tabanlı sistemlerde asıl kararların model yerine deterministik kodla verilmesi gerektiğini savunuyor. Başlangıçta bunu bir tutarlılık meselesi olarak görse de, gerçek değerin denetlenebilirlik olduğunu vurguluyor: üçüncü bir kişi kararın nasıl alındığını koddan yeniden üretebilmeli, modelin sonradan verdiği açıklamaya güvenmemeli. Örnek olarak verilen alarm sınıflandırıcısında, modelin çıktısı sabit bir enum kümesine karşı basit bir Python fonksiyonuyla doğrulanıyor; eşleşmeyen her sonuç 'unknown' olarak işaretleniyor. Bu sayede her sınıflandırma, kaynak koddan bağımsız olarak tekrar üretilebilir hale geliyor. EU AI Act ve NIST AI RMF gibi düzenlemeler de aynı ilkeyi farklı bir açıdan zorunlu kılıyor: yüksek riskli sistemlerde kayıtların işleyişi yeniden kurabilecek nitelikte olması gerekiyor. Yazar, modelin kendi kararını açıklamasının gerçek bir nedensel açıklama değil, yeni bir olasılıksal çıkarım olduğunu belirtiyor. Sonuç olarak anlatım katmanı hâlâ değerli, ama karar verici olmamalı; mühendisler hangi çıktıların kesinlikle yeniden üretilebilir olması gerektiğini net şekilde ayırmalı.