LLM İzlerini Kümelemek İçin LLM Gerekmiyor: Seldon'ın Trace Audit'i
Seldon'ın Trace Audit'i, LLM kullanmadan deterministik özellikler ve DBSCAN ile LLM izlerini aynı program kümelerine ayırıyor; sonuç neredeyse mükemmel doğruluk.
Seldon projesi, tekrarlayan LLM çağrılarını daha ucuz deterministik pipeline'lara derlemeyi hedefliyor. Ekip, Trace Audit v0 sistemini yayınladı; bu sistem LLM gateway izlerini konu benzerliğine göre değil, aynı temel 'program' olup olmadıklarına göre kümeliyor. Sınıflandırma, span çıkarma, yapılandırılmış çıkarma, varlık çözümleme ve benzerlik görevlerini kapsayan 12.500'den fazla iz üzerinde test edilen sistem, hiçbir LLM çağrısı kullanmadan neredeyse mükemmel çift hassasiyet, geri çağırma ve saflık (1.000/0.9999/1.000) elde etti. Yöntem, hash'lenmiş kontrat özellikleri (yanıt formatı, şema, çıktı şekli) ve kısa deterministik bir tanımlayıcı dizgi üzerinde DBSCAN kümelemesine dayanıyor.
Dikkat çekici bulgu: kümelemeden önce LLM tabanlı özetleme eklemek (GPT-4.1, GPT-5.6-luna ve Phi-4 ile test edildi) sonuçları iyileştirmedi, aksine kümeleme saflığına zarar verdi. Bu da temel savı doğruluyor: anlamsal benzerlik, 'aynı program' tespiti için yanlış hedef fonksiyonu. Farklı çıktı şekillerine sahip iki fatura izi birleştirilmemeli; aynı JSON şemasına sahip ama farklı varlıklara sahip iki iz ise kümelenmeli.
Bu çalışma, büyük ölçekte LLM gateway'i çalıştıran mühendisler için önemli — çağrıların büyük bir kısmı aslında prompt kılığına girmiş ETL: aynı şema, aynı talimatlar, farklı veri yükleri. Trafiği ucuz şekilde kontrat uyumlu kümelere ayırarak Seldon, bir sonraki adım için temel oluşturuyor: her kümeyi tipli bir operatör kütüphanesine karşı program sentezi için bir spesifikasyon olarak ele almak ve deterministik pipeline yetersiz kaldığında yalnızca LLM'e geri dönmek.