Prompt'u Elle Düzenlemeyi Bırakın, Context Compiler Kurun
Prompt string'ini elle düzeltmek yerine, context assembly'yi versiyonlu şablonlar, test edilebilir kurallar ve trace'lerle inşa eden mühendislik yaklaşımı.
Birçok LLM ekibi, üretim sistemine giden nihai prompt string'ini kaynak kod gibi elle düzenliyor: model hata yaptığında debug panelindeki dev metin bloğunu açıp bir cümleyi değiştirip yeniden deploy ediyorlar. Kaynak içerik bu yaklaşımı yanlış soyutlama olarak tanımlıyor; prompt aslında şablonlar, retrieval sonuçları, tool şemaları, konuşma geçmişi ve token bütçesi kısıtlarının derlenmesiyle üretilen bir çıktı, yani kaynak değil derlenmiş bir artefakt. Asıl kaynak olan şablonları, retrieval mantığını ve budget/eviction kurallarını versiyonlamak gerekiyor; nihai string diff'lenebilir bir şey değil çünkü aynı şablon farklı retrieval sonuçlarıyla bambaşka metinler üretebiliyor.
Context penceresi sınırsız bir alan değil, fiyatlandırılmış bir kaynak olarak ele alınmalı. Ekipler yer var diye sürekli retrieval çağrısı, örnek ya da talimat eklerken model sessizce bozuluyor: sayfa üçteki talimatı kaçırıyor, yanlış örneğe demirliyor, sistem mesajını göz ardı ediyor. Bu, klasik bir kaynak tahsisi problemi ve cache sistemlerindeki gibi açık bir eviction/öncelik politikası gerektiriyor — hangi bileşenlerin garantili yer alacağı, hangilerinin sıralanıp kırpılacağı, baskı altında neyin önce atılacağı net tanımlanmalı.
Metnin en kritik noktası şu: context assembly hataları dışarıdan bakıldığında model hatasıyla ayırt edilemiyor. Bayat embedding döndüren bir retriever, boş bir alanda yanlış değişkeni enjekte eden şablon, cümle ortasından kesen bir truncation fonksiyonu — bunların hepsi 'model güvenilmez' gibi görünüyor ve çözüm olarak daha fazla prompt mühendisliği, daha fazla uyarı cümlesi ekleniyor; oysa asıl kırık olan üst akıştaki derleme adımı. Gerçek çözüm, şablonlar ve retrieval mantığı için versiyon kontrolü, assembly adımına özel unit testler (doğru bölümler, doğru sıra, doğru budget altında mı üretiliyor) ve her üretim çağrısında modele ne gönderildiğinin token seviyesinde trace'lenmesi. Ayrıca 'context compiler doğru girdi mi üretti' sorusuyla 'model bu girdiye iyi çıktı mı verdi' sorusunun ayrı değerlendirilmesi gerekiyor; aksi halde her hata modele fatura edilip prompt düzeltmesiyle geçici olarak bastırılıyor, asıl kusur ise hiç incelenmeden kalıcı hale geliyor.