Harness Pretraining'den Önce mi Gelmeli? Veri Çarkı Perspektifi
AI ajanlarında harness ve pretraining ilişkisini, veri çarkı ve model önyargıları üzerinden inceleyen teknik bir analiz.
Bu yazı, AI ajan geliştirme sürecinde genelde sıralı düşünülen pretrain-midtrain-posttrain-harness zincirinin aslında karşılıklı beslendiğini savunuyor. Harness (bağlam düzeni, araçlar, alt-ajan yapısı) sadece modelin çalıştığı katman değil, aynı zamanda gelecekteki eğitim verisinin üretildiği yerdir: kullanıcı oturumları başarılı trajectory'ler üretir, bunlar filtrelenip yeni SFT verisine dönüşür ve model bir sonraki sürümde bu harness'e daha da bağımlı hale gelir. Bu durum bir 'kilitlenme' riski doğurur — harness'i erken değiştirmek, birikmiş milyarlarca dolarlık eğitim verisinin taşınabilirliğini tehlikeye atabilir.
Tersten bakıldığında ise pretraining, modele 'bağlamdaki bilgi doğrudur' gibi örtük önyargılar kazandırır. Bu, modelin güçlü bir tahmin makinesi olmasını sağlarken, örneğin bir kod dilini değiştirmek gibi basit düzeltmeleri bile zorlaştırır çünkü eğitim verisinde dil değişimi son derece nadirdir. Yazar, dalgıçların panik anında nefesini tutma refleksini bilinçli bir kuralla (yavaş yükselme) bastırması örneğiyle, harness'in de modelin pretraining reflekslerini geçersiz kılan sembolik bir katman olduğunu öne sürüyor.
Mühendisler için sonuç: davranış düzeltmelerini harness kurallarına mı yoksa model ağırlıklarına mı gömmek gerektiği sorusu, RL ve dağıtım stratejilerini doğrudan etkiliyor. Yazının önerisi, RL'nin ajanı kullanılabilir hale getirip harness'i olgunlaştırması, ardından veri çarkının kullanıcı trajectory'leriyle ölçeklenmesi.