Trendyol'un ajanı LLM sunum ayarlarını 4 kat hızlandırdı

Trendyol Tech ekibi, LLM sunum çerçevelerindeki (vLLM, SGLang gibi) manuel parametre ayarlama sürecini otomatikleştirmek için autooptimizer adında bir ajan geliştirdi. Karpathy'nin autoresearch projesinden ilham alan sistem, hipotez öner - config'i değiştir - sunucuyu başlat - benchmark çalıştır - skoru oku - tut ya da geri al döngüsünü insan müdahalesi olmadan tekrarlıyor. Ajan yalnızca sunum config'ine dokunuyor; ölçüm mekanizmasına (benchmark ve skorlama) kesinlikle erişemiyor, bu da 'cetveli değil ölçüleni değiştirme' ilkesini garanti ediyor.

Gerçek bir denemede, varsayılan ayarlarla vLLM üzerinde sunulan Gemma 4 26B-A4B-it modeli 167 skorla başladı. Ajan ilk hamlede fp8 kuantizasyonu, batching ve bellek kullanımı ayarlarıyla skoru 524'e çıkardı; toplam 18 deneyin sonunda insan müdahalesi olmadan ~640 skora, yani yaklaşık 4 kat iyileşmeye ulaştı. Kazanan konfigürasyon altı farklı değişikliğin (fp8 kuantizasyon, ayarlanmış batching, performans modu, prefix caching kapalı, block size 32, chunked prefill kapalı) sırayla test edilip doğrulanmasıyla ortaya çıktı.

Projenin kritik tasarım prensipleri arasında deterministik benchmark'lar (aynı iş yükü, her seferinde), tek bir kompozit skor (throughput/latency dengesini yansıtan) ve çerçeve-agnostik mimari (ince adaptörler üzerinden vLLM, SGLang ve ileride TensorRT-LLM desteği) yer alıyor. Mühendisler için bu, günlerce süren manuel flag deneme-yanılma sürecini saatlik otonom bir döngüye indirgeyerek üretim serving optimizasyonunu sistematik ve tekrarlanabilir hale getiriyor.