LLM Çağrılarında DB Bağlantısı Neden Tutulmuyor?
AI sistemlerinde LLM çağrıları sırasında DB bağlantılarının tutulmaması, performansı artırıyor. Honcho örneğiyle inceliyoruz.
AI sistemlerinde, LLM ve embedding API'leri beklenirken DB bağlantılarının tutulmaması, sistemin genel performansını artırıyor. Bu yazıda, Honcho isimli AI hafıza OSS'sinin değişiklikleri üzerinden, dış çağrılar ile DB transaction sınırlarının nasıl ayrıldığı inceleniyor.