LFM2.5 ile Tamamen Tarayıcıda Çalışan Araç Kullanan LLM Ajanı
LiquidAI LFM2.5 tabanlı, tamamen tarayıcıda çalışan araç kullanan bir LLM ajanı; sunucu yok, API anahtarı yok, sıfır bulut maliyeti.
Bir geliştirici, LiquidAI'nin LFM2.5 modelini (230M ve 350M parametre) ince ayarlayarak sunucu, API anahtarı veya bulut maliyeti olmadan tamamen tarayıcıda çalışan genel amaçlı bir ön uç ajanı oluşturdu. Ajan sadece sohbet etmiyor; katalog gezinme, sepet yönetimi ve bilgiye dayalı soru yanıtlama gibi gerçek araçları çağırıyor. WebGPU varsa onu, yoksa wllama üzerinden CPU/WASM'ı kullanıyor.
Asıl teknik yenilik, modelin alan bilgisi değil etkileşim kalıpları üzerine eğitilmesi: doğru aracı seçme, argümanları ve ürün id'lerini doğru bağlama, referansları çözme ("ikincisi", "bir düzine") ve alınan metne sıkı sıkıya dayanarak yanıt verme. Bu sayede aynı ağırlıklar yeniden eğitim gerektirmeden bir kahve dükkanını, absürt bir mağazayı veya bir bakkalı yönetebiliyor - demo, eğitim setinde hiç görülmemiş üç farklı vitrini tek modelle çalıştırıyor.
Güvenilirliği sağlayan üç tasarım kararı: sabit sekiz araçlık bir liste (değişken şema öğretmek 230M model için fazla geldi), arama/RAG'ın ayrı bir pipeline değil bir araç olarak ele alınması, ve GBNF grameriyle kısıtlanmış çözümleme - bu sayede model var olmayan bir ürün id'si asla üretemiyor. Eğitim, sentetik veri damıtımıyla yapıldı: ~18 etkileşim tarifi, bir öğretmen model (Qwen3 30B) ile doğal dil kısımları üretilip yapı deterministik olarak kodla oluşturuldu, toplam ~30M token üzerinde tam ince ayar tek bir 16GB GPU'da yapıldı.
Sınırlamalar da açık: çok turlu konuşmalarda model kendi eğitim kalıplarına doğru kayabiliyor, bu nedenle çalışma zamanı kayan pencereyle en fazla 2 tur konuşma görüyor. Yine de mühendisler için mesaj net: küçük, tarayıcı içi modeller gizlilik, çevrimdışı çalışma, sıfır çıkarım maliyeti ve erişilebilirlik gibi somut avantajlar sunarken gerçek araç çağırma görevlerini yerine getirebiliyor.