» Etiket
llm
23 yayınHaritalama Araçlarında LLM Yükünü Azaltan Katman Deseni
RidgeText, GeoJSON verisini doğrudan LLM'e göndermek yerine sunucu tarafında katman kuyruğu tutarak bağlam maliyetini 125.000 token'dan yaklaşık 150 token'a indiriyor.
Kodlama Ajanları İçin Harness Mühendisliği Rehberi
Kodlama ajanlarını doğru yönlendirmek için harness kavramı: feedforward rehberler, feedback sensörler, hesaplamalı ve çıkarımsal kontroller ile inceleniyor.
AI Çıkarım Mühendisliği: Prefill ve Decode Ayrımının Anatomisi
LLM çıkarımının prefill ve decode aşamaları, GPU darboğazları ve batching, prefix caching gibi optimizasyon teknikleri mühendislik perspektifiyle ele alınıyor.