» Etiket
llm
48 yayınHaritalama Araçlarında LLM Yükünü Azaltan Katman Deseni
RidgeText, GeoJSON verisini doğrudan LLM'e göndermek yerine sunucu tarafında katman kuyruğu tutarak bağlam maliyetini 125.000 token'dan yaklaşık 150 token'a indiriyor.
llmgeojsonmapboxtool-callingLiteLLM ile LLM Yönetimi: İzleme, Kota ve Maliyet Kontrolü
Midas mühendislik ekibi, dağınık LLM harcamalarını ve gözlemlenebilirlik sorununu LiteLLM tabanlı merkezi bir gateway ile nasıl çözdüğünü anlatıyor.
llmlitellmobservabilitykubernetesKodlama Ajanları İçin Harness Mühendisliği Rehberi
Kodlama ajanlarını doğru yönlendirmek için harness kavramı: feedforward rehberler, feedback sensörler, hesaplamalı ve çıkarımsal kontroller ile inceleniyor.
ai-agentscoding-agentssoftware-qualitydeveloper-toolsÇoklu ajanlı AI sistemlerinde gözlemlenebilirlik krizi
AI ajanları başka ajanları tetiklediğinde hatalar genellikle görünmez kalır. Sentry'nin trace tabanlı izleme yaklaşımı, hangi ajanın soruna yol açtığını ortaya çıkarıyor.
aiobservabilitymulti-agent-systemssentrySlack, Güvenlik Soruşturmalarını Çoklu Ajan Mimarisiyle Hızlandırıyor
Slack'in güvenlik mühendisliği ekibi, basit bir prompt prototipinden Director, Expert ve Critic ajanlarından oluşan yapılandırılmış bir sisteme geçişi anlatıyor.
ai-agentssecurityllmincident-responseAI Çıkarım Mühendisliği: Prefill ve Decode Ayrımının Anatomisi
LLM çıkarımının prefill ve decode aşamaları, GPU darboğazları ve batching, prefix caching gibi optimizasyon teknikleri mühendislik perspektifiyle ele alınıyor.
aiinferencellmgpuAjan İzlerini Okumak: Eval'in Veremeyeceği Kararı Verdirir
AI Engineer World's Fair için geliştirilen bir ajan olmayan konuşmacılar uydurdu. Bunu eval değil, agent trace'lerini okumak ortaya çıkardı; mühendisler için model, maliyet ve gözlemlenebilirlik dersleri.
aiagentsllmobservabilityMakerChecker: AI Ajanları İçin Açık Kaynak Güvenlik Katmanı
MakerChecker, AI ajanlarının riskli eylemlerini tarayıp izin bazlı denetim ve imzalı kayıt zinciriyle güvence altına alan açık kaynak bir araç seti.
ai-agentssecurityopen-sourceaudit-trail