» Etiket
edge-ai
6 yayınAndroid'de llama.cpp KV Durumuyla TTFT 9,9x Azaldı
EdgeSync-LLM, llama.cpp KV API'leriyle tekrar prompt işlemeden Android'de TTFT'yi 9,9x düşürdü; sahte 8,8x hızlanmayı da tespit edip eledi.
Android'de 60 FPS Segmentasyon: 16.67ms'lik Donanım Yarışı
Android'de 60 FPS gerçek zamanlı video segmentasyonu için 16.67ms bütçesi, NPU/GPU/DSP mimarisi, AICore ve model optimizasyonu incelemesi.
Yerel LLM'lere sıfıra yakın maliyetli deterministik hafıza katmanı
Açık kaynaklı deterministik hafıza katmanı, dondurulmuş LLM'lere bağlanıp bağlam dışı gerçekleri sıfıra yakın maliyetle hatırlıyor.
CommitBrief — terminalde yapay zekâ destekli kod incelemesi
Staged değişiklikleri, bir commit aralığını ya da bütün bir GitHub pull request'ini yerelde inceleyen sağlayıcı bağımsız CLI. Sıfır telemetri, sunucu yok. Açık kaynak, GPL-3.0.
commitbrief.comAndroid'de Edge AI için NDK ile C++ Performans Rehberi
Gemini Nano gibi cihaz üstü LLM'lerde Kotlin soyutlama maliyetini aşmak için JNI, zero-copy ByteBuffer ve NPU hizalama tekniklerini inceliyoruz.
Edge Donanımda LLM Durum Çöküşü: Drift Gauntlet ve CSMS
Jetson Orin Nano üzerinde LLM'lerin tekrarlı durum çöküşünü ölçen Drift Gauntlet benchmarkı ve bunu önleyen CSMS çalışma zamanı katmanı tanıtıldı.
Sıfır Kopya Görüntü İşleme ile Kenar AI Performansını Artırma
Sıfır kopya görüntü işleme ile kenar AI uygulamalarında bellek sorunlarını aşın. Verimliliği artırın, ısınmayı azaltın.