» Etiket
edge-ai
11 yayınAndroid'de llama.cpp KV Durumuyla TTFT 9,9x Azaldı
EdgeSync-LLM, llama.cpp KV API'leriyle tekrar prompt işlemeden Android'de TTFT'yi 9,9x düşürdü; sahte 8,8x hızlanmayı da tespit edip eledi.
56M parametreli LLM, ESP-NOW ile 3 ESP32-S3 kartına dağıtıldı
56M parametreli LLM, ESP-NOW üzerinden üç ESP32-S3 kartına dağıtılarak çalıştırıldı; Split-PLE ve KV cache ile tutarlılık artırıldı.
8 Dolarlık Mikrodenetleyicide 28,9 Milyon Parametreli LLM
ESP32-S3 mikrodenetleyicide, Google'ın Per-Layer Embeddings tekniğiyle 28,9 milyon parametreli bir LLM tamamen çevrimdışı çalıştırıldı.
CommitBrief — terminalde yapay zekâ destekli kod incelemesi
Staged değişiklikleri, bir commit aralığını ya da bütün bir GitHub pull request'ini yerelde inceleyen sağlayıcı bağımsız CLI. Sıfır telemetri, sunucu yok. Açık kaynak, GPL-3.0.
commitbrief.comRK3576 NPU: Mainline Sürücüde Tek Görev Çalışıyor, Çoklusu Takılıyor
RK3576 NPU mainline sürücüsünde int8 hatası düzeltildi ama çoklu görev zinciri hâlâ takılıyor; kök neden analizi ve bulgular yayımlandı.
Android'de 60 FPS Segmentasyon: 16.67ms'lik Donanım Yarışı
Android'de 60 FPS gerçek zamanlı video segmentasyonu için 16.67ms bütçesi, NPU/GPU/DSP mimarisi, AICore ve model optimizasyonu incelemesi.
Yerel LLM'lere sıfıra yakın maliyetli deterministik hafıza katmanı
Açık kaynaklı deterministik hafıza katmanı, dondurulmuş LLM'lere bağlanıp bağlam dışı gerçekleri sıfıra yakın maliyetle hatırlıyor.
Kenar AI'yi Ustaca Yönetmek: Android'de Hızlı Görüntü Analizörleri
Derin öğrenme ile mobil cihazlar arasındaki dengeyi keşfedin. Hızlı görüntü analizörleri için gereken mimari ve Kotlin desenleri hakkında bilgi edinin.
Android'de Edge AI için NDK ile C++ Performans Rehberi
Gemini Nano gibi cihaz üstü LLM'lerde Kotlin soyutlama maliyetini aşmak için JNI, zero-copy ByteBuffer ve NPU hizalama tekniklerini inceliyoruz.
Edge Donanımda LLM Durum Çöküşü: Drift Gauntlet ve CSMS
Jetson Orin Nano üzerinde LLM'lerin tekrarlı durum çöküşünü ölçen Drift Gauntlet benchmarkı ve bunu önleyen CSMS çalışma zamanı katmanı tanıtıldı.
Bulut ve GPU olmadan güçlü AI: Liquid AI'nın yeni LFM2.5-2.6B modeli
Liquid AI, LFM2.5-2.6B modelini tanıttı; bu model, bulut ve GPU gerektirmeden yerel donanımda çalışabiliyor.