12 Tem 2026

En büyük haber, büyük dil modellerini tüketici donanımında çalıştırmanın artık hayal olmaktan çıkması. EdgeSync-LLM projesi, Android'de llama.cpp'nin KV önbellek durumunu ilk istekte kaydedip sonraki isteklerde geri yükleyerek, tekrarlanan sistem prompt'larında TTFT'yi ortalama 4828 ms'den 486 ms'ye indirdi — tam 9,9 kat iyileşme. Aynı yöntem x86-64'te 7,5 kat hızlanma sağladı. Çok daha iddialı bir diğer çalışma olan Colibri ise 744 milyar parametreli GLM-5.2 modelini, tek bir C dosyasıyla ve GPU olmadan, sadece 25 GB RAM'li bir makineda çalıştırmayı başardı. Mixture-of-Experts mimarisinin yoğun katmanları bellekte tutulurken, 21.504 uzman katmanı NVMe'den akıtılıyor; KV-cache 57 kat küçültülüyor.

Bir diğer önemli gelişme, AI maliyetlerinin ve altyapısının kırılganlıkları. Ekosistemin ortak referansı haline gelen LiteLLM fiyat tablosunun (51k yıldız, ~2.783 model) tek otomatik testinin `jq empty` komutu olduğu ortaya çıktı; değer doğrulama veya sağlayıcı sayfalarıyla çapraz kontrol yok. Dahası, Claude Code'un aynı boş projede dahi başlatma yoluna göre (bağımsız terminal vs VSCode eklentisi) tamamen farklı prompt cache maliyetleri çıkardığı belgelendi. Bağımsız terminalden başlatılan oturumlar Anthropic'in paylaşılan önbelleğini hiç kullanamıyor.

Sessiz ama kritik bir donanım hatası da düzeltildi. Tesla P100 GPU'sunun llama.cpp'de yıllardır hatalı bir FP16 hesaplama yolunda kaldığı, medyan KL diverjansının düzeltme sonrası 0.0023'ten 0.000001'e gerilediği ve en üst token uyumunun %96.5'ten %99.9'a çıktığı raporlandı. Aynı kod tabanındaki üç satırlık bir değişiklikle sessiz hassasiyet kaybı giderildi.

Web ve yazılım mimarisi tarafında ise React Server Component'lerin sınır kuralları derinlemesine analiz edildi. "use client" direktifi bir tip sistemi değil, Flight serileştiricisinin çalışma zamanı kuralları bütünü; Date, Set, Map, Promise, Blob gibi türler sınırı geçerken RegExp, URL, WeakMap ve class instance'ları reddediliyor. Öte yandan PHP dünyasında, reflection ve generic dispatch maliyetini ortadan kaldıran yeni bir DTO kütüphanesi, sınıf başına derlenen closure'larla saniyede 4.5 milyon hydration işlemi hedefliyor.

Son olarak, AI'ın kod tabanını gerçekten anlayıp anlamadığını sınamak için yeni bir yöntem önerildi: "teardown öncesi bağımlılık denetimi" adı verilen bu yaklaşımda, ajana merkezi bir model değişmeden önce ona bağımlı tüm noktaları bulması söyleniyor. Akıcı ama yanlış cevapları eleyebilen bu test, kıdemli bir mühendisin "neyin neye bağlı olduğu" kavrayışını ölçmeyi hedefliyor. Tam self-hosted bir RAG yığını (myRAG) ise çift indeksleme, bilgi grafiği ve hibrit aramayı tek bir Docker Compose altında birleştirerek referans mimari sunuyor.