» Etiket

gpu-inference

3 yayın

12 Tem 20268.43
Tesla P100'ün llama.cpp'deki yıllık FP16 hatası 3 satırla çözüldü
llama.cpp'deki 3 satırlık CUDA yaması, Tesla P100'ün yıllardır süren gizli FP16 hassasiyet hatasını performans kaybı olmadan gideriyor.
cuda gpu-inference llama.cpp local-llm
20 Tem 20268.41
PXQ: ik_llama.cpp forku eski Tesla/Pascal GPU'larda +88% prefill kazandırıyor
ik_llama.cpp forku pxq_llama, yeni PXQ quant formatıyla Tesla P100/V100 ve 1080 Ti'de prefill ve decode hızını ciddi oranda artırıyor.
cuda gpu-inference llm moe
19 Tem 20268.20
RDNA3'te Tek Model İçin Sıfırdan Vulkan Motoru: llama.cpp'den 1.44x Hızlı
RDNA3 GPU'larda tek model için sıfırdan yazılmış Vulkan motoru, llama.cpp'den 1.44x hızlı ve token bazında birebir aynı çıktı üretiyor.
gpu-inference llm moe rdna3
Reklam
CommitBrief — terminalde yapay zekâ destekli kod incelemesi
Staged değişiklikleri, bir commit aralığını ya da bütün bir GitHub pull request'ini yerelde inceleyen sağlayıcı bağımsız CLI. Sıfır telemetri, sunucu yok. Açık kaynak, GPL-3.0.
commitbrief.com