TurboQuant: Google'un 6x VRAM İddiası Üzerine Dört Ay Sonra
Google'un TurboQuant algoritması, 6x bellek azaltma iddiasıyla dikkat çekti. Ancak resmi kod hala yayımlanmadı.
Dört ay önce Google, AI bellek kullanımını 6 kat azaltma iddiasında bulundu. TurboQuant, KV önbelleğini sıkıştırarak bellek kullanımını azaltmayı hedefliyor. Ancak, resmi kod hala yayımlanmadı ve topluluk, farklı uygulamalarla bu teknolojiyi geliştirdi. Bazı fork'lar, TurboQuant'ın beklentileri karşılayıp karşılamadığını sorgularken, daha temkinli bir yaklaşım benimsendi.