ESP32 ile WiFi Üzerinden LLM Ağırlık Akışı
ESP32 üzerinde WiFi ile Llama-2 modeli çalıştırma yöntemi. RAM kullanımı sabit kalırken ağ bant genişliği ile sınırlı üretim sağlanıyor.
ESP32 üzerinde Llama-2 mimarisini çalıştırmak için ağırlıklar PC'de tutuluyor ve WiFi üzerinden akıtılıyor. Bu yöntem, model boyutuna bakılmaksızın RAM kullanımını sabit tutarken, ağ bant genişliği ile sınırlı bir üretim sağlıyor.