llama.garden: Nostr tabanlı merkeziyetsiz LLM torrent ağı

llama.garden, büyük dil modellerini BitTorrent üzerinden dağıtmaya çalışan bir proje. Torrent tabanlı model paylaşımının en büyük sorunu olan seedersiz kalma problemini, Hugging Face web sunucularını yedek kaynak olarak kullanarak çözüyor; böylece hiç seeder olmasa bile torrentler ilk günden itibaren indirilebiliyor. Şu an bu özellik yalnızca Transmission istemcisinde düzgün çalışıyor, çünkü qBittorrent Hugging Face'in yönlendirme zincirini doğru takip edemiyor.

Projenin teknik omurgasında merkeziyetsiz sosyal protokol Nostr yer alıyor. Model listeleri, dokuz farklı operatörün işlettiği relay'lere yayılan imzalı olaylar (kind 30099) olarak tutuluyor; bu sayede bir relay kapansa veya bir operatör belirli bir modeli kendi tarafında gizlese bile katalog diğer relay'lerde erişilebilir kalıyor. Arayüz tek bir HTML dosyası olarak sunuluyor, kimse tarafından çatallanabiliyor ve güncellemeler küratörün imzaladığı SHA-256 özetleriyle doğrulanıyor; böylece sunucu ele geçirilse bile kötü niyetli bir güncelleme kullanıcıya sunulamıyor.

Son sürümlerde model kartlarında seeder bilgisi gösterilmeye başlandı, seedbox'larda nginx üzerinden hem TCP hem UDP trafiği desteklenerek HTTP web-seed hızları artırıldı ve topluluk taleplerine yanıt olarak magnet link desteği eklendi (though torrent dosyaları hâlâ daha güvenilir). Ayrıca kullanıcıların model gönderdiği ve küratörün onayladığı bir gönderi/inceleme akışı devreye alındı.

Mühendisler için önemi, büyük model ağırlıklarının merkezi barındırma maliyeti ve sansür riski olmadan, kriptografik olarak doğrulanabilir ve herkes tarafından çatallanabilir bir protokol üzerinden dağıtılabileceğini göstermesinde yatıyor.