EULLM: Avrupa Birliği'ne ait LLM motoru Windows, Linux ve Mac için
EULLM, Avrupa Birliği'ne ait açık kaynak bir LLM motorudur. ARM CPU üzerinde 35B MoE modeli ile GPU bağımlılığını azaltmayı hedefliyor.
EULLM, Rust tabanlı, açık kaynak bir çıkarım motorudur. Python veya Docker gerektirmeden çalışabilen tek bir ikili dosya sunar. Şu an için Linux x64, Windows x64 ve macOS için destek sağlarken, ARM64 desteği deneysel aşamadadır. En son testlerde, GPU kullanılmadan ARM CPU üzerinde 35B MoE modeli 10 tok/s hızında çalıştırılmıştır. Bu, Avrupa'nın AI altyapısında GPU bağımlılığını azaltmak için önemli bir adım.