LLM'lerin Dosya Sistemi Tasarımı ve Uygulamasındaki Performansı
LLM'lerin dosya sistemi geliştirme üzerindeki etkilerini inceleyen Bench çerçevesi, 505 görevle performans analizi sunuyor.
Büyük Dil Modelleri (LLM'ler), bilgisayar sistemleri araştırma ve geliştirmelerini köklü bir şekilde dönüştürüyor. Dosya sistemi geliştirme sürecinde LLM'lerin yeteneklerini ve sınırlamalarını anlamak kritik bir öneme sahip. Bu çalışmada, dosya sistemi özel görevler için bir LLM benchmarking çerçevesi olan ench'i tanıtıyoruz. Bench, temel anlama, uygulama, performans modelleme, hata ayıklama, optimizasyon ve yeni özellik geliştirme gibi altı görev türü sunuyor. Bu görevler, LLM'lerin talimatları takip etme, bilgi hatırlama, akıl yürütme ve kodlama gibi farklı yeteneklerini vurguluyor. 505 görevle gerçekleştirilen ampirik çalışma, açık kaynak ve özel LLM'lerin verimliliğini ortaya koyuyor.