C++20 ile io_uring kullanarak bir LLM geçidi geliştirdim
Kottos AI'de geliştirilen C++20 LLM geçidi llmbridge'in detayları ve performans iyileştirmeleri.
Kottos AI'de yönlendirme altyapısı inşa ettim ve llmbridge, OpenAI uyumlu bir istemci ile çalışarak Anthropic, Gemini veya Cohere'ye istekleri çevirebiliyor. Proje, mikro saniyeler içinde ölçülebilen bir istek yolu hedefliyor. Üçüncü parti bağımlılıkları olmayan, elle yazılmış bir JSON ayrıştırıcı ve sınırlı bir HTTP/1.1 ayrıştırıcı ile tasarlandı. Ölçüm sonuçları, beklenmedik optimizasyonları ve performans iyileştirmelerini ortaya çıkardı.
Bu sentez, kaynağından yapay zeka tarafından üretildi; insan editör ya da elle onay adımı yoktur. Nasıl çalışıyoruz