Multi-Agent AI Sistemi Bir Haftasonu 1.847 Dolara Mal Oldu
Multi-agent LLM oyunu bir haftasonu 1.847 dolara mal oldu. Maliyet formülü, kök nedenler ve LLM çağrılarını azaltan optimizasyon teknikleri.
Harry Potter temalı iki ajanlı bir oyun olan Horcrux Hunt, tek bir haftasonu gösteriminde 1.847 dolarlık AWS/Bedrock faturası çıkardı; bu da geliştiricinin kira ödemesinden fazlaydı. Sorun sadece maliyet değildi: tur başına 12 saniyelik gecikme, %23 kazanma oranı ve %18 zaman aşımı oranı da kullanıcı deneyimini bozuyordu. Analiz, maliyetin toplamsal değil çarpımsal büyüdüğünü gösterdi: token sayısı × ajan sayısı × tur sayısı × yeniden deneme × bağlam tekrarı.
Kök nedenler açıkça ortaya çıktı: her turda tüm konuşma geçmişinin yeniden okunması bağlamı katlanarak büyütüyordu, çıktı token'ları girdi token'larından çok daha pahalıydı ve paralelleştirilemiyordu, görünürde basit bir 'tur' aslında DynamoDB, doğrulama ve Bedrock çağrılarını içeren 12 ayrı işlemden oluşuyordu. Ayrıca yanıtların %15'i doğrulamadan geçemiyor, her başarısızlıkta tam token maliyetiyle yeniden deneme yapılıyordu.
Çözüm ajan sayısını azaltmak değil, pahalı LLM kararlarını daha ucuz katmanlara indirmekti: kısıtlama motoruyla geçersiz eylemleri LLM'ye ulaşmadan eleyen bir 'ön filtre', anlatı geçmişini modelin okumasına gerek kalmadan olasılıklara indirgeyen Bayesian inanç haritası ve bariz durumlarda LLM çağrısını tamamen atlayan sezgisel karar ağaçları. Bu yaklaşım, 'Hızlı Başarısız Ol, Bedava Başarısız Ol' ilkesiyle özetleniyor: hatayı LLM ücretlendirmeye başlamadan önce yakala.
Sonuç, mühendisler için üretim ortamındaki multi-agent LLM sistemlerinin maliyet mimarisinin token sayımından çok daha karmaşık olduğunu gösteriyor; bağlam yönetimi, doğrulama stratejisi ve karar katmanlaması, ölçeklenmenin sürdürülebilir olup olmayacağını belirliyor.