Qwen kendi uygulamasını yazdı: QuotePilot'ta insan onayı şart kaldı
Qwen modelleriyle hem çalışan hem büyük ölçüde yazılan QuotePilot projesi: insan onay noktası, Decimal aritmetik ve gerçek geliştirme hataları.
QuotePilot, sınır ötesi B2B teklif e-postalarını otomatik olarak iki dilli (EN/中文) fiyat teklifine dönüştüren bir hackathon projesi. İlginç olan sadece çalışma zamanında Qwen modellerini kullanması değil; uygulamanın büyük bölümünün de küçük bir dispatcher aracılığıyla Qwen modelleri tarafından yazılmış, geliştiricinin ise her parçayı inceleyip kabul veya reddettiği bir 'reviewer' rolü üstlenmiş olması. Tüm geliştirme süreci 40 dolarlık hackathon kredisinin 1 dolardan azını harcamış.
Mimari net bir kural üzerine kurulu: LLM asla aritmetik yapmıyor veya hukuki metin üretmiyor. Fiyatlar Python Decimal ile kodda hesaplanıyor, yasal maddeler sabit ve önceden hazırlanmış metinler. Modeller sadece hangi ürünün kastedildiğini eşliyor ve teklif metnini yazıyor; parayı asla hesaplamıyor.
Geliştirme sürecinde karşılaşılan sorunlar da öğretici: bulut sağlayıcısının dosya indirme davranışı mimariyi değiştirmeye zorlamış, büyük bir dosyanın yeniden üretilmesi istendiğinde model sessizce bir özelliği silmiş, çekişmeli bir çoklu-ajan inceleme turu ise gerçek 11 hatayı ortaya çıkarmış. Tanıtım videosunu kare kare izlerken bile, onay öncesi ve sonrası veriler arasında bir tutarsızlık fark edilmiş.
Sonuçta öne çıkan tasarım kararı, sistemi tamamen otonom yapmak yerine tek bir insan onay noktasında durdurmak olmuş. Sözleşmeye dönüşecek bir belge için bu, mühendislik açısından asıl mesele: modele ne zaman güvenilip ne zaman satır satır kontrol edileceğini bilmek.