Kredi Yakmadan AI Ürünü Nasıl Test Edilir: Playwright Rehberi
Zephyr Cloud, The AI Platform üzerinde Kent C. Dodds ile geliştirdiği kurs ürününü model çağrılarını kesip UI'ı gerçek bırakarak nasıl test ettiğini anlatıyor.
The AI Platform (TAP) üzerine Kent C. Dodds ile geliştirilen bir kurs ürününde, her sohbet adımı gerçek bir model çağrısı anlamına geliyor: yönlendirme, uzman yanıtları ve konuşmanın tamamını okuyan değerlendirici. Beş alıştırmanın tamamını uçtan uca test etmek, her suite çalıştırmasında maliyeti katlanarak artıracak bir yaklaşımdı. Ekip, tüm uygulamayı veya ağı mocklamak yerine sadece en pahalı katmanı, yani modeli, sohbet sağlayıcısı seviyesinde kesmeyi seçti; yönlendirme mantığı, mesaj altyapısı ve arayüz tamamen gerçek kalırken sadece model çağrıları senaryolu yanıtlarla değiştirildi.
Bu sayede Playwright testleri gerçek masaüstü uygulamasını sürüyor, gerçek sohbet odaları oluşturuyor ve rubrik çubuğunun gerçekten %100'e dolduğunu doğruluyor; tek eksik olan fatura. Yaklaşımın kritik noktası ise "dürüstlük" güvencesi: harness, script'i olmayan hiçbir mesajı gerçek sağlayıcıya sızdırmıyor ve değerlendiricinin gerçekten kesildiğini ayrıca doğruluyor. Ekip bir keresinde tam da bu yüzden sessizce faturalanan bir sızıntıyı düzeltmek zorunda kalmış.
Mühendisler için çıkarım net: AI ürünlerinde test artık sadece doğruluk değil, aynı zamanda maliyet meselesi. Çözüm, yığındaki en pahalı çağrıyı bulup modele en yakın noktada kesmek ve geri kalan her şeyi gerçek bırakmak; böylece uçtan uca güven korunurken maliyet test sayısıyla birlikte büyümüyor.