Küçük Modelleri Bilinçli Tercih: 16GB M1'de Otonom Ajan İnşası

Bir mühendis, kendi sosyal medya paylaşımlarını ve yorumlarını üreten bir otonom ajanı 3 aydır günde 4 oturum halinde, 16GB'lık bir M1 Mac üzerinde 9B/E4B sınıfı küçük modellerle çalıştırıyor. Bulut tabanlı büyük modellere geçmek her zaman kodda bir seçenek olmasına ve donanımı yükseltmeye gücü yetmesine rağmen bunu yapmıyor; kısıtlama bir ekonomik zorunluluk değil, bilinçli bir tercih.

Gerekçe şu: büyük modeller gevşek promptları, eksik korumaları ve tasarım açıklarını kendi zekâlarıyla örtüyor; bu da "çalıştı" ile "ben inşa ettim" arasındaki farkı görünmez kılıyor. Küçük modellerde ise context penceresinin sessizce kırpılması, çıktının yarıda kesilmesi ve eksik bir sampling parametresinin yol açtığı kontrolsüz döngü gibi sorunlar hiçbir yumuşatma olmadan yüzeye çıkıyor; tek çözüm yolu tasarımın kendisi oluyor.

Buradan çıkan tasarım ilkeleri -deterministik işleri kodda tutmak, anlamsal yargıyı LLM'e bırakmak, girdileri önceden bütçelemek, çıktı kesilmelerini tespit etmek, arızaları telemetriyle kaydetmek- modelden bağımsız. Yani büyük bir modele geçildiğinde bu tasarım aynen taşınıyor; sadece modele özgü kalibrasyon değerleri yeniden ölçülmesi gerekiyor. Tersi doğru değil: büyük model zekâsı varsayımıyla kurulmuş bir tasarım küçük bir ortamda olduğu gibi çalışmıyor.

Bu yazı, konuyu teknik detaylarıyla ele alacak 4 makalelik serinin giriş yazısı; sıradaki başlıklar bütçe koruması, MLX arka ucuna geçiş denemesi, model göçü ve kalibrasyon problemi ile telemetri/replay/test güvenilirliği konularını kapsıyor.