gui-tool: Rust ile bağımsız masaüstü GUI otomasyon aracı
AI ajanlarının piksel tahmin etmeden, etiketli grid hücreleriyle masaüstü uygulamalarını tıklamasını sağlayan sıfır bağımlılıklı Rust CLI aracı gui-tool tanıtıldı.
gui-tool, AI ajanlarının (Claude Code, Codex, Gemini CLI gibi) masaüstü uygulamalarıyla etkileşime girmesini sağlayan, çapraz platform destekli, sıfır dış bağımlılığa sahip bir Rust komut satırı aracı. Aracın temel farkı, ekran görüntüsü üzerine etiketli bir grid ve her hücrenin merkezine bir artı işareti yerleştirmesi: ajan piksel koordinatı tahmin etmek yerine sadece bir hücre adı belirtiyor (gerekirse alt gride zum yaparak, örneğin C7.F3), tıklama otomatik olarak o noktaya isabet ediyor.
Araç, erişilebilirlik ağacına (accessibility tree) hiç dokunmuyor; bunun yerine doğrudan ekranda görüneni işliyor. Bu sayede oyunlar, canvas/WebGL uygulamaları, Flutter gibi özel çizilen arayüzler, uzak masaüstü/VNC oturumları ve erişilebilirlik verisi eksik ya da hatalı olan her türlü uygulama üzerinde çalışabiliyor. Tüm işlevsellik -PNG kodlayıcı, D-Bus istemcisi, JSON çıktısı ve DEFLATE dahil- harici crate kullanılmadan, doğrudan işletim sistemi API'lerine (CoreGraphics, user32.dll, D-Bus) FFI ile yazılmış; yaklaşık 9.100 satır Rust koduyla tek bir küçük binary'ye derleniyor.
Araç ayrıca GNOME/Wayland üzerinde XDG Desktop Portals ve window-calls uzantısı sayesinde xdotool ve pyautogui'nin çalışamadığı ortamlarda da yerel olarak çalışabiliyor. Ekran görüntüsü alma, pencere yönetimi, fare/klavye kontrolü gibi tüm komutlar yapılandırılmış JSON girdi/çıktı ile çalışıyor ve Agent Skills standardına uygun bir skill tanımı ile doğrudan AI ajan iş akışlarına entegre edilebiliyor.
Mühendisler için önemi, headless API'si olmayan legacy veya GUI-only yazılımların otomatikleştirilmesi, GUI hata ayıklamada ajanların ekranı 'görüp' etkileşime girebilmesi ve erişilebilirlik ağacının yetersiz kaldığı özel çizilen arayüzlere piksel hassasiyetinde ulaşılabilmesi. Bağımlılıksız, denetlenebilir kod tabanı ve doğrudan OS API kullanımı, güvenlik ve taşınabilirlik açısından da dikkat çekici.