BORME'yi Kazımayın: İspanya Şirket Sicilinde Gizli Açık API

İspanya'nın resmi ticaret sicili gazetesi BORME, şirket kuruluşları, yönetici değişiklikleri ve iflaslar gibi tüm ticari sicil işlemlerini yayımlar. Çoğu araç bu verileri PDF'lerden kazıyor; oysa 2009'dan beri boe.es üzerinde kimlik doğrulaması ve hız sınırı gerektirmeyen resmi bir açık veri API'si mevcut, ancak neredeyse hiç kullanılmıyor.

Bir ekip, 2009'dan bugüne 9.5 milyon şirket olayını bu API üzerinden geriye dönük işleyip PostgreSQL'e aktardı. Süreçte altı önemli tuzakla karşılaştılar: tatil günlerinde 404 hatasının hâlâ XML gövdesi döndürmesi, eksik belgelerde HTTP 200 dönerken içeriğin aslında hata mesajı olması, şirket adlarındaki sondaki noktanın belirsizliği, tek bir paragrafın birden fazla işlemi zincirlemesi, il bazlı yazım farklılıkları ve beş farklı tarih formatı.

Çözüm olarak LLM kullanılmadan, yaklaşık 50 işlem türü ve 80 rol etiketinden oluşan kapalı bir sözlük üzerinde deterministik bir ayrıştırıcı geliştirildi. En değerli kalite metriği 'tüketilen karakter / toplam karakter' oranı oldu; bu oran 17 yıllık veri setinde ortalama yüzde 99.9 seviyesinde kaldı. Saniyede bir istekle yapılan tam geri dolgu yaklaşık 160 bin istek ve iki günlük süre gerektirdi.

Bu çalışma, resmi kamu API'lerinin belgesiz ve az kullanılmış olsa bile PDF kazımaktan çok daha güvenilir olabileceğini gösteriyor. Ekip ayrıca ayrıştırılmış veriyi tipli JSON veri seti, REST API, webhook ve yapay zeka ajanları için MCP sunucusu olarak paketledi.