Kanada Açık Devlet Verisiyle Canlı Lisans Doğrulama Sitesi Kuruldu
65 bin Kanada müteahhit lisansını tek platformda toplayan proje: veri hattı, sessiz veri kaybına yol açan bir hata ve yanıltıcı önbellek tuzağı anlatılıyor.
Kanada'da müteahhit ve ev inşaatçısı lisanslarını doğrulamak için tek bir ulusal kayıt yok; her eyalet kendi portalını, kendi formatını kullanıyor. Bir geliştirici bu dağınıklığı tek bir arama kutusunda birleştirmek için Quebec (RBQ) ve Ontario (HCRA) kayıtlarını Apify aktörleriyle toplayıp Astro 5 SSR ve Cloudflare Workers/D1 üzerinde çalışan bir site ile API haline getirdi.
Projenin en öğretici kısmı bir hataydı: Ontario tarafında sadece 755 kayıt görünüyordu, oysa gerçek kayıt sayısı on binlerdeydi. Sorun iki katmanlıydı; alfabetik tarama sadece a-z harfleriyle sınırlıydı ve rakamla başlayan şirket isimleri (numaralı Ontario şirketleri) hiç sorgulanmıyordu. Ayrıca her kayıt için ayrı bir detay isteği atılması, Apify'ın ücretsiz planındaki istek limitini aşarak taramanın sessizce yarıda kesilmesine yol açıyordu; hata fırlatmadan, sadece daha az veriyle 'başarılı' görünen bir çalışma.
Çözüm üç adımdan oluştu: tarama aralığını a-z ve 0-9'u kapsayacak şekilde 36 önek'e çıkarmak, detay zenginleştirmeyi isteğe bağlı hale getirmek ve tüm kayıtları toplayıp yalnızca anlamlı durumları (lisanslı, iptal, askıya alınmış vb.) yayınlamak. Bu değişiklikler Ontario kayıt sayısını 755'ten 11.104'e çıkardı; toplamda site artık 65.177 lisansı (54.073 Quebec + 11.104 Ontario), schema.org işaretlemesi, parçalı sitemap ve JSON/CSV/MCP API ile sunuyor.
Ayrı bir hata avı da öğretici oldu: dağıtım sonrası bazı URL'lerin eski veri göstermesi Cloudflare önbelleğine bağlanmıştı, ama asıl sorun geliştiricinin kendi test aracının önbelleğiydi. Ders net: bir dağıtımı doğrularken gerçek tarayıcıda kontrol etmek gerekiyor, çünkü araçların kendi önbellekleri de yanıltıcı olabiliyor.