5 Eyalet 12.4 Milyon Şirket Kaydını Ücretsiz API ile Açtı
New York, Colorado, Pennsylvania, Oregon ve Connecticut şirket sicillerini Socrata API üzerinden ücretsiz ve ticari kullanıma açık yayınlıyor. Ölçülen rate limitler ve veri tuzakları.
ABD'de şirket kayıt verisine erişmek genellikle pahalı veya imkansızdır: OpenCorporates'in ücretsiz katmanı sınırlı, Delaware gibi eyaletler hiç toplu veri sunmuyor. Ancak New York, Colorado, Pennsylvania, Oregon ve Connecticut, tüm şirket sicillerini Socrata SODA API'leri üzerinden kamu malı veya ticari kullanıma açık lisanslarla yayınlıyor; toplamda yaklaşık 12.4 milyon işletme kaydı isim, kuruluş tarihi, adres ve çoğu durumda kayıtlı temsilci bilgisiyle birlikte ücretsiz çekilebiliyor.
Bu veriyi toplamak için tek bir Python betiği yazılmış; her eyaletin farklı sütun adlarını ortak bir şemaya eşleyen konfigürasyon tabanlı bir yapı kullanıyor ve kesintide kaldığı satırdan devam edebiliyor. Ölçülen performans verileri sezgilere aykırı: offset tabanlı sayfalama saniyede ~500 satırla en hızlı yöntem, derin offset'lerde belirgin bir yavaşlama yok; buna karşılık keyset sayfalama ve CSV toplu indirme uç noktası çok daha yavaş çalışıyor. Anonim isteklerle bu hız elde ediliyor, ücretsiz uygulama token'ı alarak daha yüksek limitlere çıkmak mümkün.
Veri bütünlüğünü bozan önemli tuzaklar da var: bazı eyaletlerde satır granülerliği işletme değil, yetkili kişi veya isim bazında olduğu için saf satır sayımı entity sayısını 2-3 kat şişirebiliyor; CSV ve API sütun adları uyuşmayabiliyor. Kaliforniya, Teksas ve özellikle Delaware gibi eyaletler toplu veriyi ücretli tutarken, Florida ve Ohio farklı teknik engellerle (düz dosya, bot duvarı) erişimi zorlaştırıyor. Tüm bu doğrulanmış veri seti listesi, fetcher betiği ve bulgular MIT lisanslı açık kaynak bir 'Agent Skill' olarak paylaşılmış; şirket eşleştirme, kuruluş trendi analizi veya işletme hayatta kalma araştırmaları yapan mühendisler için doğrudan kullanılabilir bir kaynak sunuyor.