HubSpot'un 20 Milyar Vektörlük Semantik Arama Altyapısı
HubSpot, Qdrant tabanlı VaaS platformuyla 20 milyarı aşkın vektörü yönetiyor; Helm'den Kubernetes Operator mimarisine geçiş sürecini inceliyoruz.
HubSpot, RAG, agent tabanlı iş akışları ve kayıt eşleştirme gibi 38'den fazla ekibin kullandığı düzinelerce senaryoyu desteklemek için Vector as a Service (VaaS) adlı merkezi bir vektör depolama ve arama platformu geliştirdi. Açık kaynak Qdrant veritabanı üzerine kurulan bu platform; erişim kontrolü, embedding üretimi, veri versiyonlama ve geri bildirim toplama gibi katmanları tek bir API üzerinden sunuyor. Şirket, güvenlik, maliyet kontrolü ve mevcut altyapı araçlarıyla derin entegrasyon avantajları nedeniyle Qdrant'ı bulut yerine kendi altyapısında (self-managed) çalıştırmayı tercih ediyor.
2023'teki küçük ölçekli bir POC'den başlayan sistem bugün 5 bölgede, 140'tan fazla kümede çalışan 200'den fazla index ile 20 milyarın üzerinde vektörü barındırıyor; en büyük index tek başına 9,5 milyar vektör içeriyor. Platform saniyede 5.000'in üzerinde yazma isteğini (zirvelerde 100.000 RPS'e kadar) ve 1.000'in üzerinde okuma isteğini karşılayabiliyor.
Ölçek büyüdükçe Helm tabanlı manuel küme yönetimi yetersiz kalınca, ekip Kubernetes Operator desenine ve HubSpot'un iç geliştirdiği Kube-operators çatısına geçti. Cluster, Qdrant nodeset ve Indexer nodeset olmak üzere üç ayrı 'translator' bileşeni, her kümenin ad alanlarını, StatefulSet'lerini, Kafka topic'lerini ve shard yönetimini otomatik olarak istenen duruma göre senkronize ediyor. Bu geçiş, operasyonel yükü azaltırken sistemin güvenilirliğini ve otomatik ölçeklenebilirliğini artırdı.
Bu vaka, büyük ölçekli semantik arama altyapısı kuran mühendisler için hem veritabanı seçim kriterlerini hem de POC'den kurumsal ölçeğe geçişte Kubernetes operator desenlerinin nasıl devreye girdiğini somut biçimde gösteriyor.