« Tüm yayınlar

Chorus: Google Cloud Storage Üzerinde Tek Yazarlı Hızlı WAL

Chorus, Kafka veya etcd kullanmadan Google Cloud Storage üzerinde çalışan tek yazarlı bir write-ahead log; bölgesel dayanıklılığı tek bölge gecikmesiyle sağlıyor.

Chorus, Google Cloud Storage üzerine doğrudan inşa edilmiş tek yazarlı bir write-ahead log sistemidir. Üç bölgesel (zonal) Rapid bucket ile tek bir regional bucket kullanarak Kafka, etcd veya ek sunuculara ihtiyaç duymadan dayanıklı ve zon hatalarına dayanıklı bir log altyapısı sunar; buradaki bucket'lar doğrudan logun kendisidir.

Object storage üzerinde ölçeklenebilir ve ucuz depolama kurmanın bedeli genellikle yazma gecikmesidir. Chorus bu açığı, kaydı zonal bucket'ların kesin çoğunluğuna (genellikle üç) replikleyerek ve herhangi ikisi kaydı dayanıklı olarak raporladığında commit ederek kapatır. Kontrol düzlemi ise tek bir regional GCS nesnesi üzerinde compare-and-swap ile yönetilir ve commit yolunun dışında tutulur, böylece commit'ler zonal-bucket gecikmesinde çalışır.

4 KiB kayıtlar tek tek commit edildiğinde Chorus, 1.71 ms medyan ve 2.74 ms p99 gecikme sunar; bu değerler Google Cloud'un senkron replikeli regional blok depolamasının medyanının altındadır. Sistem, P dilinde model-checked bir protokol, deterministik simülasyon testleriyle doğrulanmış Rust istemcisi ve implementasyon izlerinin PObserve ile spesifikasyona karşı doğrulanması gibi biçimsel yöntemlerle desteklenir; bu da mühendislere hem performans hem de doğruluk garantisi sunar.

» KaynakHashnode #11