duckdb_object_storage: Sadece S3 Kovasıyla Çalışan Gerçek Bir DuckDB
DuckDB'nin kendi dosya formatını S3'te saklayan yeni eklenti: katalog, koordinatör ya da compactor olmadan tam bir veritabanı deneyimi.
duckdb_object_storage, yeni bir DuckDB topluluk eklentisi olarak, DuckDB'nin kendi dosya formatını (indeksler, kısıtlamalar, WAL dahil) doğrudan nesne depolamada tutmayı sağlıyor. Iceberg veya DuckLake gibi tablo formatlarının aksine ayrı bir katalog servisi, koordinatör ya da compactor gerektirmiyor; tüm metadata ve yazar kilitlemesi bile bucket içinde tutuluyor.
Eklenti SlateDB ve Apache OpenDAL üzerine inşa edilmiş; DuckDB'nin depolama motorunu değiştirmek yerine altındaki diski değiştiriyor, böylece ART indeksleri, zorunlu anahtarlar, checkpoint ve uzantılar laptop üzerindeki gibi davranıyor. Okuma performansı yerel DuckDB'ye yakın (yaklaşık %10 fark), soğuk S3 okumaları ise HTTPFS üzerinden yerel DuckDB'nin yaklaşık 1.2 katı.
Blok boyutuna hizalanmış 256 KiB parçalar sayesinde her DuckDB bloğu tam olarak bir nesneye denk geliyor, bu da okuma/yazmayı tek işleme indiriyor. Mühendisler için önemi, tek bir bucket dışında işletilecek hiçbir servis olmadan tam teşekküllü, ACID uyumlu bir veritabanını efemer compute üzerinde çalıştırabilmek.
Bu sentez, kaynağından yapay zeka tarafından üretildi; insan editör ya da elle onay adımı yoktur. Nasıl çalışıyoruz