S3 Tables – AWS‘ vollständig verwalteter Iceberg-Speicher mit automatischer Tabellenwartung und Kompaktierung – unterstützt jetzt alle Apache-Iceberg-V3-Datentypen. V3 ist die Version, in der sich Icebergs Löschansatz auf eine Weise ändert, die für echte Pipelines relevant ist: Deletion Vectors ersetzen die rewrite-intensiven Delete-Dateien von V2.
In V2 führte jedes Löschen zu Rewrites von Datendateien und Delete-Dateien – teuer bei stark veränderten Tabellen. V3 führt positionsbasierte Löschvektoren ein: Löschungen werden als leichtgewichtige Zeilenpositionen erfasst, ohne ganze Dateien neu zu schreiben. Das führt direkt zu schnelleren Updates und günstigeren Speicheroperationen bei häufig modifizierten Tabellen.
V3 fügt außerdem Row Lineage-Metadaten hinzu – jede Zeile verfolgt ihre Herkunft und die Sequenznummer der letzten Aktualisierung –, was wirklich effiziente inkrementelle Pipelines ermöglicht.
AWS bietet Abwärtskompatibilität für beide Versionen, um Störungen zu minimieren. Bestehende V2-Reader funktionieren weiterhin mit aktualisierten Tabellen, bis Sie die V3-Funktionen vollständig übernehmen.
Das Upgrade ist atomar und erfordert kein Daten-Rewrite:
ALTER TABLE my_catalog.namespace.existing_table
SET TBLPROPERTIES ('format-version' = '3')
Beim nächsten Kompaktierungszyklus entfernt S3 Tables alte V2-Delete-Dateien. Neue Änderungen verwenden automatisch Deletion Vectors, und Row Lineage wird bei der ersten Datenänderung nach dem Upgrade initialisiert.
Ein Hinweis: Dies ist eine einseitige Operation – Iceberg unterstützt kein Downgrade von V3 auf V2. Stellen Sie sicher, dass alle Engines, die auf die Tabelle zugreifen, V3 unterstützen, bevor Sie das Upgrade durchführen.
Sobald Ihre Tabelle V3-Daten enthält, nutzen Sie Row Lineage, um effiziente inkrementelle Pipelines zu erstellen – zum Beispiel:
SELECT *, _row_id, _last_updated_sequence_number FROM ...
Statt vollständiger Scans oder Zeitstempel-Heuristiken können Sie genau die Zeilen verarbeiten, die sich seit einer bekannten Sequenznummer geändert haben.
Wenn Sie stark veränderte Iceberg-Tabellen auf S3 Tables betreiben, rechtfertigen allein die Deletion Vectors von V3 den Wechsel – günstigere Löschungen, keine vollständigen Datei-Rewrites, schnellere Kompaktierungen. Das atomare Upgrade ohne Rewrite macht es risikoarm; bestätigen Sie jedoch zuerst die Engine-Unterstützung, da es kein Zurück gibt.