Apache Iceberg ist ein Open-Source-Projekt aus dem Hause Dremio, das bereits seit einiger Zeit produktionsreif ist und unter anderem bei Unternehmen wie Netflix, Adobe und Apple zum Einsatz kommt. Mit dem Release der Version 1.0 stärkt das Entwicklerteam von Dremio nun die API-Stabilität. Damit möchte man die Technologie besonders für Data Warehousing und Data Science in Open-Lakehouse-Umgebungen fit halten.
Neben der API-Stabilität verbesserte Dremio auch die Kompatibilität des gesamten Ökosystems. In der Vergangenheit mussten jedes Mal, wenn ein neuer Katalog für das Tracking von Metadaten eingeführt wurde, neue Schnittstellen und unterstützende Bibliotheken erstellt werden. Mit der Einführung des neuen REST-Kataloges schafft das Entwicklerteam von Dremio nun eine universelle Schnittstelle. Dies ermöglicht es jedem, seinen eigenen Katalog als REST-API zu implementieren. Wer nun also einen neuen Katalog einführt, muss dafür nicht extra neue Schnittstellen und Bibliotheken erstellen – die REST-API erübrigt dies.
Darüber hinaus kündigt Dremio via
Blog-Post auch eine Palette an neuen Features an, die mit der Version 1.0 eingeführt werden. Zum Beispiel ist es mithilfe des hauseigenen Dienstes Spark neu möglich, Merge-on-Read für Lösch-, Aktualisierungs- oder Zusammenführungsabfragen zu nutzen. Vor dem Update resultierte der Versuch, Merge-on-Read für Aktualisierungen oder Zusammenführungen zu verwenden, regelmässig in Fehlermeldungen. Ausserdem wird die Zeitreise-Funktion mit dem Update direkt in Spark SQL integriert. Wer den vergangenen Zustand einer Tabelle abfragen wollte, musste dafür bisher Python oder Scala verwenden. Dies erübrigt sich nun. Daneben präsentiert Dremio mit dem Release der Version 1.0 viele weitere kleine und grössere Updates, über die das Entwicklerteam via
Blog-Post ausführlich informiert.
(rf)
