Multi-Terabyte-Datenbanken mit Sub-Millisekunden-Speed

von Urs Binder

3. April 2019 - Mit der Enterprise-Variante der In-Memory-Datenbank Redis lassen sich riesige Data Sets mit extrem hoher Geschwindigkeit verarbeiten – vor allem, wenn dazu moderne Persistent-Memory-Technologie zum Einsatz kommt.

Redis Enterprise ist eine In-Memory-Datenbank, die eine Vielzahl von Datenbankmodellen unterstützt und für besonders hohe Performance bekannt ist. Die Software ist auf Intels Persistent-Memory-Technologie getrimmt und unterstützt sowohl deren Memory- als auch den App-Direct-Mode. Die Hersteller Redis Labs und Intel haben während der Entwicklung des Optane DC Persistent Memory eng zusammengearbeitet, damit der anerkannt hohe Redis-Speed auch mit den von Intel soeben am Data-Centric Innovation Day angekündigten Optane-DC-DIMMs funktioniert.

Ein Benchmark-Test zeigt nun, dass das geklappt hat. Ein einziger Cluster-Knoten bewältigte im Test ein Multi-Terabyte-Datenset und leistete dabei eine Million Datenbankoperationen pro Sekunde mit einer Latenz geringer als eine Millisekunde. Mehr als 80 Prozent der Requests wurden dabei aus dem Persistent Memory erledigt. Im Vergleich zu herkömmlichen, DRAM-basierten Szenarien ist die Variante mit dem Optane-Speicher um bis zu 40 Prozent kostengünstiger. Die Technologie lässt sich laut Hersteller bis in den Petabyte-Bereich skalieren.