Neuer Rekord: IBM durchsucht 10 Milliarden Dateien in 43 Minuten

Neuer Rekord: Forschern von IBM ist es gelungen, innert 43 Minuten 10 Milliarden Dateien zu scannen und auszulesen. Damit habe man einen weiteren Schritt hin zu künftigen Speichersystemen mit extrem grossem Datenbestand getan, so IBM. Beim bestehenden Rekord, der nun um den Faktor 37 verbessert wurde, wurden eine Milliarde Dateien innert drei Stunden ausgelesen. Beim Rekord kam IBMs General Parallel File System (GPFS) zur Anwendung, ein hochskalierbares, geclustertes, paralleles Dateisystem, das bereits 1998 entwickelt wurde. Das System lief auf einem Cluster von 10 Achtkern-Serversystemen mit SSD-Speicher, wobei der GPFS-Algorithmusdie komplette Ausnutzung aller Prozessorkerne in allen Maschinen und allen Aufgabenphasen erlaubte.


"GPFS ist ein wichtiger Schritt für das weitere Wachstum von Speicherleistung und -kapazität, während die Administrationskosten nicht weiter steigen sollen. Mit dieser Verbesserung können Organisationen besser mit dem explosionsartigen Datenwachstum durch eine Vielzahl von Transaktionen und digitalen Sensoren und anderen datenliefernden Geräten fertigwerden, die in heutigen intelligenten Infrastrukturen entstehen", so IBM. Damit sei das Werkzeug besonders geeignet für Anwendungen, die sehr schnellen Zugang zu grossen und grössten Datenmengen benötigen, wie etwas Data-Mining-Lösungen, um etwa das Kundenkaufverhalten besser erkennen zu können. (mw)