Samsung hat den branchenweit ersten High-Bandwidth-Memory (HBM) mit integrierter Rechenleistung für künstliche Intelligenz (KI) angekündigt, den HBM-PIM. Die neue Processing-in-Memory-Architektur (PIM) soll KI-Computing-Fähigkeiten in den Hochleistungsspeicher integrieren, um die Verarbeitung grosser Datenmengen in Rechenzentren, High-Performance-Computing (HPC)-Systemen und KI-fähigen mobilen Anwendungen zu beschleunigen.

High Bandwidth Memory kommt bereits als HBM und HBM2E auf manchen Rechenbeschleunigerkarten zum Einsatz. Es handelt sich um Chip-Stapel aus mehreren DRAM-Dies, die hohe Datentransferraten liefern, so das Unternehmen. Das ist insbesondere fürs KI-Training wichtig, bei dem grosse Datenbestände an Trainingsdaten durchforstet werden.

HBM-PIM opfert nun einen Teil der Siliziumfläche für vergleichsweise einfache Rechenwerke für FP16-Gleitkommazahlen: Addierer (Add) und Multiplizierer (Mul), die direkt mit den DRAM-Zellenfeldern verbunden sind. Diese Rechenwerke können also die bereits im DRAM gespeicherten Daten verarbeiten, ohne sie erst via Speicher-Controller und die Caches in die Rechenwerke des Prozessors zu schaufeln.

HBM-PIM liefert sozusagen anstelle der Rohdaten gleich ein Ergebnis, falls die zur Verfügung stehenden FP16-Rechenoperationen Add, Multiply, Multiply-Accumulate (MAC) und Multiply plus Add (MAD) für den Algorithmus ausreichen, wie "Heise.de" schreibt.

Gemäss Samsung kann HBM-PIM um bis zu 70 Prozent effizienter rechnen als ein herkömmlicher Prozessor – und ist dabei auch noch doppelt so schnell. Die aggregierte FP16-Rechenleistung eines HBM-PIM mit 6 Gigabyte Kapazität soll 1,2 Teraflops betragen. Die Programmable Compute Units (PCUs) laufen mit 300 MHz, das liegt im Bereich der Taktfrequenz der einzelnen Speicherzellen. (swe)