Was kann der neue «Superchip» von Nvidia? Porträt eines High Performers
Die Hardware hinter der künstlichen Intelligenz wird besser.
Der neue Computerchip GH200 Grace Hopper leistet mehr als 4000 Smartphones zusammen.
Der Computerchip GH200 Grace Hopper ist leistungsstärker als 4000 Smartphone-Prozessoren zusammen.
Die Sanduhr dreht. Und dreht. Und dreht. Wer eine künstliche Intelligenz dafür einsetzt, ein Bild oder einen Text zu generieren, muss Geduld haben. Dabei ist die Wartezeit nichts im Vergleich mit der Zeit, die es braucht, um die Modelle hinter den KI-Generatoren zu trainieren. Chat-GPT zum Beispiel brauchte 34 Tage und verbrauchte in dieser Zeit etwa so viel Strom wie tausend Haushalte pro Jahr – für das Training allein.
Kein Wunder also, versuchen Ingenieurinnen und Programmierer weltweit, KI-Modelle effizienter zu machen. Nvidia, der Hardwaregigant aus dem Silicon Valley, wird im Jahr 2024 einen Prozessor mit dem Namen GH200 Grace Hopper auf den Markt bringen, der KI stärker beschleunigen soll als alle, die vor ihm kamen.
Um eine KI zu trainieren, müssen Computer extrem viele Berechnungen ausführen – und zwar nicht eine nach der anderen, sondern möglichst gleichzeitig, parallel. Das braucht viel Rechenleistung – und Memory, also Speicherkapazität. Genau darauf ist Grace Hopper optimiert.
Was steckt drin, im neuen «Superchip»?
200 Milliarden Mal eins oder null
Das Herzstück eines jeden Computers ist eine Platte mit Transistoren. Sie agieren als Schalter und wechseln zwischen zwei Zuständen: an und aus, eins und null. Computer können damit rechnen, also Daten prozessieren, darstellen, abspeichern.
Was den meisten Menschen wie Magie vorkommt, beschäftigt Frank Gürkaynak, der an der ETH zu Computerchips forscht, im Alltag. Er sagt: «Je mehr Transistoren, desto schneller ein Computerchip – in der Theorie.»
Ob Grace Hopper mit 200 Milliarden Transistoren tatsächlich schneller rechnen kann als ein modernes Smartphone mit etwa 16 Milliarden, bestimmen zwei wesentliche Punkte: zum einen die Effizienz der vielen Programme, die zwischen der Hardware und dem Endnutzer zwischengeschaltet sind, also die Algorithmen, mit denen der Chip zum Rechnen aufgefordert wird.
Und zum anderen die Datenstruktur der Rohdaten: Nur wenn diese sauber aufbereitet und gut organisiert in den Chip gespeist werden, kann er seine Kapazität auslasten.
Inwiefern das im neuen Grace Hopper tatsächlich gelingt, ist noch unklar. Vor der Auslieferung der Chips im Jahr 2024 können keine unabhängigen Analysen gemacht werden.
Jensen Huang, Gründer und CEO von Nvidia, stellt Ende Mai 2023 den GH200 Grace Hopper an einer IT-Konferenz in Taipeh, Taiwan, vor. Links ein Cluster der Chips, die im Verbund wie ein Supercomputer funktionieren.
Rechenleistung: 4000-mal so schnell wie ein Smartphone
Wozu die vielen Milliarden Transistoren fähig sind, zeigt die Angabe zur Rechenleistung. Grace Hopper rechnet in einer Geschwindigkeit von 8 Petaflops. Das bedeutet, dass der Chip in einer Sekunde 8 Billiarden Berechnungen durchführen kann.
Wie gross diese Zahl ist, zeigt ein Gedankenexperiment: Sagen wir, alle Menschen in der Schweiz, vom Säugling bis zur Altersheimbewohnerin, müssten je eine Milliarde Rechenprobleme lösen. Das ist innerhalb der menschlichen Lebenszeit zwar unmöglich. Gelänge es aber trotzdem, hätte die Schweiz eine Rechenleistung von 8 Petaflop: 8 Millionen Menschen mal eine Milliarde Berechnungen, das sind 8 Billiarden Berechnungen. Grace Hopper schafft das in einer Sekunde.
Damit ist Grace Hopper rund 4000-mal so schnell wie ein heutiges Smartphone. Oder anders gesagt: Wollte man die Rechenleistung von Grace Hopper in Smartphones ausdrücken, müsste man 4000 der schnellsten Geräte, die gegenwärtig im Handel erhältlich sind, aneinanderhängen. Würde man ihnen die Prozessoren ausbauen und diese auf dem Fussboden auslegen, hätte man eine Fläche von über zwei Quadratmetern. Grace Hopper hingegen ist etwa so gross wie eine Hand.
Speicherkapazität: Als würde man 17 Tage lang fernsehen
Doch nur schnell sein ist im KI-Zeitalter nicht genug – es braucht auch eine besonders grosse Speicherkapazität, um die grossen Datenmengen verarbeiten zu können, die im Training und bei der Verwendung von KI-Algorithmen nötig sind.
Grace Hopper hat eine Speicherkapazität (Memory) von 1,2 Terabyte. Damit lässt sich eine Datenmenge von rund 400 Stunden Video speichern, also etwa 200 Filme. Würden diese aneinandergehängt und ohne Pause abgespielt, müsste man 17 Tage und Nächte lang fernsehen.
Im Vergleich zu seiner Vorgängerversion hat der neue Grace Hopper dreimal mehr Memory. Deshalb ist er laut Nvidia dreimal so schnell bei KI-Anwendungen.
Aber auch dazu sagt der Hardware-Forscher Gürkaynak: «Nur mehr Memory und mehr Flops führen nicht automatisch zu einer höheren Performance.» Was Computerchips wirklich schneller macht, ist die Fähigkeit, die Daten effizient zu jenen Prozessoren zu leiten, die Berechnungen ausführen. «Das ist die grosse Herausforderung für alle Hardwarehersteller.»
CPU und GPU zusammen: ein «Superchip»
Um den Datenfluss mindestens innerhalb des Chips möglichst schnell zu gestalten, hat sich Nvidia einiges einfallen lassen. Grace Hopper kombiniert eine CPU, also eine Central Processing Unit, mit einem Grafikprozessor, einer GPU. GPU wurden einst für die Grafik in Videospielen entwickelt. Heute werden sie aber überall dort eingesetzt, wo viele Rechnungen parallel laufen – also gerade auch bei der KI.
Die Kombination aus CPU und GPU macht Grace Hopper in den Augen Nvidias zum «Superchip». Benannt wurde er übrigens nach einer Frau: Grace Hopper war eine amerikanische Navy-Admiralin und Ingenieurin, die 1944 am ersten Computer, Mark I, arbeitete und dabei die Programmiersprache Cobol erfand, die bis heute verwendet wird.
Zwar arbeiten viele Unternehmen heute mit einer Kombination aus CPU und GPU. Aber die Frage ist, wie die beiden Teile miteinander verbunden sind – also wie schnell Daten zwischen ihnen hin- und herfliessen können. Die Kennzahl dazu sind 900 Gigabytes pro Sekunde, das ist 700-mal so schnell wie eine Mobilfunkverbindung mit 5G und würde es erlauben, in einer einzigen Sekunde über hundert Kinofilme hin- und herzuschicken.
Auch hier gilt: Inwiefern das im neuen Grace Hopper tatsächlich gelingt, ist noch ungeprüft. Im Moment sind schliesslich erst die Kennzahlen aus dem Marketingmaterial erhältlich, keine unabhängigen Analysen.
Die Kombination von Grace-CPU (links) und Hopper-GPU (rechts) macht GH200 Grace Hopper zum «Superchip». Foto des GH200 Grace Hopper vom 29. Mai 2023, Taipeh, Taiwan.
Stromverbrauch: etwa so viel Strom wie ein Föhn
Wer so viel rechnet wie Grace Hopper, braucht auch viel Energie. Die Herstellerin Nvidia lässt eine Anfrage der NZZ zum genauen Stromverbrauch eines einzelnen Chips unbeantwortet. Aber aus Angaben zu Rechenzentren, die mit Grace Hopper ausgerüstet werden sollen, lässt sich der ungefähre Strombedarf errechnen. Demnach benötigt ein einzelner Chip etwa 1230 Watt – ungefähr so viel wie ein Föhn.
Nun wird Grace Hopper aber wohl nur sehr selten allein eingesetzt. Denn entwickelt wurde der Chip als Teil eines grösseren Systems, ideal für Rechenzentren. Nun will Nvidia 256 Grace-Hopper-Chips aneinanderhängen und damit ein Supercomputer bauen. Gelingt das Vorhaben, dürfte es das System nächstes Jahr auf Anhieb auf die Liste der fünfzig schnellsten Computer schaffen.
Benötigen die einzelnen Chips viel Strom, gilt das umso mehr für ganze Rechenzentren. Nun betont Nvidia in den Marketingunterlagen aber immer wieder, dass Grace Hopper für KI-Anwendungen 20-mal weniger Strom verbrauche als vergleichbare Systeme. Ein grosses Rechenzentrum verbraucht aber trotzdem schnell so viel Elektrizität wie eine Kleinstadt.
Potenzial: KI wird alltäglich
Sollte Nvidia das Marketingversprechen einhalten, könnte der neue Chip die technischen Voraussetzungen dafür schaffen, dass sich diverse neue KI-Anwendungen wirtschaftlich lohnen. Schliesslich erhoffen sich unzählige Branchen Durchbrüche dank KI, vom autonomen Autofahren über die Entwicklung von neuen Medikamenten bis zur genaueren Vorhersage von Naturkatastrophen.
Egal, ob man KI also dafür einsetzt, seine Weihnachtskarten zu schreiben oder neue Medikamente zu entwickeln: Die Sanduhr dürfte künftig immer weniger lange drehen.
