SECTIONS
EDITIONS
NETWORK
AIXX Pedia Die Enzyklopädie der Rechenleistung
Spec-Card SPEC CARD

NVIDIA H100 NVL

94 GB HBM3 pro Karte, 188 GB per NVLink-Bridge im Duo, dedizierte Karte für LLM-Inferenz im 70B-Klasse-Bereich, 350–400 W luftgekühlt im Dual-Slot-Format und colocationfreundlich, NVIDIA AI Enterprise im Lieferumfang, der Quasi-Flaggschiff-Kandidat, an dem man auf dem Gebrauchtmarkt nicht vorbeikommt
Offizielles Herstellerbild zur NVIDIA H100 NVL
Offizielles Herstellerbild von NVIDIA

Überblick

Die NVIDIA H100 NVL ist ein von NVIDIA auf Basis der Hopper-Architektur entwickelter Datacenter-GPU im PCIe-Format, positioniert als Quasi-Flaggschiff für Szenarien mit großem Videospeicher und Inferenz. Eine einzelne Karte ist mit 94 GB HBM3 ausgestattet; über eine NVLink-Bridge lassen sich zwei Karten zu einem gemeinsamen Speicherpool von 188 GB verbinden, was sie für die Inferenz großer Sprachmodelle mit vielen Parametern geeignet macht. Die Karte ist als luftgekühltes Dual-Slot-Design ausgelegt, die TDP lässt sich in einem gewissen Rahmen konfigurieren, was den Einsatz in Standard-Rack-Umgebungen erleichtert. Zwischen den Karten stehen über NVLink 600 GB/s Interconnect-Bandbreite in beide Richtungen zur Verfügung, zusätzlich unterstützt die Karte PCIe Gen5 als Host-Interface. Im Lieferumfang enthalten ist das NVIDIA-AI-Enterprise-Softwarepaket, das Anforderungen an unternehmensgerechte KI-Inferenz und -Deployment abdeckt.

Kernspezifikationen

ArchitekturNVIDIA Hopper
Speicher94GB
SpeichertypHBM3
VRAM-Bandbreite3.9TB/s
FP64-Leistung30 teraFLOPs
FP64 Tensor Core60 teraFLOPs
FP32-Leistung60 teraFLOPs
FP8-Rechenleistung3,341 teraFLOPS
FP16-Leistung1,671 teraFLOPS
INT8-Leistung3,341 TOPS
TDP-Leistungsaufnahme350-400W (configurable)
InterconnectNVIDIA NVLink: 600GB/s | PCIe Gen5: 128GB/s
FormfaktorPCIe dual-slot air-cooled
MIG-SlicingUp to 7 MIGS @ 12GB each
Codecs7 NVDEC | 7 JPEG
Spezifikationen anhand offizieller Quellen verifiziert ( Offizielle Benchmarks , aktualisiert am 09.10.2026) · Der tatsächliche Preis richtet sich nach dem Angebot des Verkäufers

Einsatzszenarien

Modelle der Familie

ModellSpeicherVerbrauch
NVIDIA T4 Vergleich16GB GDDR6 mit ECC (standardmäßig aktiviert)70W (Gesamtboardleistung, Standard)
NVIDIA A100 Vergleich40GB HBM2 / 80GB HBM2e in zwei Varianten (80-GB-Variante nachgelegt auf der SC20 am 16.11.2020), mit ECCSXM4 400W (40GB/80GB identisch); PCIe-Version 40GB 250W / 80GB 300W
NVIDIA H20 Vergleich96GB HBM3 (konsistent bei Flopper/VipraTech/Tencent News)400W TDP (dreifach belegt: Flopper/VipraTech-Datenblatt/Tencent News mit „Wärmeleistung 400W“; widersprüchliche Angabe 350W im VipraTech-Fließtext verworfen)
NVIDIA GB300 Vergleich288GB HBM3e (pro GPU-Package; 576GB im Superchip; parallel HGX auf Board-Ebene 2,1 TB / Rack 20 TB)TGP bis 1400W
NVIDIA A30 Vergleich24 GB HBM2165 W
NVIDIA GeForce RTX 4090 Vergleich24GB GDDR6X450W TGP (Spiele im Schnitt 315W, empfohlenes Netzteil 850W)

Videoerklärung VIDEO

Weiterführende Lektüre:H100 · Deep-Dive-Eintrag

Wichtige Punkte für Kauf und Prüfung

FAQ

Was unterscheidet die H100 NVL von der regulären PCIe-Version der H100?
Die H100 NVL ist eine PCIe-Variante der H100; der wesentliche Unterschied liegt in der NVLink-Bridge-Fähigkeit, mit der sich zwei Karten zu einem gemeinsamen Speicherpool von 188 GB verbinden lassen – konzipiert für Inferenzszenarien, die einen großen Speicher über Karten hinweg erfordern. Die Standard-PCIe-Version bietet in der Regel ab Werk keine Bridge-Lösung. Beide basieren auf der Hopper-Architektur.
Reichen 94 GB pro Karte für große Modelle? Wann braucht man die Dual-Karten-Bridge?
Das hängt von der Parameterzahl des Modells und der gewählten Quantisierung ab. Reicht der Speicher einer einzelnen Karte nicht aus, um die Modellgewichte plus KV-Cache und weiteren Laufzeit-Overhead zu fassen, lassen sich zwei H100 NVL per NVLink zu 188 GB gemeinsamem Speicher verbinden. Der so gebildete Speicherpool wird über NVLink mit 600 GB/s angebunden – die Kommunikationseffizienz liegt damit deutlich über der von Multi-Karten-Setups über PCIe Gen5.
Eignet sich die H100 NVL für Vermietung oder Colocation? Wozu dient MIG?
Ja. Die Karte ist als Standard-PCIe-Dual-Slot-Karte luftgekühlt ausgelegt, und die konfigurierbare TDP erlaubt den Einsatz in gewöhnlichen Rack-Servern – die Colocation-Hürde ist relativ niedrig. Per MIG lässt sich eine Karte physisch in bis zu 7 voneinander isolierte Instanzen mit jeweils 12 GB Speicher unterteilen, was für Cloud-Provider oder Teams ideal ist, die eine Karte auf mehrere Mandanten oder mehrere leichte Inferenzaufgaben verteilen wollen.
Vertiefende Lektüre:H100-NVL Deep-Dive-Eintrag · Deep-Dive-EintragH100 vs H100-NVL · Deep-Dive-EintragH200-NVL vs H100-NVL · Deep-Dive-EintragNVIDIA A10 · Deep-Dive-EintragNVIDIA A100 · Deep-Dive-Eintrag
Datenstand 09.10.2026 · Zum Deep-Dive-Eintrag Redaktionsrichtlinien Prozess
Datenbank
RedaktionsrichtlinienInteressenmeldung zu dieser DatenbankKorrekturkanal
Auszug aus der Redaktionsverfassung
Jede Aussage mit QuelleSchwächen immer benannt · Korrekturen öffentlich dokumentiertKeine bezahlten EinträgeKeine Werbung oder Verkaufselemente in EinträgenMarktdaten ausschließlich als Datenmodul eingebunden
AIXX-Familie
AIXX PediaAIXX BörseAIXX News
Quellen der Marktdaten: AIXX Börse · © 2026 AIXX Pedia · Ein Angebot von AIXX