Spec-Card SPEC CARD
NVIDIA H200 SXM
Der VRAM-Aufgerüstete im H100-Gehäuse — die Leistungsklasse bleibt bei 700 W, der Speicher wächst auf 141 GB HBM3e mit 4,8 TB/s, die Inferenz-Durchsatzrate für große Modelle verdoppelt sich; der HGX-H200-Acht-GPU-Server ist das neue Rückgrat für Inferenzcluster; nach der Exportlockerung für China 2026 in größeren Stückzahlen erwartet, die gefragte Ware am Spotmarkt für großen Speicher
Überblick
Der NVIDIA H200 SXM ist ein Rechenzentrum-GPU auf Basis der Hopper-Architektur und als VRAM-Aufwertung des H100 im selben Formfaktor positioniert. Die auffälligste Änderung: Der Speicher pro Karte steigt auf 141 GB HBM3e — laut Hersteller die weltweit erste GPU mit dieser HBM3e-Kapazität. Bei identischer Leistungsklasse wie der H100 gibt NVIDIA an, dass der Inferenzdurchsatz bei großen Sprachmodellen etwa doppelt so hoch ausfällt. Rechenleistungstechnisch unterstützt der H200 SXM FP64, FP32 und sämtliche Tensor-Core-Präzisionen; die FP8-Leistung liegt bei 4 PetaFLOPS (inkl. Sparsity). Als SXM-Modul lassen sich über NVLink mit 900 GB/s Vier- oder Acht-GPU-Systeme als HGX H200 aufbauen; typische Einsatzgebiete sind Inferenz und Training großer Modelle, HPC sowie Video-Decoding-Workloads — die Standardwahl für Inferenzcluster mit großem Speicher.
Kernspezifikationen
| Architektur | NVIDIA Hopper (GH100-Chip, TSMC-4N-Kundensonderprozess, 80 Mrd. Transistoren, 814 mm², derselbe GH100 wie beim H100 SXM) |
| Speicher | 141 GB HBM3e (6144 Bit Bus / 6,3 Gbps Pin-Rate, laut Hersteller die weltweit erste Einzel-GPU mit 141 GB HBM3e) |
| Speichertyp | HBM3e |
| Speicherbusbreite | 6144bit |
| VRAM-Bandbreite | 4.8TB/s |
| Rechenleistung | FP8 Tensor Core 3.958 TFLOPS (inkl. Sparsity, dicht 1.979); FP16/BF16 TC 1.979*; TF32 TC 989*; INT8 TC 3.958 TOPS*; FP64 TC 67; FP32 67; FP64 34 (SXM-Angaben, *=mit Sparsity) |
| Verbrauch | SXM bis 700 W (konfigurierbar); gleiche 700-W-Leistungsklasse wie der H100 SXM im selben Format |
| Interconnect | NVLink 900 GB/s + PCIe Gen5 128 GB/s; mit NVSwitch als HGX-H200-4/8-GPU-Vollverschaltung (8 GPUs zusammen über 32 PFLOPS FP8, zusammen 1,1 TB Speicher) |
| Erscheinungsjahr | 2024 |
| SM und CUDA-Kerne | 132 SM / 16.896 FP32-CUDA-Kerne |
| Boost-Takt | 1,980MHz |
| L2-Cache | 50MB |
| MIG-Slicing | Bis zu 7 Instanzen à 18 GB (je Instanz 18 GB, mehr als die 16,5 GB des H200 NVL und die 10 GB des H100) |
| Codecs | 7 NVDEC + 7 JPEG |
| Confidential Computing | Confidential Computing Supported |
| Formfaktor | SXM-Modul (flüssigkeitsgekühlt oder luftgekühlt je nach Gesamtsystem, als HGX H200 mit 4 oder 8 GPUs; AI Enterprise als kostenpflichtiges Add-on) |
Spezifikationen anhand offizieller Quellen verifiziert (
Offizielle Benchmarks , aktualisiert am 10.10.2026) · Der tatsächliche Preis richtet sich nach dem Angebot des Verkäufers
Einsatzszenarien
- Inferenz-Serving für große Sprachmodelle: Mit 141 GB Speicher passen größere Modelle oder längere Kontexte auf eine Karte; laut Herstellerangaben verdoppelt sich der Inferenzdurchsatz gegenüber dem Vorgänger — geeignet für produktionsreife LLM-APIs und Batch-Inferenz
- Training und Fine-Tuning großer Modelle: Als HGX-H200-System mit vier oder acht GPUs und NVLink mit 900 GB/s erreicht der Acht-GPU-Verbund über 32 PetaFLOPS FP8 — genug für Training und parameter-effizientes Fine-Tuning sehr großer Modelle
- Multi-Instance-Inferenz und GPU-Aufteilung: Per MIG lassen sich bis zu 7 Instanzen (je 18 GB) einrichten — ideal für Cloud-Anbieter, um mehreren Mandanten isolierte Inferenzressourcen auf derselben physischen Karte bereitzustellen
- Video- und Bildverarbeitungs-Pipelines: Mit 7 NVDEC-Decodern und 7 JPEG-Engines lassen sich neben der Modell-Inferenz parallel groß angelegte Video-Transkodierungs- und Bild-Decoding-Aufgaben erledigen
Modelle der Familie
| Modell | Speicher | Verbrauch |
|---|
| NVIDIA T4 Vergleich | 16GB GDDR6 mit ECC (standardmäßig aktiviert) | 70W (Gesamtboardleistung, Standard) |
| NVIDIA A100 Vergleich | 40GB HBM2 / 80GB HBM2e in zwei Varianten (80-GB-Variante nachgelegt auf der SC20 am 16.11.2020), mit ECC | SXM4 400W (40GB/80GB identisch); PCIe-Version 40GB 250W / 80GB 300W |
| NVIDIA H20 Vergleich | 96GB HBM3 (konsistent bei Flopper/VipraTech/Tencent News) | 400W TDP (dreifach belegt: Flopper/VipraTech-Datenblatt/Tencent News mit „Wärmeleistung 400W“; widersprüchliche Angabe 350W im VipraTech-Fließtext verworfen) |
| NVIDIA GB300 Vergleich | 288GB HBM3e (pro GPU-Package; 576GB im Superchip; parallel HGX auf Board-Ebene 2,1 TB / Rack 20 TB) | TGP bis 1400W |
| NVIDIA A30 Vergleich | 24 GB HBM2 | 165 W |
| NVIDIA GeForce RTX 4090 Vergleich | 24GB GDDR6X | 450W TGP (Spiele im Schnitt 315W, empfohlenes Netzteil 850W) |
Videoerklärung VIDEO
Wichtige Punkte für Kauf und Prüfung
- Leistung und Kühlung im Rechenzentrum prüfen: Der H200 SXM ist ein SXM-Modul mit max. 700 W TDP (konfigurierbar); Stromversorgungsredundanz und Kühlkonzept (flüssigkeitsgekühlt oder luftgekühlt) des Gesamtsystems (HGX H200 mit vier oder acht GPUs) müssen passen — nicht nach H100-Basisplanen kalkulieren, sonst reicht die Reserve nicht
- Speicher und Verschaltung bei der Warenannahme prüfen: Bestätigen, dass es sich um die SXM- und nicht die H200-NVL-Variante handelt (Unterschiede bei Leistungsklasse, Formfaktor und Verschaltung); die SXM-Version setzt auf Board-Level-NVLink und läuft nicht ohne HGX-Baseboard — beim Kauf eines Gesamtsystems die NVLink-900-GB/s-Konfiguration gegenprüfen
- Software und Compliance: Lieferkanal und Charge beim Systemhersteller bzw. Cloud-Anbieter klären und prüfen, ob eine NVIDIA-AI-Enterprise-Zusatzlizenz nötig ist; bei exportkontrollrelevanten Käufen die jeweilige Compliance-Einstufung bestätigen — die Karte unterstützt zudem Confidential Computing, was bei Sicherheitsisolationsanforderungen in der Abnahme verifiziert werden sollte
FAQ
Was unterscheidet H200 und H100?
Der H200 ist die Speicher-Aufwertung des H100: Der VRAM wächst auf 141 GB HBM3e, während die Leistungsklasse unverändert bleibt (max. 700 W, konfigurierbar). Laut Hersteller verdoppelt sich der LLM-Inferenzdurchsatz gegenüber dem H100 etwa. Beide gehören zur Hopper-Architektur; Rechenleistung und Software-Ökosystem sind nahezu identisch.
H200 SXM oder H200 NVL — welche Variante?
Beide haben 141 GB Speicher, unterscheiden sich aber deutlich: Das SXM-Modul ist Baseboard-integriert, verschaltet per NVLink mit 900 GB/s, hat max. 700 W TDP und passt zu HGX-Gesamtsystemen und dichten Clustern; die NVL ist eine luftgekühlte Zwei-Slot-PCIe-Karte mit max. 600 W, verschaltet per NVLink-Bridge mit 2 oder 4 GPUs und hat eine niedrigere Rechenleistungsklasse. Für selbst gebaute, dichte Inferenzcluster meist ein SXM-Gesamtsystem; bei vorhandenen PCIe-Servern oder beengtem Platzraum die NVL.
Welche Modelle passen in den 141-GB-Speicher des H200?
Mit 141 GB pro Karte lassen sich die meisten gängigen Open-Source-Großmodelle vollständig zur Inferenz laden oder deutlich längere Kontextfenster bedienen; als HGX-H200-Acht-GPU-System mit NVLink stehen zusammen 1,1 TB bereit — genug für Inferenz und Training von Modellen im Hundert-Milliarden-Parameterbereich. Die tatsächlich deploybare Größe hängt zudem von Quantisierungspräzision, KV-Cache-Länge und Framework-Implementierung ab.