Spec-Card SPEC CARD
NVIDIA L4
Stromsparende Hauptkarte für Inferenz, große Verfügbarkeit auf dem chinesischen Markt, Vertreter der B-Stock-Nischenware

Offizielles Herstellerbild von NVIDIA
Echtaufnahme
Echtaufnahmen
Überblick
Die NVIDIA L4 ist eine stromsparende Data-Center-GPU für Inferenz-Szenarien, basierend auf dem AD104-Chip in einem einschägigen Low-Profile-Format mit PCIe-Anbindung. Sie verfügt über 24 GB Videospeicher mit einer Bandbreite von 300 GB/s, bietet 30,3 TeraFLOPs FP32-Leistung und erreicht mit FP8 Tensor Cores bis zu 485 TeraFLOPS. Mit einem TDP von nur 72 W lässt sie sich in großen Stückzahlen in Standardservern betreiben und wird typischerweise für energieeffizienzkritische Workloads wie LLM-Inferenz sowie Bild- und Videoverarbeitung eingesetzt.
Kernspezifikationen
| Speicher | 24 GB GDDR6 |
| VRAM-Bandbreite | 300 GB/s |
| FP32-Leistung | 30.3 teraFLOPS |
| FP8-Rechenleistung | 485 teraFLOPS |
| TDP-Leistungsaufnahme | 72 W |
| Interconnect | PCIe Gen4 x16 |
| Formfaktor | 1-slot low-profile |
| Codecs | NVENC 2 | NVDEC 4 | JPEG 4 |
Spezifikationen anhand offizieller Quellen verifiziert (
Offizielle Benchmarks , aktualisiert am 09.10.2026) · Der tatsächliche Preis richtet sich nach dem Angebot des Verkäufers
Einsatzszenarien
- LLM-Inferenzdienste: Mit 24 GB Videospeicher lassen sich mehrere Instanzen mittelgroßer Modelle betreiben; FP8/INT8 Tensor Cores liefern hohen Durchsatz bei Quantisierung
- Video-Transkodierung und Bildverarbeitung: mit 2 NVENC-, 4 NVDEC-Einheiten und 4 JPEG-Decodern gut geeignet für Video-on-Demand, Live-Transkodierung und Batch-Bildverarbeitung
- Stromsparende High-Density-Deployments: 72 W TDP und das einschägige Low-Profile-Format passen in Standardservergehäuse mit eingeschränkter Strom- und Kühlversorgung und erhöhen die GPU-Dichte pro Server
- Empfehlung für Systeme und Online-Inferenz-APIs: PCIe Gen4 x16 (64 GB/s) deckt den Datenaustausch bei Single-Node-Inferenz ab und eignet sich für den Aufbau von Online-Service-Backends
Modelle der Familie
| Modell | Speicher | Verbrauch |
|---|
| NVIDIA T4 Vergleich | 16GB GDDR6 mit ECC (standardmäßig aktiviert) | 70W (Gesamtboardleistung, Standard) |
| NVIDIA A100 Vergleich | 40GB HBM2 / 80GB HBM2e in zwei Varianten (80-GB-Variante nachgelegt auf der SC20 am 16.11.2020), mit ECC | SXM4 400W (40GB/80GB identisch); PCIe-Version 40GB 250W / 80GB 300W |
| NVIDIA H20 Vergleich | 96GB HBM3 (konsistent bei Flopper/VipraTech/Tencent News) | 400W TDP (dreifach belegt: Flopper/VipraTech-Datenblatt/Tencent News mit „Wärmeleistung 400W“; widersprüchliche Angabe 350W im VipraTech-Fließtext verworfen) |
| NVIDIA GB300 Vergleich | 288GB HBM3e (pro GPU-Package; 576GB im Superchip; parallel HGX auf Board-Ebene 2,1 TB / Rack 20 TB) | TGP bis 1400W |
| NVIDIA A30 Vergleich | 24 GB HBM2 | 165 W |
| NVIDIA GeForce RTX 4090 Vergleich | 24GB GDDR6X | 450W TGP (Spiele im Schnitt 315W, empfohlenes Netzteil 850W) |
Videoerklärung VIDEO
Wichtige Punkte für Kauf und Prüfung
- Die L4 ist eine einschägige PCIe-Low-Profile-Karte mit 72 W TDP und benötigt in der Regel keine speziellen Kühlmodule oder Netzteilanpassungen; dennoch sollte die Kompatibilität des Gehäuses mit Low-Profile-Karten sowie das physische Slot-Layout und der Luftstrom geprüft werden
- Die Karte nutzt PCIe Gen4 x16 statt NVLink und bietet daher keine Hochbandbreiten-Direktverbindung zwischen mehreren GPUs; vor dem Kauf sollte geklärt werden, ob die Workloads auf Multi-GPU-Training angewiesen sind — bei vorwiegendem Inferenzeinsatz ist der Einfluss gering
- Beachten Sie, dass die Speicherbandbreite mit 300 GB/s unter der zeitgleicher High-End-Data-Center-Karten liegt; bei bandbreitenkritischen großen Modellen sollten Sie den Durchsatz pro Karte anhand Modellgröße und Parallelität bewerten und nicht linear aus der FP32-Leistung auf die reale Inferenzleistung schließen
FAQ
Wie große LLM-Inferenz bewältigt die NVIDIA L4?
Die L4 verfügt über 24 GB Videospeicher und kann Modelle im Bereich einiger Milliarden Parameter vollständig aufnehmen oder über Quantisierung (z. B. FP8/INT8) größere Modelle tragen. Bei sehr großen Modellen ist meist Tensor-Parallelismus über mehrere Karten nötig; da die L4 jedoch nur PCIe Gen4 x16 (64 GB/s) bietet, ist die Kommunikationsbandbreite niedriger als bei NVLink-Lösungen — die tatsächliche Inferenzlatenz sollte geprüft werden.
Die L4 verbraucht nur 72 W — reicht die Leistung aus?
Ein TDP von 72 W zeigt: Sie ist als effizienzorientierte Inferenzkarte konzipiert, nicht als Trainingskarte. Die FP8 Tensor Cores erreichen bis zu 485 TeraFLOPS, INT8 bis zu 485 TOPs; dank des geringen Verbrauchs lässt sie sich dicht in Standardservern packen. Geeignet für Inferenz- und Videoworkloads, aber nicht für großangelegtes Training empfohlen.
Lässt sich die L4 in einen normalen 1U/2U-Server einbauen?
Ja. Die L4 ist als einschägige 1-slot-low-profile-Karte ausgelegt, wird über den PCIe-Slot mit Strom und Daten versorgt und benötigt keine zusätzlichen Stromkabel, was die Gehäusekompatibilität vereinfacht. Beim Deployment sollten vor allem der Luftstrom am Slot und die Bereitstellung eines PCIe-Gen4-x16-Platzes auf dem Mainboard geprüft werden, um die 64 GB/s Schnittstellenbandbreite voll auszuschöpfen.