AIXX Pedia › Technisches Konzept › Inferenzdurchsatz-Benchmarks
Der Inferenz-Durchsatz-Benchmark (Inference Benchmark) ist der zentrale Test zur Bewertung der Inferenzleistung einer GPU: Es geht nicht darum, „eine Standard-Software laufen zu lassen und eine Punktzahl abzulesen“, sondern „mit dem echten Modell, der echten Präzision und der echten Batch-Größe des eigenen Geschäftsmodells Durchsatz und Latenz auf der Ziel-GPU zu messen“ – der Wert eines Benchmarks liegt darin, der Realität nahe zu kommen, nicht darin, schöne Zahlen zu liefern.
Kernmetriken: Der Durchsatz (tokens/s, generierte Token pro Sekunde) bestimmt die Dienstkapazität; die Latenz (TTFT als Time-to-First-Token / ITL als Inter-Token-Latenz) bestimmt das Nutzererlebnis; die Anzahl gleichzeitiger Anfragen bestimmt die Dienstfähigkeit. Als Beschaffungsmanager sollte man sich auf Messungen mit der Kombination „Zielmodell + Zielpräzision + Ziel-Batch-Größe“ stützen – nicht auf die allgemeinen Benchmark-Punktzahlen der Hersteller.
| Position | Wert / Definition |
|---|---|
| Durchsatz | tokens/s (generierte Token pro Sekunde) |
| TTFT | Time-to-First-Token (TTFT, entscheidend für das Nutzererlebnis) |
| ITL | Inter-Token-Latenz (ITL, Indikator für Flüssigkeit) |
| Bestehensgrenze | ≥ 80 % des öffentlichen Benchmarks (Referenzrahmen der Rechtsprechung) |
FP4-Inferenz-Durchsatz-Benchmark des B300 – Beschaffer sollten den Benchmark mit dem echten Modell, der echten Präzision und der echten Batch-Größe ihrer eigenen Workloads auf dem B300 durchführen – die Demozahlen der Hersteller dürfen nicht als Beschaffungsgrundlage dienen. Empfohlene Benchmark-Tools: vLLM benchmark_serving / TensorRT-LLM benchmark / MLPerf Inference.