AIXX Pedia › Technisches Konzept › Inferenz-Optimierungsstack
Der Inference-Optimierungs-Stack ist die vollständige technische Architektur für Inferenzdienste großer Sprachmodelle – von unten nach oben: Hardware-Schicht (GPU/Interconnect/Speicher) → Compiler-Schicht (TensorRT-LLM / vLLM / SGLang) → Service-Schicht (Batching/Routing/Caching/Monitoring) → Geschäftsschicht (Nutzeranfragen/API-Gateway/Abrechnung). Jede Schicht bietet Optimierungspotenzial – Inferenzoptimierung ist kein Einzelpunkt, sondern Full-Stack-Engineering.
Überblick über die zentralen Optimierungstechniken: PagedAttention (KV-Cache-Paging), Continuous Batching (dynamisches Batching), Speculative Decoding, Chunked Prefill, FP8/FP4-Quantisierung, Prefix Caching – jede Technik bringt eigenständige Durchsatz-/Latenzgewinne, die sich bei Kombination addieren.
| Position | Wert / Definition |
|---|---|
| PagedAttention | KV-Cache-Paging (vom vLLM-Team eingeführt) |
| Continuous Batching | Dynamisches Batching (mehrfacher Durchsatzzuwachs) |
| Speculative Decoding | Speculative Decoding (kleines Modell rät, großes Modell verifiziert) |
| Prefix Caching | Prefix Caching (geteilter Prompt ohne Neuberechnung) |
Der B300 deckt den gesamten Inference-Optimierungs-Stack ab: FP4/FP8-Quantisierung (Hardware-Schicht) + TensorRT-LLM/vLLM-Compiler (Compiler-Schicht) + In-flight Batching/Prefix Caching (Service-Schicht) – jede Schicht liefert eigenständige Optimierungsgewinne, die sich bei Kombination addieren. Bei der Auswahl ist die Vollständigkeit des Inferenz-Stacks wichtiger als die Spitzenleistung einzelner Komponenten.