← News-Übersicht | Spotmarkthalle

Google开源TPU Sync:KV-Cache-Transfer-Bibliothek beschleunigt LLM-Inferenz

2026-11-13 · Quelle:MarkTechPost

Google开源TPU Sync:KV-Cache-Transfer-Bibliothek beschleunigt LLM-Inferenz

Google Cloud opensourct die C++-Bibliothek TPU Sync, die TPU-Speicher, Host-RAM und Rechenzentrumsnetzwerk als einheitliche Speicherhierarchie für den KV-Cache-Transport nutzt. Laut offiziellen Tests sinken die Transferkosten um über 90 Prozent.

Google Cloud hat die C++-Bibliothek TPU Sync als Open Source veröffentlicht (Apache-2.0-Lizenz, inklusive Python-Wheels für PyTorch und JAX). Sie löst das Problem, dass beim Reasoning großer Modelle der Transport von Zuständen aufwändiger ist als die Berechnung selbst: TPU-HBM, Host-DRAM, Shared Storage und das Rechenzentrumsnetzwerk werden als eine einheitliche Speicherhierarchie behandelt, die KV-Caches und Modellgewichte transportiert. Darüber liegen ein globaler KV-Speicher (Präfix-Lookup), ein Transfer-Controller und ein KV-Cache-Manager; experimentell wird zudem das Broadcasting von Trainingsgewichten an den Sampler für Reinforcement Learning unterstützt.

Im Design stechen vier Entscheidungen hervor: Erstens direktes DMA mit layouterhaltender Übertragung – JAX-PJRT-Buffer und PyTorch-Tensoren werden in-place gelesen und geschrieben, das native TPU-Tile-Layout bleibt erhalten, Serialisierung und Zwischenpuffer entfallen. Zweitens die Überlappung von Transfer und Berechnung: Mittels PJRT-Buffer-Aliasing laufen Kopiervorgänge während der Berechnung, und DMA-Throttling verhindert, dass große Kopien das Starten von Kernels blockieren. Drittens umgeht der Datenpfad die XLA-Kompilierung vollständig – Transfers und Resharding erfolgen in nativem C++ außerhalb des XLA-Graphen. Viertens Hochbandbreitenkanäle: Auf einem einzelnen Ironwood-Host wurden über PCIe bis zu 223 GB/s gemessen (nahe am theoretischen PCIe-Gen5-Limit von 256 GB/s); im Rechenzentrumsnetzwerk liegen die Raten bei rund 192 Gbit/s pro Netzwerkkarte und rund 350 Gbit/s mit zwei Karten.

Ein typischer Anwendungsfall ist Disaggregated Prefill/Decode (P/D)-Inferenz: Prefill-Knoten DMA-en KV-Blöcke asynchron in gepinnten Host-Speicher, der Controller streamt diese dann Host für Host zu den Decode-Knoten, wo ankommende Blöcke parallel zur Dekodierung in den HBM geschrieben werden. Zudem unterstützt TPU Sync einen Präfix-Cache für 64K-Kontexte: Wenn MoE-Gewichte den HBM füllen, lässt sich die effektive Cache-Kapazität um eine Größenordnung steigern.

Offizielle Selbstdaten (interner Test im Juli 2026, TPU-v7x-Topologie 2x2x1, MoE-Modelle mit 235B bis 480B Parametern): Die KV-Transferkosten sanken um mehr als 90 Prozent; die mediane KV-Transferlatenz bei Qwen3 235B fiel von mehreren Sekunden auf rund 230 Millisekunden. Bei geringer Konkurrenzlast sank die Time-to-First-Token (TTFT) im Schnitt um 60 Prozent (235B) bzw. 90 Prozent (480B); während Verkehrsspitzen stieg der Output-Durchsatz bei 235B um 30 bis 70 Prozent. Der Präfix-Cache senkte die TTFT bei 64K-Kontexten um bis zu 90 Prozent, steigerte den Durchsatz um über 50 Prozent und reduzierte die P99-Inter-Token-Latenz um 30 Prozent.

In Sachen Ökosystem ist TPU Sync bereits der KV-Konnektor für vLLM-TorchTPU sowie das P/D-Transfer- und Tiered-Cache-I/O-Backend für SGLang-TorchTPU. llm-d 1.0 auf GKE nutzt sie für präfixaffinitätes Routing und schreibt experimentell nach Managed Lustre über; Inferact und RadixArk wirkten am gemeinsamen Aufbau der vLLM- und SGLang-Integration mit, Meta und Wayfair evaluieren derzeit. Voraussetzung ist eine Cloud TPU v7x (Ironwood) oder v6e, der Quellcode liegt im GitHub-Repository google/tpu-sync. Zu beachten: Es gibt keine verwaltete API, das README empfiehlt den Einsatz für allgemeine Szenarien noch nicht, und sämtliche Zahlen stammen aus offiziellen Eigenangaben.


Weitere Meldungen


萬安算交所 AIXX · AIXX · Verifizierte Computing-Börse · Zur Spotmarkthalle