← News-Übersicht | Spotmarkthalle
2026-11-05 · Quelle：KDNuggets
Ein routinemäßiger Datenladeschritt vergrößerte den Resident-Speicher um fast das Neunzehnfache; Streaming-Parser wie ijson verarbeiten Datensätze einzeln und halten den Fußabdruck flach, unabhängig von der Dateigröße.
808 MB. Das ist der Fußabdruck, den ein Python-Prozess erreichte, nachdem er eine einzelne JSON-Datei geschluckt hatte, die auf der Platte gerade einmal 43 MB wog – eine fast neunzehnfache Expansion und das Problem im Kern eines aktuellen KDNuggets-Engineering-Walkthroughs.
Der Sprung ist kein Bug; er ist das Standardverhalten des Ganzdatei-Parsens. Lädt Python ein JSON-Dokument auf dem konventionellen Weg, materialisiert es die gesamte Hierarchie auf einen Schlag – jedes Objekt, jedes Array, jeden String – als native Python-Strukturen, lange bevor irgendeine Analyse beginnt. Weil Python-Objekte erheblichen Overhead pro Element tragen, kann ein als Text kompaktes Dokument als lebendiger Speicher um eine Größenordnung mehr belegen. Für jedes Team, das die Dateigröße als verlässlichen Proxy für den RAM-Bedarf ansah, ist die Distanz zwischen 43 MB und 808 MB eine unangenehme Korrektur.
Die Antwort des Walkthroughs ist ijson, ein Streaming-Parser. Statt das ganze Dokument in den Speicher zu lesen, iteriert ijson inkrementell hindurch und liefert einen Datensatz nach dem anderen, sodass der Code jedes Element verarbeiten und verwerfen kann, bevor das nächste ankommt. Die Speichernutzung folgt dann der Größe eines einzelnen Datensatzes statt der Größe der Datei – genau das meint der Autor, wenn er sagt, Streaming habe „alles verändert“.
Die Lektion reicht über ein Dateiformat hinaus. Pipelines, die an RAM-Grenzen stoßen, scheitern oft nicht, weil die Daten wirklich zu groß sind, sondern weil die Ladestrategie darauf besteht, alles gleichzeitig zu materialisieren.
Für Planer von KI-Infrastruktur ist die Episode ein leiser, aber praktischer Datenpunkt. Speicherreserve auf Trainings- und Vorverarbeitungsknoten ist teuer, und ein Schritt, der eine 43-MB-Eingabe zu 808 MB Resident-Speicher aufbläht, erzwingt größere Instanzen, als die eigentliche Arbeitslast verlangt. Streaming-Ingestion zählt zu den billigsten verfügbaren Optimierungen – gerade weil sie keine neue Hardware erfordert, nur einen anderen Parsing-Pfad.
Tags: ijson · Python · JSON Streaming · Memory Management · Data Engineering
萬安算交所 AIXX · AIXX · Verifizierte Computing-Börse · Zur Spotmarkthalle