← News-Übersicht | Spotmarkthalle
2026-11-05 · Quelle：Unite AI
Identische Prompts, Einstellungen und Datensätze sollen faire Vergleiche garantieren – doch verborgene Zeithinweise in System-Prompts können an diesem kontrollierten Aufbau vorbeischlüpfen.
Irgendwo in der Klempnerarbeit eines Benchmark-Laufs sitzt eine Variable, die niemand kontrolliert hat: ein Datum, versteckt in einem System-Prompt, das still und leise die Ergebnisse lenkt.
Benchmarks sind das tragende Gerüst des Markts für große Sprachmodelle. Ohne sie haben Verbraucher und Unternehmen keine verlässliche Möglichkeit zu beurteilen, welchen Fortschritt ein Modell tatsächlich zwischen Versionen gemacht hat oder wie es gegen Wettbewerber abschneidet. Beschaffungsentscheidungen, Upgrade-Entscheidungen und die Wettbewerbspositionierung stützen sich sämtlich auf Punktzahlen, die als vergleichbar vorausgesetzt werden – genau deshalb haben Risse in der Evaluierungsmethodik ein Gewicht weit über die Forschungsgemeinschaft hinaus.
Die Kernschwierigkeit ist der Technologie eingebrannt. Große Sprachmodelle sind nichtdeterministisch: Bei identischer Eingabe produzieren sie nicht immer konsistente Ausgaben. Identische Benchmark-Datensätze und Einstellungen können daher über verschiedene Läufe hinweg unterschiedliche Punktzahlen liefern, und ein gewisses Maß an Varianz gilt seit Langem als der Preis dafür, diese Systeme überhaupt zu messen.
Die Standardverteidigung ist ausufernde Kontrolle – identische Prompts, identische Modelleinstellungen, identische Benchmark-Datensätze –, sodass jede verbleibende Punktelücke dem Modell selbst angelastet werden kann. Doch wie Unite AIs Berichterstattung hervorhebt, können scheinbar geringfügige Unterschiede in der Ausführungsumgebung selbst unter dieser Disziplin bestehen bleiben. Geheime Datumsangaben, die in System-Prompts eingebettet sind, sind das Paradebeispiel: eine Variable, die die Standard-Checkliste überlebt, weil sie sich in genau einem der Artefakte versteckt, die Forscher für festgenagelt halten.
Das Ergebnis ist ein Benchmark, dessen Zahlen sauber aussehen und es nicht sind.
Für Käufer von KI-Rechenleistung und Investoren besteht die praktische Konsequenz in einer Neukalibrierung des Vertrauens. Fortschrittsbehauptungen von Version zu Version und direkte Wettbewerbsvergleiche sind nur so belastbar wie der Evaluierungsaufbau dahinter, und dieser Aufbau – so zeigt sich nun – kann von etwas so banalem wie einer Datumszeichenkette in einem Prompt still ausgehebelt werden. Bis Evaluierungs-Pipelines verborgene Zeithinweise einrechnen, sollten Benchmark-Zahlen als Richtungssignale behandelt werden, nicht als Grundwahrheit.
Tags: LLM Benchmarks · System Prompts · Model Evaluation · Non-Determinism · Large Language Models
萬安算交所 AIXX · AIXX · Verifizierte Computing-Börse · Zur Spotmarkthalle