Warum klassische Benchmarks für KI versagen – und was jetzt besser wird

Die Leistungsfähigkeit von KI-Modellen wie ChatGPT, Gemini oder DeepSeek wird bislang vor allem durch standardisierte Benchmarks bewertet. Doch immer mehr Stimmen in der Forschung sprechen von einer „Evaluierungskrise“. Neue Ansätze wie LiveCodeBench Pro, Xbench oder dynamische Benchmarks sollen das ändern – und endlich wirklich messen, was zählt.

• Klassische Benchmarks stoßen an ihre Grenzen, da viele Modelle bereits Spitzenwerte erreichen, ohne tatsächlich "intelligenter" zu sein.
• Datenkontamination und "Teaching to the test" verzerren die Aussagekraft vieler Tests.
• Neue Benchmarks wie LiveCodeBench Pro oder Xbench setzen auf praxisnahe, dynamische und teils geheime Testsets.
• Ein wachsender Fokus auf Risikobewertung und menschliche Präferenztests erweitert die Perspektive auf Modellqualität.
• Führende Forscher fordern ein Umdenken in der wissenschaftlichen Evaluierungskultur.

Künstlich optimierte Ergebnisse statt echter Intelligenz
Viele KI-Modelle erzielen auf etablierten Benchmarks wie SuperGLUE oder MMLU beeindruckende Resultate – teilweise über 90 % Genauigkeit. Doch das heißt nicht zwingend, dass sie tiefes Verständnis oder Problemlösefähigkeit entwickelt haben. Vielmehr liegt oft eine gezielte Optimierung auf diese Benchmarks vor. In der Praxis bedeutet das:

• Modelle werden mit Aufgaben ähnlicher Struktur, Sprache und Lösungsmuster trainiert, wie sie in den Benchmarks vorkommen. So lernen sie, typische Formulierungen zu erkennen, ohne den eigentlichen Kontext zu durchdringen.
• Bestimmte Benchmarks sind öffentlich zugänglich – ihre Fragen (oder ähnliche) könnten bereits im Trainingsmaterial enthalten gewesen sein. Das nennt man Datenkontamination.
• Das Resultat ist sogenanntes Overfitting: Die Modelle schneiden bei genau definierten Tests exzellent ab, generalisieren aber schlechter auf neue, komplexere Aufgaben.

So entsteht ein verzerrter Leistungsnachweis – ähnlich wie ein Schüler, der für den Multiple-Choice-Test paukt, aber bei offenen Aufgaben ins Straucheln gerät.

Maximale Punktzahlen – und dennoch wenig Aussagekraft
Ein weiteres Problem: Viele Benchmarks sind bereits weitgehend "ausgereizt". Top-Modelle erreichen Punktzahlen, bei denen jede weitere Steigerung kaum noch Signifikanz besitzt. In solchen Fällen wird die Lücke zwischen Score und echter Fähigkeit besonders deutlich – etwa beim Lösen komplexer Programmieraufgaben, logischer Schlussfolgerungen oder kreativer Problemstellungen.

Neue Benchmark-Konzepte: LiveCodeBench Pro
Ein vielversprechender Gegenentwurf ist LiveCodeBench Pro, ein neuer Test, der Aufgaben aus internationalen Programmierolympiaden nutzt. Dort erreichen aktuelle Top-Modelle wie GPT o4-mini-high oder Gemini 2.5 teils nur 0 % auf den schwierigsten Aufgaben – ein klarer Hinweis auf bestehende Schwächen in algorithmischem Denken. Menschen mit fundierter Problemlösekompetenz schneiden hier deutlich besser ab.

Xbench: Labor trifft Realität
Das chinesische Benchmark-System Xbench, entwickelt vom HongShan Capital Team, kombiniert klassische STEM-Aufgaben mit praxisnahen Tests aus Bereichen wie Marketing oder HR. Ziel ist eine realitätsnähere Bewertung der Modelle, auch im wirtschaftlichen Kontext. Die Testsets werden quartalsweise aktualisiert – ein Fortschritt gegenüber stagnierenden Benchmarks.

Dynamische und adaptive Testsätze
Modelle wie LiveBench (entwickelt von Yann LeCun) wechseln ihre Fragen regelmäßig, um Anpassungsfähigkeit statt nur Wissen zu testen. Andere Benchmarks wie ARC-AGI halten Teile des Sets geheim, um Überanpassung zu vermeiden.

Alternative Ansätze: Human Preference & Risikoanalyse
Plattformen wie LMarena setzen auf Nutzerurteile, indem sie Antworten verschiedener Modelle direkt vergleichen lassen. Zugleich fordern Forscher eine stärkere Fokussierung auf Risikofaktoren – insbesondere bei autonomen KI-Agenten, wo Fehler fatale Folgen haben können.

„Unsere Scoreboards messen oft nicht das, was wirklich zählt. Wir brauchen neue Wege, um Intelligenz, Kreativität und Verlässlichkeit zu bewerten.“ – Andrej Karpathy

Die Zeit der simplen Highscore-Benchmarks ist vorbei. Mit LiveCodeBench Pro, Xbench und weiteren Ansätzen entstehen umfassendere, dynamischere Testsysteme, die Künstliche Intelligenz realistischer bewerten. Entscheider sollten diese Entwicklung aktiv verfolgen – denn in der Praxis zählt mehr als nur ein Score.