95 % Genauigkeit: Was die Zahl über eine KI wirklich sagt

„Unser System arbeitet mit 95 Prozent Genauigkeit.“ Steht dieser Satz in einem Angebot, klingt er nach einer Zusage. Er ist aber keine — jedenfalls nicht, solange drei Angaben daneben fehlen. Und je nachdem, wofür du das System einsetzen willst, sind dieselben 95 Prozent entweder völlig ausreichend oder völlig unbrauchbar. Dieser Artikel zeigt, woran du das unterscheidest.

Warum sagt eine einzelne Prozentzahl so wenig?

Ich habe vier Jahre über Kredit- und Liquiditätsrisiko promoviert. In diesem Fach lernt man früh: Ein Mittelwert ohne Schwankung ist keine Aussage, sondern eine Behauptung. Erst die Streuung sagt, wie belastbar ein Wert ist — ob die nächste Messung wieder dort landet oder zehn Punkte daneben.

Bei KI-Systemen gilt dasselbe, nur wird es seltener mitgeliefert. Evan Miller hat 2024 in einer Arbeit für Anthropic beschrieben, was in der Branche üblich ist: Bewertungen werden als Punktschätzung berichtet, ohne die Unsicherheit zu quantifizieren. Seine Empfehlungen sind unspektakulär und wirksam — Standardfehler mitangeben, zusammenhängende Fragen als Gruppe behandeln, Systeme paarweise vergleichen statt über Ranglisten, und pro Frage mehrere Antworten erzeugen.

Der letzte Punkt überrascht in der Praxis am meisten: Dieselbe Frage bekommt nicht jedes Mal dieselbe Antwort. Wer eine Genauigkeit einmal misst, hat einen Wert. Wer sie zehnmal misst, hat eine Spanne. Nur die Spanne trägt eine Entscheidung.

Wo sammeln sich die Fehler?

Die zweite Lücke ist die gefährlichere, weil sie nicht nach einer Lücke aussieht. „95 Prozent richtig“ klingt, als wären die fehlenden 5 Prozent gleichmäßig über alle Fälle verstreut. Das sind sie fast nie.

Josephine Akosa hat das 2017 in einer Arbeit für das SAS Global Forum auf den Punkt gebracht: „The most commonly reported model evaluation metric is the accuracy. This metric can be misleading when the data are imbalanced.“ Sobald die Fälle ungleich verteilt sind, sagt die Gesamtgenauigkeit also mehr über die Verteilung der Daten als über die Leistung des Systems.

Ein Beispiel zum Nachrechnen, bewusst konstruiert: Angenommen, von 100 eingehenden Rechnungen ist eine gefälscht. Ein System, das einfach jede Rechnung als echt einstuft, liegt in 99 von 100 Fällen richtig — 99 Prozent Genauigkeit. Und es findet keinen einzigen Betrugsversuch. Die Zahl ist korrekt und der Nutzen null.

Die richtige Frage ist deshalb nicht „wie viele Fehler?“, sondern „welche?“. Ein System kann bei den häufigen, harmlosen Fällen glänzen und genau bei den seltenen, teuren versagen. Die Gesamtgenauigkeit sieht davon nichts.

Warum kippt dieselbe Zahl vom Brauchbaren ins Unbrauchbare?

Jetzt der Teil, der über Statistik hinausgeht. Ob 95 Prozent reichen, hängt nicht am System, sondern an der Aufgabe — genauer: daran, ob hinterher noch ein Mensch hinsieht.

Lass eine KI eine Mail entwerfen: 95 Prozent sind mehr als genug. Niemand schickt eine Mail, die er nicht gelesen hat. Der Fehler steht direkt vor dir, das Korrigieren kostet Sekunden.

Lass dieselbe KI eine Freigabe entscheiden: 95 Prozent sind unbrauchbar. Nicht wegen der Zahl, sondern weil das Ergebnis das Hinsehen ersetzt. Der Fehler sitzt in den seltenen, teuren Fällen — und dort schaut niemand mehr hin.

Man kann einwenden: dann prüft man eben nach. Genau hier ist die Forschung unbequem. Raja Parasuraman und Dietrich Manzey haben 2010 gezeigt, dass Menschen die Fehler eines automatischen Systems genau dann übersehen, wenn sie parallel andere Aufgaben bearbeiten — bei Anfängern und Fachleuten gleichermaßen, und durch Training nicht abstellbar. Die Prüfung ist also keine Frage der Sorgfalt. Sie muss im Ablauf verankert sein, sonst findet sie unter Last nicht statt.

Was sagen öffentliche Ranglisten — und was nicht?

Ranglisten sind ein guter Einstieg und eine schlechte Entscheidungsgrundlage. Wie schlecht, zeigt ein Blick darauf, wie sie selbst rechnen.

Die Chatbot Arena, eine der bekanntesten Bestenlisten, weist zu jedem Wert ein Bootstrap-Konfidenzintervall aus. Systeme mit überlappenden Intervallen gelten dort ausdrücklich als statistisch nicht unterscheidbar. Das obere Ende einer solchen Liste ist also keine Reihenfolge, sondern ein Feld.

Wie wackelig dieses Feld ist, hat 2025 eine Arbeit von Jenny Huang, Yunyi Shen, Dennis Wei und Tamara Broderick nachgerechnet, die für die ICLR 2026 angenommen wurde: Es genügt, 0,003 Prozent der menschlichen Bewertungen zu entfernen, um das erstplatzierte System der Chatbot Arena zu wechseln. Drei Hundertstelprozent. Wer aus so einer Liste eine Kaufentscheidung ableitet, entscheidet über Rauschen.

Das ist kein Argument gegen Ranglisten. Sie sparen Wochen Suche und zeigen, wer überhaupt in Frage kommt. Nur die Entscheidung treffen sie nicht — die trifft eine Messung an der eigenen Aufgabe.

Welche drei Fragen klären das in fünf Minuten?

Du brauchst keine Statistik-Ausbildung, um eine Genauigkeitszusage einzuordnen. Drei Fragen genügen.

1. Woran wurde gemessen? Welche Fälle, wie viele, aus welcher Quelle. „An unseren Testdaten“ ist keine Antwort — deine Lieferscheine, deine Formulierungen, deine Sonderfälle stehen dort nicht drin.

2. Wie oft wurde gemessen? Einmal oder mehrfach, und mit welcher Spanne. Ohne Spanne ist die Zahl eine Momentaufnahme.

3. Wie sehen die Fälle aus, die schiefgehen? Das ist die wichtigste. Wer seine Fehlerfälle benennen kann, hat gemessen. Wer ausweicht, hat geschätzt.

Das Gute daran: Du musst nichts widerlegen und niemandem misstrauen. Diese drei Fragen sind keine Prüfung, sondern ein Gespräch — und ein guter Anbieter freut sich darüber, weil er sie beantworten kann.

Was darfst du von einem Anbieter verlangen?

Mehr, als die meisten annehmen. Bei Hochrisiko-KI-Systemen im Sinne des EU AI Act ist die Angabe nicht Höflichkeit, sondern Vorschrift. Artikel 15 Absatz 3 formuliert es knapp: „The levels of accuracy and the relevant accuracy metrics of high-risk AI systems shall be declared in the accompanying instructions of use.“ Genauigkeit und das zugehörige Messverfahren gehören also in die Betriebsanleitung.

Und jetzt die Einschränkung, die dazugehört: Die meisten Anwendungen im Mittelstand sind keine Hochrisiko-Systeme. Ein Angebotstext, eine Dokumentensuche, ein Besprechungsprotokoll fallen nicht darunter, die Pflicht greift dort also nicht.

Der Maßstab bleibt trotzdem brauchbar. Wenn der Gesetzgeber für die kritischen Fälle verlangt, dass Genauigkeit und Messverfahren offengelegt werden, dann ist dieselbe Frage bei allem anderen mindestens fair. Und sie kostet nichts.

Wie kommst du an eigene Zahlen, ohne ein Projekt aufzusetzen?

Der erste Schritt ist kleiner als gedacht: ein Satz echter Fälle aus dem Betrieb, mit der richtigen Antwort daneben. Zwanzig, dreißig Beispiele genügen für den Anfang, und sie liegen ohnehin schon da — in den Ordnern, in denen die Arbeit passiert.

Damit ändert sich die Gesprächslage grundlegend. Aus „unser System hat 95 Prozent“ wird „zeigen Sie es an diesen dreißig Fällen“. Der Vergleich zweier Anbieter wird eine Messung statt einer Meinung, und die Zahl gehört danach dir und nicht dem Prospekt.

Der eigentliche Gewinn sind dabei nicht die Treffer, sondern die Fehler. Sie zeigen, an welcher Stelle im Ablauf ein Mensch bleiben muss — und wo nicht. Genau das ist die Entscheidung, die hinter der Prozentzahl steckt.

Was heißt das für den Mittelstand?

Die Frage ist keine Randnotiz mehr. Nach der Bitkom-Studie vom 11. März 2026 setzen 41 Prozent der deutschen Unternehmen KI aktiv ein — im Jahr davor waren es 17 Prozent. Weitere 48 Prozent planen oder diskutieren den Einsatz. Befragt wurden 604 Unternehmen ab 20 Beschäftigten.

Eine zweite Zahl aus derselben Studie ist die interessantere: Nur 52 Prozent der Unternehmen, die KI einsetzen, berichten von einem messbaren Beitrag zum Unternehmenserfolg. Fast die Hälfte nutzt also etwas, dessen Wirkung sie nicht belegen kann.

Ich lese das nicht als Beweis, dass KI nicht wirkt. Ich lese es als Hinweis, dass Messen der schwächste Teil der Einführung ist — und dass es sich lohnt, damit früh anzufangen. Nämlich schon beim Angebot.

Ich traue einer einzelnen Zahl nicht. Nicht aus Misstrauen gegenüber Anbietern, sondern weil eine Zahl ohne ihre Streuung, ihren Messaufbau und ihre Fehlerfälle einfach nicht genug Information ist, um eine Entscheidung zu tragen. Die gute Nachricht: Um das zu merken, brauchst du keine Mathematik. Du brauchst eine zweite Frage.

Eine Zahl geprüft, bevor sie eine Entscheidung wird?

Du hast ein KI-Angebot auf dem Tisch und willst wissen, ob die Zahl darin trägt? Wir schauen uns gemeinsam an, woran gemessen wurde — und wie eine eigene Messung an deinen Fällen aussieht.