Confusion-Matrix-Rechner

So funktioniert es

Eine Confusion Matrix ist eine Tabelle, die vorhergesagte Klassen mit den tatsächlichen Ergebnissen vergleicht. Sie zeigt, wie viele Vorhersagen in jede mögliche Kategorie fallen, einschließlich korrekter Ergebnisse und verschiedener Fehlertypen. Dadurch liefert sie mehr Einblick als eine einzelne Leistungskennzahl.

Aus dieser Tabelle werden vier Werte abgeleitet. True Positives und True Negatives stehen für korrekte Vorhersagen. False Positives und False Negatives repräsentieren unterschiedliche Fehlertypen.

Der Confusion-Matrix-Rechner verwendet diese vier Werte als Eingaben. Nach der Eingabe berechnet das Tool verschiedene Leistungsindikatoren. Die Accuracy gibt einen allgemeinen Überblick über die Korrektheit. Precision und Recall erklären das Verhältnis zwischen unterschiedlichen Fehlertypen. Gleichzeitig zeigen ratenbasierte Kennzahlen, wie sich Vorhersagen über die Klassen hinweg verhalten. Mit anderen Worten: Der Confusion-Matrix-Rechner übersetzt einfache Zählwerte in aussagekräftige Kennzahlen über das Modellverhalten.

Formel

Der Confusion-Matrix-Rechner verwendet die folgenden Formeln zur Berechnung der Ergebnisse:

Dabei gilt:

• True Positives (TP) sind Fälle, die korrekt als positiv vorhergesagt wurden
• False Positives (FP) sind Fälle, die als positiv vorhergesagt wurden, aber tatsächlich negativ sind
• False Negatives (FN) sind Fälle, die als negativ vorhergesagt wurden, aber tatsächlich positiv sind
• True Negatives (TN) sind Fälle, die korrekt als negativ vorhergesagt wurden

Beispiel

Angenommen, ein binäres Klassifikationsmodell liefert folgende Ergebnisse:

• TP = 80
• FP = 20
• FN = 10
• TN = 90

Accuracy → (80 + 90) ÷ (80 + 20 + 10 + 90) = 0,85
Das bedeutet, dass 85 % aller Vorhersagen korrekt sind.

Precision → 80 ÷ (80 + 20) = 0,8
Das heißt, jede fünfte positive Vorhersage ist falsch.

Recall → 80 ÷ (80 + 10) = 0,89
Dies zeigt, dass die meisten positiven Fälle erkannt wurden.

Unter Verwendung von Precision und Recall ergibt sich der F1-Score:
F1-Score → 2 × (0,8 × 0,89) ÷ (0,8 + 0,89) = 0,842

Ratenbasierte Kennzahlen liefern zusätzlichen Kontext:
True-Positive-Rate → 80 ÷ (80 + 10) = 0,889
False-Negative-Rate → 10 ÷ (80 + 10) = 0,111
False-Positive-Rate → 20 ÷ (20 + 90) = 0,182
True-Negative-Rate → 90 ÷ (20 + 90) = 0,818
False-Discovery-Rate → 20 ÷ (80 + 20) = 0,2

Abschließend wird der Matthews-Korrelationskoeffizient berechnet:
MCC → (80 × 90 − 20 × 10) ÷ √((80 + 20) × (80 + 10) × (90 + 20) × (90 + 10)) = 0,7

Warum Confusion-Matrix-Kennzahlen in der Praxis wichtig sind

Confusion-Matrix-Kennzahlen sind wichtig, weil unterschiedliche Fehler unterschiedliche Konsequenzen haben. Ein Modell kann eine hohe Accuracy erreichen und dennoch kritische Fehler produzieren. Das passiert, wenn ein Fehlertyp die Ergebnisse dominiert.

Beispielsweise erkennt ein Modell mit hohem Recall, aber niedriger Precision die meisten positiven Fälle, erzeugt jedoch viele Fehlalarme. Umgekehrt sind Vorhersagen mit hoher Precision und niedrigem Recall sehr vorsichtig, lassen jedoch viele reale Fälle unentdeckt. Aufgrund dieses Zielkonflikts reicht es nicht aus, nur eine Kennzahl isoliert zu betrachten.

Ratenbasierte Kennzahlen fügen eine weitere Verständnis­ebene hinzu. Sie zeigen, wie sich Fehler relativ zu jeder Klasse verhalten. Dadurch werden Vergleiche zwischen verschiedenen Modellen zuverlässiger. Der Matthews-Korrelationskoeffizient liefert zudem eine stabile zusammenfassende Kennzahl. In der Praxis unterstützen diese Metriken die Anpassung von Schwellenwerten und fundiertere Bewertungsentscheidungen.

FAQ

1. Was zeigt eine Confusion Matrix?
   Sie zeigt, wie oft ein Modell jede Klasse korrekt oder falsch vorhergesagt hat. Konkret wird gezählt, wie oft positive Fälle als positiv, negative Fälle als negativ und wie oft jeder Fehlertyp vorhergesagt wurde.
2. Warum sollte ich mich nicht nur auf die Accuracy verlassen?
   Accuracy verschleiert, wie Fehler verteilt sind. Ein Modell kann einen hohen Wert erzielen und dennoch wichtige Fälle übersehen oder irreführende positive Ergebnisse liefern. Deshalb sind zusätzliche Kennzahlen notwendig.
3. Wann sollte man sich auf den Recall konzentrieren?
   Recall ist entscheidend, wenn das Übersehen eines positiven Falls schwerwiegende Folgen hat. In solchen Situationen ist es wichtiger, möglichst viele echte Fälle zu erkennen, selbst wenn dabei einige False Positives auftreten.
4. Was sagt der Matthews-Korrelationskoeffizient aus?
   Er misst, wie gut die Vorhersagen mit den tatsächlichen Ergebnissen übereinstimmen. Im Gegensatz zur Accuracy bleibt er auch dann aussagekräftig, wenn die Klassen unausgeglichen sind. Daher wird diese Kennzahl häufig für ausgewogene Modellvergleiche genutzt.
5. Kann dieses Tool für verschiedene Datensätze wiederverwendet werden?
   Ja. Jedes Ergebnis einer binären Klassifikation, das True Positives, False Positives, False Negatives und True Negatives liefert, kann mit dem Confusion-Matrix-Rechner ausgewertet werden.

Alles in allem hilft der Confusion-Matrix-Rechner dabei, Ergebnisse binärer Klassifikationen auf direkte Weise zu interpretieren. Er automatisiert die Berechnung der Leistungskennzahlen, sodass Sie sich auf die Analyse der Resultate konzentrieren können, anstatt Formeln manuell durchzurechnen. Geben Sie Ihre Confusion-Matrix-Werte in den Rechner ein und prüfen Sie alle relevanten Leistungskennzahlen übersichtlich an einem Ort.