Genauigkeitsrechner

Funktionsweise

Der Genauigkeitsrechner bewertet die Korrektheit auf Grundlage der von Ihnen eingegebenen Daten. Abhängig von den verfügbaren Daten folgt er unterschiedlichen Berechnungswegen. Diese Flexibilität ist wichtig, weil Genauigkeit direkt aus Ergebnissen oder aus Raten berechnet werden kann, wenn vollständige Ergebnisse nicht verfügbar sind.

Wenn vollständige Vorhersageergebnisse bekannt sind, können Sie die Rechnermethode mit einer Konfusionsmatrix verwenden. Sie geben True Positives, False Positives, False Negatives und True Negatives ein. Daraus bestimmt der Vorhersagegenauigkeitsrechner, wie viele Ergebnisse insgesamt korrekt klassifiziert wurden. Dadurch spiegelt diese Methode die tatsächlich beobachtete Leistung wider.

In anderen Fällen sind konkrete Zahlenwerte nicht verfügbar. Stattdessen kennen Nutzer möglicherweise Prävalenz, Sensitivität und Spezifität. In diesem Fall schätzt der Rechner die Genauigkeit anhand dieser Raten statt anhand mehrerer einzelner Fälle. Dieser Ansatz ist häufiger bei Screening- oder Risikoanalysen.

Es gibt auch einen kombinierten Ansatz. Sie geben die Konfusionsmatrix und die Prävalenz gleichzeitig ein. Sensitivität und Spezifität werden aus der Matrix abgeleitet, und die Prävalenz passt die endgültige Genauigkeit an. Dadurch spiegelt die Berechnung sowohl die beobachteten Ergebnisse als auch den Populationskontext wider.

Formel

Der Rechner verwendet je nach ausgewählter Methode eine von drei Formeln zur Berechnung der Genauigkeit.

Methode 1: Standard-Konfusionsmatrix

Dabei gilt:

True Positives (TP) sind die korrekten positiven Vorhersagen
False Positives (FP) sind die falschen positiven Vorhersagen
False Negatives (FN) sind die falschen negativen Vorhersagen
True Negatives (TN) sind die korrekten negativen Vorhersagen

Sensitivity ist die Rate korrekt identifizierter positiver Fälle
Specificity ist die Rate korrekt identifizierter negativer Fälle

Diese Formel misst den Anteil korrekter Vorhersagen über alle Fälle hinweg.

Methode 2: Prävalenzbasiert

Dabei gilt:

Prevalence ist der Anteil positiver Fälle in der Population

Bei dieser Methode hängt die Genauigkeit davon ab, wie häufig die Bedingung auftritt und wie gut sie erkannt wird.

Methode 3: Prävalenz mit Konfusionsmatrix

Bei dieser Methode werden Sensitivität und Spezifität aus der Konfusionsmatrix berechnet. Anschließend kombiniert der Testgenauigkeitsrechner die beobachteten Ergebnisse mit der Populationsprävalenz, die Sie separat eingeben.

Beispiel

Beispiel 1: Standardmethode

TP = 45
FP = 2
TN = 50
FN = 3

Accuracy → (45 + 50) ÷ (45 + 50 + 3 + 2) = 0.95

Sensitivity → 45 ÷ (45 + 3) = 0.9375

Specificity → 50 ÷ (50 + 2) = 0.9615

Der endgültige Genauigkeitswert bedeutet, dass 95 % aller Vorhersagen mit den tatsächlichen Ergebnissen übereinstimmen. Der Sensitivitätswert von 93,75 % zeigt, dass die meisten positiven Fälle korrekt erkannt wurden, wobei nur wenige übersehen wurden. Gleichzeitig zeigt eine Spezifität von 96,15 %, dass auch negative Fälle in den meisten Situationen korrekt identifiziert wurden.

Beispiel 2: Prävalenzmethode

Prevalence = 30%
Sensitivity = 85%
Specificity = 90%

Accuracy → (0.85 × 0.3) + (0.9 × (1 – 0.3)) = 0.885

In diesem Fall beträgt die endgültige Genauigkeit 88,5 %.

Beispiel 3: Prävalenz mit Konfusionsmatrix

TP = 36
FP = 6
TN = 54
FN = 4
Prevalence = 40%

Sensitivity → 36 ÷ (36 + 4) = 0.9

Specificity → 54 ÷ (54 + 6) = 0.9

Accuracy → (0.9 × 0.4) + (0.9 × (1 – 0.4)) = 0.9

Als Ergebnis betragen die endgültigen Werte für Genauigkeit, Sensitivität und Spezifität jeweils 90 %.

Warum Genauigkeit wichtig ist

Genauigkeit bietet eine schnelle Möglichkeit, die Leistung zu überprüfen. Beispielsweise zeigt die Genauigkeit nach der Validierung eines medizinischen Screeningtests anhand bestätigter Diagnosen, wie oft der Test das korrekte Ergebnis liefert.

Genauigkeit ist auch nützlich, wenn zwei Systeme unter denselben Bedingungen verglichen werden müssen. Nachdem die Genauigkeit für jedes System mit denselben Eingaben berechnet wurde, werden Unterschiede in der Gesamtgenauigkeit leichter sichtbar. Da der Prozentrechner für Genauigkeit mehrere Eingabemethoden unterstützt, kann das Tool auch in verschiedenen Bewertungsszenarien erneut verwendet werden.

FAQ

1. Was misst ein Genauigkeitsrechner?
   Er misst, wie oft Vorhersagen oder Testergebnisse mit den tatsächlichen Ergebnissen übereinstimmen. Das Ergebnis ist ein Prozentsatz, der die Gesamtgenauigkeit zusammenfasst.
2. Wann sollte ich die Konfusionsmatrix-Methode verwenden?
   Verwenden Sie sie, wenn vollständige Vorhersageergebnisse verfügbar sind, einschließlich True Positives, False Positives, False Negatives und True Negatives. Diese Methode stellt die beobachtete Leistung direkt dar.
3. Wann ist die prävalenzbasierte Methode geeigneter?
   Sie ist nützlich, wenn keine numerischen Vorhersagewerte verfügbar sind, Sie aber Prävalenz-, Sensitivitäts- und Spezifitätswerte kennen. In diesem Fall schätzt der Rechner die Genauigkeit anhand von Raten statt anhand einzelner Ergebnisse.
4. Warum beeinflusst die Prävalenz die Genauigkeit?
   Weil Genauigkeit davon abhängt, wie häufig positive und negative Ergebnisse auftreten. Wenn sich die Prävalenz ändert, verändert sich auch das Gewicht von Sensitivität und Spezifität in der endgültigen Genauigkeit.
5. Kann Genauigkeit irreführend sein?
   Ja. Wenn ein Ergebnis viel häufiger vorkommt als ein anderes, kann die Genauigkeit hoch erscheinen, selbst wenn einige Fehler häufig auftreten.

Alles in allem bietet der Genauigkeitsrechner eine klare Möglichkeit zu bewerten, wie gut Vorhersagen oder Testergebnisse mit der Realität übereinstimmen. Das Tool unterstützt verschiedene Eingabemethoden und passt sich daher unterschiedlichen Bewertungssituationen an, in denen eine schnelle Einschätzung erforderlich ist. Verwenden Sie den Rechner, um zu überprüfen, wie Ihre Ergebnisse unter verschiedenen Eingabemethoden abschneiden und um die Gesamtgenauigkeit ohne manuelle Berechnungen zu bestätigen.