Klassifikation
Definition
- Bezeichnung für das Unterscheiden von Objekten anhand eines oder mehrerer
spezieller, als Klassifikatoren bezeichneter, Merkmale in verschiedene
Klassen.
Bemerkungen
- Wird die Zugehörigkeit zu einer bestimmten Klasse mittels eines Tests
ermittelt, so können dabei aufgrund der bei diesem Test auftretenden
Unsicherheiten, Fehler auftreten, die eine Fehlklassifikation
zur Folge haben können.
- Kennt man den tatsächlichen Wert eines Merkmals, lassen sich verschiedene
statistische Kennwerte berechnen, die die Güte des verwendeten Tests oder
auch der gewählten Klassifikation charakterisieren.
- Zu diesen statistischen Kennwerten gehören:
Wahrheitsmatrix
| richtig positiv (a) |
falsch positiv (b) |
| falsch negativ (c) |
richtig negativ (d) |
Statistisch wird ein falsch positives Ergebnis, wie in (b), als Fehler 1. Art
oder α-Fehler bezeichnet.
Von einem Fehler 2. Art oder β-Fehler spricht man bei einem falsch
negativen Ergebnis wie in (c).
Trägt man nun die absoluten Häufigkeiten, mit denen ein Testergebnis
erzielt wurde in die obige Vierfeldertafel ein, so können die oben bereits
genannten Kennwerte nun wie folgt berechnet werden:
Die beeinflussen sich gegenseitig. Handelt es sich nicht um einen
qualitativen Test, sondern um einen quantitativen, bei dem man den Grenzwert
willkürlich festlegen kann, so kann man die Rate der falsch positiven
Ergebnisse auf Kosten der falsch-negativ-Rate verringern und umgekehrt.
Anders formuliert: Je sicherer Kranke mit dem Test identifiziert werden
sollen (höhere Sensitivität), um so mehr Gesunde werden auch fälschlich als
Kranke klassifiziert.
Darüber hinaus wird auch ein extremes Ungleichgewicht zwischen Kranken und
Gesunden verfälschen.
Ist beispielsweise die Anzahl der an einem Test teilnehmenden Kranken
erheblich geringer als die der Gesunden, so führt dies im allgemeinen zu einem
geringen Wert in der Relevanz.
Dieser Zusammenhang ist bei verschiedenen Labortests zu bedenken:
Preiswerte Screening-Tests werden so justiert, dass eine möglichst kleine
Anzahl falsch negativer Ergebnisse vorliegt.
Die produzierten falsch positiven Testergebnisse werden anschließend durch
einen Bestätigungstest identifiziert.
Dieses Vorgehen ist z.B. für die Bestimmung einer HIV-Infektion mittels
HIV-Antikörpertest vorgeschrieben.
Je nach Einsatzgebiet kann eine Fehlklassifikation mehr oder weniger schlimme
Folgen haben. Ihre Auswirkungen lassen sich zur Bewertung eines Klassifikators
in einer Kostenmatrix angeben.
Ein Diagramm der Klassifikatorgüte liefert die Receiver Operating
Characteristic (ROC), die auch eine Grenzwertoptimierung ermöglicht.
AIDS in BRD
Das Ziel eines AIDS-Tests sollte die möglichst vollständige Erkennung eines
Infizierten sein. Aber welche Konsequenzen ein falsch positiver Test haben kann,
zeigt das Beispiel eines Menschen der sich auf HIV testen lässt und dann
aufgrund eines falsch-positiven Ergebnisses Suizid begeht.
Bei einer angenommenen Genauigkeit von 99,9 % des kombinierten AIDS-Tests
sowohl für positive als auch negative Ergebnisse (Sensitivität und Spezifität
= 0,999) und der aktuellen Verbreitung von AIDS (Stand 2003) in der Deutschen
Bevölkerung (80.000.000 Einwohner, davon 40.000 HIV-positiv) wäre ein
allgemeiner AIDS-Test verheerend.
| |
HIV pos. |
HIV neg. |
| AIDS-Test positiv |
39960 |
80.000 |
| AIDS-Test negativ |
40 |
79.920.00 |
- Zwar würden von 40.000 tatsächlich Erkrankten lediglich 40
HIV-Infizierte fälschlicherweise nicht erkannt, aber ca. 80.000 Personen
würden fälschlicherweise als HIV-Positiv diagnostiziert.
- Von 120.000 positiven Ergebnissen wären etwa 66 % falsch positiv. Somit
läge die Wahrscheinlichkeit, dass jemand der positiv getestet wurde auch
wirklich HIV-positiv ist, bei nur 33%. Die Relevanz betrüge nur 33 %.
Ein zweiter Test kann die Unsicherheit hingegen drastisch reduzieren. Die
Wahrscheinlichkeit, dass jemand HIV-positiv ist, wenn er zwei mal positiv
getestet wurde, liegt schon bei 99,8 %.
Herzinfarkt in USA
- In den USA werden pro Jahr etwa 4 Millionen Frauen und Männer aufgrund
von Schmerzen in der Brust unter der Verdachtsdiagnose Herzinfarkt in eine
Klinik eingewiesen. Im Verlauf der aufwändigen und teuren Diagnostik stellt
sich dann heraus, dass von diesen Patienten nur etwa 32 % tatsächlich einen
Infarkt erlitten haben. Bei 68 % war die Diagnose Infarkt nicht korrekt
(falsch positive Verdachtsdiagnose). Andererseits werden in jedem Jahr etwa
34.000 Patienten aus dem Krankenhaus entlassen, ohne dass ein tatsächlich
vorhandener Herzinfarkt erkannt wurde (ca. 0,8 % falsch negative Diagnose).
- Auch hier ist die Sensitivität der Untersuchung ähnlich hoch, nämlich
99,8 %.
- Zur Spezifität kann man aber keine Aussage getroffen werden, da die
falsch-positiven Ergebnisse der Untersuchung nicht erwähnt werden, sondern
nur die falsch-positiven Eingangsdiagnosen, die auf der Angabe
"Herzschmerz" fußen.
- Betrachtet man aber ausschließlich diese Eingangsdiagnose, dann ist die
Angabe der 34000 Patienten, die fälschlich entlassen werden, wertlos, denn
sie haben hiermit nichts zu tun.
- Man benötigt nämlich die Zahl der mit Herzinfarkt nicht eingewiesenen,
die wahrscheinlich keinen Herzschmerz hatten.
- Man sollte sich immer davor hüten, solch vermischte Angaben verwerten zu
wollen und unbedingt auf eine präzise Formulierung der These achten.
Statistische Grundlagen
| |
Wahrer Sachverhalt: H0 |
Wahrer Sachverhalt: H1 |
| durch einen stat. Test fällt eine Entscheidung für die Nullhypothese
H0 |
1 - alpha |
beta (Fehler 2. Art falsch negativ) |
| durch einen stat.Test fällt eine Entscheidung für die alternative
Hypothese H1 |
alpha (Fehler 1. Art, falsch positiv) |
1 - beta. "Power" |
Beispiele
Ein Angeklagter ist schuldig oder unschuldig und soll verurteilt oder
freigelassen werden:
Angeklagter ist unschuldig
Angeklagter ist schuldig
durch ein Gericht fällt eine Entscheidung für: unschuldig
richtige Entscheidung
ein Schuldiger wird freigesprochen
durch ein Gericht fällt eine Entscheidung für: schuldig
ein Unschuldiger wird verurteilt
richtige Entscheidung
Eine Person ist für einen Sicherheitsbereich zugangsberechtigt oder nicht
zugangsberechtig und soll eingelassen oder nicht eingelassen werden:
Person ist zugangsberechtigt
Person ist nicht zugangsberechtigt
eine Zugangskontrolle fällt eine Entscheidung für: Person ist
zugangsberechtigt
richtige Entscheidung
Unbefugter erhält Zugang
eine Zugangskontrolle fällt eine Entscheidung für: Person ist nicht
zugangsberechtigt
Berechtigter wird nicht eingelassen
richtige Entscheidung
Fehler 1. Art
Vom Fehler 1. Art (alpha) spricht man, wenn man einen Effekt annimmt, der in
Wirklichkeit gar nicht vorhanden ist. Mathematisch formuliert:
die sogenannte Ausgangshypothese "H0" abgelehnt wird, obwohl sie
richtig ist.
Die Ausgangshypothese (H0, "null" für keinen Unterschied) ist hierbei
die Annahme, die Testsituation befinde sich im "Normalzustand", d.h.
in den oben genannten Beispielen "es brennt nicht", "der
Angeklagte ist unschuldig", "der Patient ist gesund" oder
"die Person hat Zugangsberechtigung". Wird also dieser
"Normalzustand" nicht erkannt, obwohl er tatsächlich vorliegt,
handelt es sich um einen Fehler 1. Art.
Beispielsweise wird eine Person zu Unrecht als krank bezeichnet, obwohl sie
tatsächlich gesund ist. Falsch Positive (englisch: false positives) sind zu
Unrecht als krank bezeichnete Gesunde.
Nota bene: Die Aussage "Ein Unterschied, etwa in einer Methode, wird auf
einem Signifikanzniveau von 5% festgestellt" ist nicht gleich bedeutend mit
der Aussage: "Wenn ich annehme, es gibt einen Unterschied, dann irre ich
mich in 5% der Fälle." Für diese Aussage ist nämlich die Power (=1-beta)
eines Tests zuständig!
Die Häufigkeit für einen Fehler 1. Art wird bei der Berechnung von
Signifikanzen als Irrtumswahrscheinlichkeit bezeichnet.
Fehler 2. Art
Ein Fehler 2. Art (beta) liegt im umgekehrten Fall vor, wenn man es
versäumt, einen Effekt als signifikant zu erklären, obwohl es ihn tatsächlich
gibt, bzw.:
wenn die Ausgangshypothese nicht abgelehnt wurde, obwohl sie falsch ist.
Hier wird also nicht erkannt, dass nicht der "Normalzustand" vorliegt.
Die solcherart falsch klassifizierten Zustände werden falsch negativ genannt.
Beispielsweise wird eine Person zu Unrecht als gesund bezeichnet, obwohl sie
tatsächlich krank ist. Falsch Negative (englisch: false negatives) sind nicht
entdeckte Kranke.
Nota bene: Bei der Berechnung mit Alpha und Beta handelt es sich um bedingte
Wahrscheinlichkeiten!
|