Feuerwächter

Der Vortrag von Dr. Michael Frass zu den angeblichen Vorteilen einer begleitenden Therapie mit Homöopathie war hier bereits zweimal Thema (Teil 1, Teil 2). Heute nun geht es um eine Tabelle mit p-Werten aus dem Vergleich der Gruppen mit und ohne begleitende homöopathische Therapie.

Exkurs p-Wert

An der Stelle zunächst ein kurzer Exkurs zur Bedeutung des p-Wertes in der Statistik. Ganz allgemein formuliert ist die Idee hinter dem p-Wert der Versuch, eine Maßzahl zu erhalten, die angibt ob die erhaltenen Ergebnisse auch durch Zufall entstanden sein könnten. Da es sich bei ihm um eine Wahrscheinlichkeit — daher p, probability — handelt kann er nur Werte zwischen 0 und 1 annehmen.

Um zum p-Wert zu gelangen, wird das Gegenteil dessen angenommen, was es nachzuweisen gilt. Diese Annahme wird als Nullhypothese bezeichnet. Bei klinischen Studien zum Wirksamkeitsnachweis einer Behandlungsmethode lautet daher die Nullhypothese, daß es zwischen den Gruppen keinen Unterschied gibt. Zeigt sich entgegen der Nullhypothese ein Unterschied zwischen den Gruppen, wird unter Annhame der Gültigkeit der Nullhyptohese die Wahrscheinlichkeit berechnet, mit der die Untersuchungsergebnisse auch durch Zuffall entstanden sein könnten. Diese Wahrscheinlichkeit wird in der Statistik als p-Wert bezeichnet. Je näher der p-Wert bei Null liegt, desto unwahrscheinlicher ist es, daß die Nullhypothese zutrifft. Bezogen auf die Nullhypothese besagt ein p-Wert von 0,05 (5%), daß bei Durchführung von 20 Experimenten eines durch Zufall zu dem erhaltenen Ergebnis führen könnte. Ein p-Wert von 0,05 (5%) gilt nach allgmeinem Konsens als signifikant, einer von 0,01 (1%) als stark signifikant.

Der p-Wert macht aber weder eine Aussage über die Richtigkeit des Versuchsaufbaus oder der Ergebnisse noch über die (klinische) Relevanz der Untersuchungsergebnisse und schon gar nicht über die Plausibilität der Ausgangshypthothese (bspw. die neue Behandlungsmethode ist besser als die alte). Genau dies sind auch die häufigsten Fehler bei seiner Interpretation. Insbesondere die fehlende initiale Plausibiltät von Homöopathie und anderen esoterischen Behandlungsmethoden stellt das eigentliche Problem dar. Ihre postulierten Wirkmechanismen wiedersprechen fundamental allen Erkenntnissen der Naturwissenschaft. Anders ausgedrückt, es ist vollkommen egal wie klein, also hochsignifikant, ein p-Wert auch sein mag, ein unsinniger Versuchsaufbau bleibt unsinnig, sozusagen hochsignifikanter Unsinn.

Unabhängig von dem hier geschilderten Sachverhalt, bin ich persönlich der Auffassung, daß in vielen wissenschaftlichen Veröffentlichungen der p-Wert nie wirklich berechnet worden ist, sondern ein plausibel erscheinender Wert hineingeschrieben wurde „weil man einen p-Wert im Paper haben muss“.

Frass’sche p-Wertdifferenzen

Die im Vortrag gezeigte Tabelle enthält einige p-Werte, die eben keine Aussage über Güte und Relevanz der Ausgangsfragestellung zulassen (s.o.), zu verschiednen Symptomen nach der ersten und dritten Konsultation. In der letzten Spalte ist die Differenz der p-Werte angegeben. Leider habe ich noch nicht die passende Veröffentlichung dazu gefunden, so es denn überhaupt eine gibt.B

Jetzt muss man sich wirklich klar machen, was dort geschrieben steht. Wie kommt er zu Differenzen, wenn in keiner einzigen Zeile zwei p-Werte (n.s. = nicht signifikant?) vorhanden sind, die man voneinander subtrahieren („Appetite loss“: n.s.-n.s. = 0,068) könnte? Überhaupt, welche Aussage soll mit der Differenzbildung aus der Wahrscheinlichkeit des Eintretens eines falschen Ergebnisses bei Gültigkeit der Nullhyptothese bei der ersten Konsultation, mit der bei der dritten Konsultation eigentlich getroffen werden? Das ist einfach Unfug. Ein Blick auf die Fußnoten lässt einen endgültig verwirrt zurück. Einmal sprechen seine p-Werte für die konventionelle Methode, dann wieder für eine Begleittherapie. Anscheinend arbeitet man mit negativen Wahrscheinlichkeiten. Nach herkömmlichem Statistikverständnis ändert er mittendrin die Nullhypothese.

Mich führt seine Darstellungsform zu dem Ergebnis, daß die Arbeitsgruppe um Frass die Funktion des p-Wertes nicht verstanden hat und sie genau die im Exkurs genannten Fehler macht. Sie betrachten einen niedrigen p-Wert anscheinend als Bestätigung ihrer Arbeitshypothese „Homöopathie wirkt“. Unter dieser falschen Prämisse ergäbe die Differenzbildung einen gewissen Sinn. Nur mit korrekter Statistik hat das alles nichts zu tun.

Abschließend werfe man noch einen Blick die letzte Zeile, „financial difficulties“. Die Frass’sche Tabelle spricht für eine homöopathische Begleittherapie. Da könnte durchaus etwas dran sein. Mit jeder Konsultation steigt die Wahrscheinlichkeit, daß dem Patienten das Geld ausgeht, weil er nicht zu knapp für Unfug zur Kasse gebeten wird. Daraus kann tatsächlich auf eine Doppelwirkung der Homöopathie geschlossen werden: Der Patient wird ärmer und der Homöopath reicher.