Wie Verbraucher an der Nase herumgeführt werden

Viele Verbraucher scheinen zu glauben, dass alles, was sich ‚Forschung‘ nennt, zuverlässig ist. Wenn sie irgendwo lesen 'Eine neue Studie zeigt...' (oder Ähnliches), dann vertrauen sie für gewöhnlich den Aussagen, die darauf folgen. Aber ist blindes Vertrauen in die Forschung wirklich gerechtfertigt? Nach den 25 Jahren, in denen ich mich mit der sogenannten alternativen Medizin (SAM) befasse, bin ich mir da nicht so sicher. In diesem Beitrag werde ich kurz auf einige Möglichkeiten eingehen, mit denen Verbraucher durch scheinbar stichhaltige Forschung in die Irre geführt werden können.

Freies Erfinden

Ich habe gerade ein Buch eines deutschen Heilpraktikers gelesen, das der SAM gewidmet ist (Alternativloses Heilen: Welche Medizin wir bekommen, wenn Globuli & Co. verschwunden sind: Amazon.de: Fritschi, Hans-Josef: Bücher). Darin macht der Autor mit dem Brunstton der Überzeugung Hunderte von Aussagen und stellt sie als evidenzbasierte Fakten dar. Viele Leser mag das beindrucken; es hat jedoch einen erheblichen Fehler: Der Autor bietet keine Belege an, die seine Aussagen untermauern würden. Alles, was er offeriert, sind Bücher anderer Autoren, die aber ebenfalls weitgehend Evidenz-frei sind.

Die in der SAM allzu beliebte Technik, unbegründete Behauptungen aufzustellen, ohne sie zu belegen, erlaubt es dem Autor, Annahmen ohne jegliche Kontrolle zu machen. Laien sind oft nicht in der Lage, solche Erfindungen von Evidenz zu unterscheiden. Diese Technik ist daher ebenso einfach wie beliebt, um Verbraucher an der Nase herum zu führen.

Der große Bluff

Einige Proponenten von SAM stellen Thesen auf, die sie sehr wohl mit scheinbar stichhaltigen Belegen aus angesehenen Quellen stützen. Diejenigen von uns, die sich dann die Mühe machen, die angegebenen Quellen tatsächlich zu studieren, stellen bald fest, dass sie nicht das aussagen, was der SAM-Proponent behauptet. Diese Methode vertraut darauf, dass der Leser leicht von den vermeidlichen Belegen überwältigt wird. Da die meisten Verbraucher sich nicht die Mühe machen, die angegebenen Quellen zu studieren, funktioniert diese Methode in der Regel recht gut.

Ein Beispiel soll das verdeutlichen: Vidatox ist ein homöopathisches „Krebsmittel" aus Kuba. Auf der Vidatox-Website (Vidatox 30 CH Homeopathic Treatment | Cuba's Health Care™ (cubamedicos.com)) wird behauptet, dass es bei vielen Krebsarten wirksam sei. Wenn man bedenkt, wie sensationell diese Behauptung ist, würde man erwarten, dass es viele Publikationen zu Vidatox gibt. Es gibt jedoch nur einen Artikel zu diesem Thema. Die Autoren dieser Arbeit kamen zu folgendem Schluss: Unsere Ergebnisse zeigen, dass die in der vorliegenden Studie verwendete Vidatox-Konzentration keine anti-neoplastischen Wirkungen hat und dass bei der Vidatox Therapie von Patienten Vorsicht geboten ist. (Vidatox 30 CH has tumor activating effect in hepatocellular carcinoma - PubMed (nih.gov))

Die Frage, die man sich in der SAM Forschung leider oft stellen muss, ist folgende: Wo ist die Grenze zwischen irreführender Forschung und Betrug? Mehr dazu unten.

Umfragen

Es gibt keinen medizinischen Bereich, in dem mehr Umfragen produziert werden als in der SAM, jedes Jahr etwa 500! Diese "Umfrage-Manie"(Prevalence surveys: to be taken with a pinch of salt - PubMed (nih.gov)) hat einen Zweck: Sie verbreitet eine positive Botschaft über SAM.

Für eine typische Umfrage in der SAM stellt ein Team von enthusiastischen Forschern ein paar Fragen zusammen, um herauszufinden, wie viel Prozent einer Gruppe von Personen in der Vergangenheit SCAM ausprobiert haben. Anschließend erhalten die Forscher vielleicht ein oder zweihundert ausgefüllte Fragebögen. Sie berechnen sodann, dass xy % SAM verwenden. Dieser Befund wird schließlich in einer der vielen drittklassigen SAM-Zeitschriften veröffentlicht. Daraus wird dann der Schluss gezogen, dass die SAM, wenn es so beliebt ist, natürlich auch gut sein muss. Und wenn sie gut ist, sollten Versicherungen auch gefälligst dafür aufkommen. Nur wenige Verbraucher erkennen, dass diese Schlussfolgerung ein klassischer Trugschluss, ein argumentum ad populum (Argumentum Ad Populum - Definition & Examples | LF (logicalfallacies.org)) ist. Beliebtheit und Nutzen sind zweierlei Stiefel, denken sie nur an Zigaretten oder Alkohol.

Vermeidung des Wesentlichen

Eine weitere in der SAM beliebte Methode die Öffentlichkeit in die Irre zu führen, besteht darin, solchen Forschungsfragen auszuweichen, auf die es letztlich ankommt. Zum Beispiel ist wohl unbestritten, dass eine der dringendsten Fragen in der Chiropraktik das Risiko von Wirbelsäulenmanipulationen ist (sie können z. B. einen Schlaganfall verursachen). Man würde daher erwarten, dass ein beträchtlicher Teil der gegenwärtig veröffentlichten chiropraktischen Forschung diesem Thema gewidmet ist. Doch das Gegenteil ist der Fall. Die größte Datenbank medizinischer Publikationen, Medline, listet derzeit mehr als 3.000 Arbeiten zum Thema "Chiropraktik" auf, aber nur 17 davon beschäftigen sich mit dem Thema "Risiken von Chiropraktik". Somit ist es den Chiropraktikern also gelungen, ein wichtiges jedoch unliebsames Thema weitgehend aus der öffentlichen Diskussion zu verbannen.

Pilot-Studien

Eine Pilotstudie ist eine Voruntersuchung in kleinem Maßstab mit dem Ziel, die Durchführbarkeit, den Zeitaufwand, die Kosten und die Nebenwirkungen zu evaluieren und das Studiendesign vor der Durchführung eines Forschungsprojekts im größeren Maßstab zu optimieren. Diese elementaren Voraussetzungen werden jedoch durch die meisten SAM-Pilotstudien, die derzeit veröffentlicht werden, nicht erfüllt. Echte SAM-Pilotstudien sind in der Tat sehr selten.

Der Grund für die Fülle von Pseudo-Pilotstudien liegt auf der Hand: Sie können so interpretiert werden, dass sie ermutigend positive Ergebnisse für SAM zeigen. In der Folge können die Befürworter der SAM dann die Öffentlichkeit in die Irre führen, indem sie behaupten, es gäbe eine Fülle positiver Studien und SAM sei durch stichhaltige Evidenz untermauert.

Klinische Studien, die falsch-positive Ergebnisse liefern

Die Wirksamkeit einer Therapie lässt sich am besten mit kontrollierten klinischen Studien testen. Solche Untersuchungen bestehen in der Regel daraus, dass eine Gruppe von Patienten in zwei Untergruppen aufgeteilt wird. Die Experimental- (oder Verum-) Gruppe erhält die zu testende Therapie, während die andere Gruppe, die Kontrollgruppe, eine andere Behandlung erfährt. Nach Abschluss der Therapiephase werden die Ergebnisse beider Gruppen dann verglichen. Wenn die Zuteilung in die Untergruppen nach dem Zufallsprinzip erfolgt, handelt es sich um eine randomisierte Studie. Falls die Kontrollgruppe mit Placebo behandelt wird, sprechen wir von einer Placebo-kontrollierten Studie. Wenn weder die Patienten noch die Untersucher wissen welche Patienten zu welcher Gruppe gehören, ist die Studie doppel-blind. Das weitaus zuverlässigste Studiendesign ist eine randomisierte, Placebo-kontrollierte Doppelblindstudie.

Heute gibt es tausende von klinischen Studien, die die Wirksamkeit der SAM überprüft haben. Leider sind viele davon sehr viel weniger zuverlässig, als man das erhoffen könnte. Ein Grund dafür liegt in dem Umstand, dass SAM-Forscher oft von einem missionarischen Sendungsbewusstsein beseelt sind, SAM zu belegen (statt sie zu testen, wie das richtige Wissenschaftler machen).

Es gibt verschiedene Möglichkeiten, eine Studie so zu gestalten, dass die Gefahr, ein negatives Ergebnis zu produzieren, minimal ist. Die in der SAM beliebteste Option ist das 'A+B versus B'-Design. In dieser Studie (Acupuncture for cancer-related fatigue in patients with breast cancer: a pragmatic randomized controlled trial - PubMed (nih.gov)) z.B. wurden Krebspatienten, die an Müdigkeit litten, in zwei Gruppen eingeteilt; eine erhielt die übliche Pflege, die andere die übliche Pflege plus regelmäßige Akupunktur-Behandlungen. Die Forscher stellten fest, dass die Akupunkturgruppe besser abschnitt als die Kontrollgruppe. Der Effekt war statistisch signifikant, und ein Editorial (Treating cancer-related fatigue: the search for interventions that target those most in need - PubMed (nih.gov)) bezeichnete dieses Ergebnis sogar als "überzeugend". Aufgrund einer unkritischen Pressemitteilung verbreitete sich die Nachricht schnell, und die Studie wurde weltweit als ein wichtiger Durchbruch in der Krebsbehandlung gefeiert.

Stellen Sie sich vor, Sie haben einen Geldbetrag A und Ihr Freund besitzt die gleiche Summe plus einen weiteren Betrag B. Wer hat mehr Geld? Es ist natürlich Ihr Freund: A+B wird immer mehr sein als A [es sei denn, B ist ein negativer Betrag]. Aus dem gleichen Grund werden "pragmatische" Studien wie die eben diskutierte immer positive Ergebnisse erbringen [es sei denn, die fragliche Behandlung ist schädlich]. Eine Routinebehandlung plus Akupunktur ist stets mehr als eine einfache Routinebehandlung. Ersteres führt daher mit großer Wahrscheinlichkeit zu einem besseren Ergebnis, und zwar selbst dann, wenn es sich bei der Akupunktur um ein reines Placebo handelt (A trial design that generates only ''positive'' results - PubMed (nih.gov)). Schließlich ist ein Placebo mehr als Garnichts, und der Placeboeffekt beeinflusst das Ergebnis, insbesondere wenn wir es mit einem sehr subjektiven Symptom wie Müdigkeit zu tun haben.

Eine weitere Methode zur Erzeugung falsch positiver Ergebnisse in klinischen Studien ist das Weglassen der Verblindung. Der Zweck der Verblindung des Patienten, des Therapeuten und des Statistikers in klinischen Studien besteht darin, sicherzustellen, dass unsere Erwartung nicht das Ergebnis beeinflusst. Erwartung mag vielleicht nicht gerade Berge versetzen, aber sie kann sicherlich das Ergebnis einer klinischen Studie verändern (Dissociable influences of opiates and expectations on pain - PubMed (nih.gov)). Patienten, die auf eine Heilung hoffen, werden besser, auch wenn die Therapie, die sie erhalten, nutzlos ist.

Das Weglassen der Randomisierung ist eine weitere Möglichkeit, uns in die Irre zu führen. Wenn wir es Patienten oder Studienteilnehmern erlauben, zu wählen, welche Patienten die zu prüfende Therapie und welche die Kontroll-Behandlung erhalten, ist es nahezu unvermeidbar, dass sich die beiden Gruppen in einer Reihe von Variablen (z.B. Schwere der Erkrankung, Alter, Begleittherapie) unterscheiden. Diese Variablen könnten natürlich das Ergebnis mitbestimmen. Nur die Randomisierung (d.h. Aufteilung in die Gruppen nach dem Zufallsprinzip) kann, wenn sie richtig durchgeführt wird, sicherstellen, dass wir vergleichbare Gruppen haben (Randomisation to protect against selection bias in healthcare trials - PubMed (nih.gov)). Eine Nicht-Randomisierung kann leicht falsch-positive Befunde erzeugen, was dann natürlich den Proponenten der SAM nur Recht ist.

Klinische Studien, die prüfen, ob eine Behandlungsweise einer anerkannten Therapie gleichwertig ist, nennt man Äquivalenzstudien. Wenn beide Behandlungen ähnlich positive Ergebnisse erzielen, sollten natürlich beide wirksam sein. Solche Äquivalenzstudien sind in der SAM beliebt und bieten eine Vielzahl von Möglichkeiten, uns in die Irre zu führen. Wenn z.B. eine solche Studie nicht genügend Patienten hat, kann sie Äquivalenz vortäuschen, wo eigentlich keine Äquivalenz besteht. Ein einfaches Beispiel: Jemand kommt auf die Idee, Antibiotika mit Akupunktur bei bakteriellen Lungenentzündungen älterer Patienten zu vergleichen. Die Forscher rekrutieren 10 Patienten für jede Gruppe, und die Ergebnisse zeigen, dass in der Verum Gruppe 3 Patienten starben, während es in der Kontrollgruppe 3 Patienten waren. Die Differenz ist nicht statistisch signifikant. Die Ergebnisse würden also bedeuten, dass die Akupunktur genauso gut ist wie das Antibiotikum ist. Die Autoren ziehen die scheinbar logische Schlussfolgerung, dass die Akupunktur bei bakteriellen Infektionen genauso wirksam ist wie Antibiotika. Hier würde dann ein gefährlicher Fehlschluss vorliegen, der durch eine falsch angelegte, zu kleine Äquivalenzstudie bedingt ist.

Eine andere Möglichkeit der Irreführung mit Äquivalenzstudien ist es, die Therapie der Kontrollgruppe so anzulegen, dass sie erfolglos ist. Zum Beispiel kann sie zu niedrig dosiert sein. Im obigen Beispiel könnten die Prüfärzte jetzt Hunderte von Patienten rekrutieren, um der Kritik der zu geringen Fallzahl an ihrer ersten Studie Rechnung zu tragen. Sodann verabreichen sie eine sub-therapeutische Dosierung des Antibiotikums gegen Lungenentzündung. Wiederum würden Akupunktur und Antibiotika ähnliche Ergebnisse erzielen. Akupunktur Befürworter könnten dann behaupten, dass sich ihre Behandlung in einer sehr großen randomisierten klinischen Studie als wirksam bei der Behandlung bakterieller Infektionen erwiesen hat. Menschen, die nicht zufällig die richtige Dosis des Antibiotikums kennen, könnten so leicht getäuscht werden.

Weitere Optionen, die Therapie der Kontrollgruppe ineffektiv zu gestalten, bieten sich an. Zum Beispiel kann eine Studie so angelegt werden, dass die Beurteilung des Therapieerfolgs erst dann erfolgt, wenn die Erkrankung bereits mehr oder weniger abgeklungen ist (Homeopathic and conventional treatment for acute respiratory and ear complaints: A comparative study on outcome in the primary care setting | BMC Complementary Medicine and Therapies | Full Text (biomedcentral.com)). Alternativ kann man der Kontrollgruppe eine Therapie verabreichen, die bei der zu untersuchenden Erkrankung nicht indiziert ist, aber dennoch häufig angewendet wird. Dies wäre beispielsweise bei einer Studie der Fall, die Homöopathie mit Antibiotika bei Schnupfen vergleicht (Does additional antimicrobial treatment have a better effect on URTI cough resolution than homeopathic symptomatic therapy alone? A real-life preliminary observational study in a pediatric population | Multidisciplinary Respiratory Medicine | Full Text (biomedcentral.com)). In beiden Situationen können SAM-Forscher dann das Resultat so interpretieren, als sei SAM ähnlich effektiv wie eine ‚Standardbehandlung‘, während sie tatsächlich ebenso nutzlos ist.

Die Ergebnisse wären sogar noch beeindruckender, wenn die Kontrollgruppe in einer Äquivalenzstudie eine Therapie erhalten würde, die nicht nur unwirksam, sondern sogar schädlich ist. In einer solchen Studie würde selbst die nutzloseste SAM effektiv erscheinen, einfach weil sie weniger schädlich ist, als die Therapie der Kontrollgruppe.

Eine Variante dieses Themas sind Studien zur SAM, die eine unbewiesene Therapie mit einer anderen unbewiesenen Therapie vergleichen. Die Ergebnisse solcher Studien zeigen fast zwangsläufig, dass es keinen Unterschied im klinischen Ergebnis zwischen den beiden Therapien gibt. Enthusiastische SAM-Forscher neigen dann zu der Schlussfolgerung, dass ein solches Resultat beweist, dass beide Behandlungen gleich wirksam sind. Die wahrscheinlichere Schlussfolgerung wäre jedoch, dass beide gleich nutzlos sind.

Eine andere Technik der Irreführung besteht darin, Schlussfolgerungen zu ziehen, die durch die in einer klinischen Studie erstellten Daten nicht gestützt werden. Stellen Sie sich vor, Sie hätten mit einer Homöopathie-Studie eindeutig negative Daten generiert. Als Befürworter der Homöopathie sind mit diesem Ergebnis natürlich nicht zufrieden; darüber hinaus könnten Sie einen Sponsor haben, der Druck auf Sie ausübt. Was können Sie tun? Die Lösung ist einfach: Sie müssen nur mindestens einen positiven Teilaspekt hervorheben (Efficacy of injections with Disci/Rhus toxicodendron compositum for chronic low back pain--a randomized placebo-controlled trial - PubMed (nih.gov)). Im Falle der Homöopathie könnten Sie z.B. die Tatsache, dass die Behandlung bemerkenswert nebenwirkungsarm und billig war, in den Vordergrund stellen: Kein einziger Patient starb, die meisten waren mit der Behandlung, die nicht einmal sehr teuer war, sehr zufrieden.

Verschweigen unliebsamer Daten

Eine weitere beliebte Methode, uns in die Irre zu führen, ist das völlige Verschweigen von Ergebnissen, die den SAM-Forschern nicht gefallen. Wenn das Ziel darin besteht, dass die Öffentlichkeit dem Mythos Glauben schenkt, SAM sei frei von Nebenwirkungen, brauchen die SAM-Forscher diese nur unter den Tisch fallen lassen. Auf meinem Blog (edzardernst.com) habe ich immer wieder auf dieses häufige Phänomen aufmerksam gemacht. Wir haben es einmal sogar in einer systematischen Übersicht evaluiert (Reporting of adverse effects in randomised clinical trials of chiropractic manipulations: a systematic review - PubMed (nih.gov)). Sechzig klinische Studien zur Chiropraktik wurden hier einbezogen. Neunundzwanzig davon erwähnten überhaupt keine Information zu Nebenwirkungen. Sechzehn Studien berichteten, dass keine unerwünschten Wirkungen aufgetreten waren. Vollständige Informationen über Inzidenz, Schweregrad, Dauer, Häufigkeit und Methode der Erfassung von Nebenwirkungen fanden sich nur in einer einzigen Studie. Hierzu ist anzumerken, dass die derzeit zuverlässigste Evidenz besagt, dass temporäre Nebenwirkungen nach Chirotherapie in über 50% aller Fälle auftreten (Risks associated with spinal manipulation - PubMed (nih.gov)).

In den meisten Studien werden zahlreiche Variablen gemessen; z.B. könnte eine Studie über Akupunktur zur Schmerzbehandlung die Schmerzen auf ein halbes Dutzend verschiedene Arten quantifizieren, sie könnte nicht nur die Schmerzintensität, sondern auch die Dauer der Behandlung bis zum Abklingen der Schmerzen messen, die Menge der Schmerzmittel, die die Patienten zusätzlich zur Akupunktur erhalten haben, die wegen der Schmerzen arbeitsfreien Tage, den Eindruck des Partners vom Gesundheitszustand des Patienten, die Lebensqualität des Patienten, die Häufigkeit der Schlafstörungen durch Schmerzen usw. Wenn SCAM Forscher dann die Ergebnisse auswerten, stellen sie oft fest, dass sich ein oder zwei Variablen in die von ihnen gewünschte Richtung verändert haben (vor allem, wenn sie auch ein halbes Dutzend verschiedene Zeitpunkte einbeziehen, an denen die Variablen quantifiziert werden). Dies könnte jedoch durchaus ein Zufallsbefund sein: Mit der üblichen Statistik würde eine von 20 Variablen rein zufällig ein signifikantes Ergebnis liefern. Um uns dann in die Irre zu führen, brauchen die SCAM Forscher nur alle negativen Ergebnisse zu "vergessen" und ihre Publikation auf diejenigen Daten zu fokussieren, die zufällig positiv herausgekommen sind.

Betrug

Zu diesem Thema gibt es mehr Auswahl, als man es sich wünschen würde. Wir (Review of randomised controlled trials of traditional Chinese medicine - PubMed (nih.gov)) und andere Arbeitsgruppen (Do certain countries produce only positive results? A systematic review of controlled trials - PubMed (nih.gov)) haben zum Beispiel gezeigt, dass chinesische Akupunktur-Studien kaum je einen negativen Befund ergeben. Mit anderen Worten: Man braucht die Publikation erst gar nicht zu lesen, man weiß bereits alleine aufgrund ihrer Existenz, dass das Resultat positiv ist. Noch extremer: Man braucht die Studie nicht einmal durchzuführen, denn man kennt das Ergebnis bereits, bevor die Forschung begonnen hat.

Dieses seltsame Phänomen deutet darauf hin, dass mit der chinesischen Akupunkturforschung etwas nicht ganz stimmt. Dieser Verdacht wurde sogar von einem Team chinesischer Wissenschaftler bestätigt. In dieser systematischen Übersicht (Positive Results in Randomized Controlled Trials on Acupuncture Published in Chinese Journals: A Systematic Literature Review | The Journal of Alternative and Complementary Medicine (liebertpub.com)) wurden alle randomisierten kontrollierten Studien (RCTs) zur Akupunktur, die in chinesischen Zeitschriften veröffentlicht wurden, von einem Team chinesischer Wissenschaftler evaluiert. Insgesamt wurden 840 RCTs gefunden. Von diesen 840 RCTs berichteten 838 Studien (99,8%) positive Ergebnisse.

Eine Umfrage zu klinischen Studien in China hat schließlich betrügerische Praxis in großem Maßstab aufgedeckt (Chinese Clinical Trials Data 80 Percent Fabricated: Government — Radio Free Asia (rfa.org)). Die chinesische Arzneimittelbehörde führte eine einjährige Überprüfung aller klinischen Studien aus China durch. Sie kam zu dem Schluss, dass mehr als 80% der klinischen Daten "fabriziert" sind. Hier muss angemerkt werden, dass Betrug in der SAM-Forschung sicherlich nicht auf China beschränkt ist. Auf meinem Blog (edzardernst.com) finden Sie viele Belege für diese Aussage. Z. B. finden sie dort mein ‚ALTERNATIVE MEDICINE HALL OF FAME‘, eine Liste von SCAM Forschern, die so gut wie nie negative Daten publizieren.

Schlussfolgerung

Forschung ist zweifelsohne notwendig, wenn wir die vielen offenen Fragen in der SAM beantworten wollen. Aber leider ist ein Großteil der Forschung in diesem Bereich wenig zuverlässig. Wenn man die SAM unter Berücksichtigung der oben diskutierten Fakten kritisch evaluiert, so ergeben sich 4 unterschiedliche Kategorien:

1. Verfahren, die überhaupt noch nie wissenschaftlich untersucht wurden (Beispiele: Shiatsu, Schuessler Salze).
2. Verfahren, die geprüft wurden und nicht als wirksam befunden wurden (Beispiele: Homöopathie, Bach Blüten).
3. Verfahren, die geprüft und als möglicherweise wirksam befunden wurden, deren Studien aber mehrheitlich unzuverlässig sind (Beispiele: Akupunktur, Chiropraktik).
4. Verfahren, die geprüft und als wirksam befunden wurden, und deren Studien belastbar sind (Beispiele: Phytotherapeutika wie Johanniskraut, Nahrungsergänzungsmittel wie Glucosamin).

Es liegt auf der Hand, dass nur die 4. Kategorie Einzug in die medizinische Routine haben sollte. Diese umfasst jedoch nur sehr wenige Verfahren (Heilung oder Humbug?: 150 alternativmedizinische Verfahren von Akupunktur bis Yoga eBook: Ernst, Edzard: Amazon.de: Kindle-Shop). Ebenso liegt es auf der Hand, dass es immer notwendig ist, auf der Hut zu sein und kritisch zu analysieren.