Evidenzbasierte Homöopathie nach Weiermayer et al

Im Oktober 2020 erschien im Schweizer Archiv für Tierheilkunde (SAT), einer Fachzeitschrift für Tierärztinnen und Tierärzte, der Artikel Evidenzbasierte Veterinär-/Homöopathie und ihre mögliche Bedeutung für die Bekämpfung der Antibiotikaresistenzproblematik – ein Überblick. Als Autoren des Textes zeichneten vier für die Homöopathie engagierte Therapeuten, darunter die Fachtierärztin für Homöopathie Petra Weiermayer (2020 Präsidentin der Österreichischen Gesellschaft für Veterinärmedizinische Homöopathie (ÖGVH)) und Professor Michael Frass (2020 Vorsitzender der Wissenschaftlichen Gesellschaft für Homöopathie e. V. (WissHom)). In ihrem Text kamen sie zu dem Ergebnis, dass sowohl bei Human- als auch Veterinärhomöopathie gute Evidenz für eine Wirksamkeit vorläge; besonders bei individualisierter Homöopathie sei dies „auf allen Qualitätsstufen nach Cochrane-Kriterien erkennbar“. Anderslautende Ergebnisse und Stellungnahmen zur Homöopathie, wie sie beispielsweise von der australischen Gesundheitsbehörde National Health and Medical Research Council (NHMRC) oder dem European Academies Scientific Advisory Council (EASAC) vorgelegt worden waren, seien nicht durch „wissenschaftliche Redlichkeit, sondern eine (…) grundsätzliche Ablehnung der Homöopathie“ zustande gekommen.

In der Veröffentlichung von Weiermayer et al. werden als Basis dieser Schlussfolgerung viele Behauptungen in Bezug auf die vorliegende Evidenz zur Homöopathie, die von Homöopathen oft vorgebracht werden, genannt. Dies macht sie zu einem idealen Objekt für einen Faktencheck.

Der folgende Artikel bietet diese Gegenüberstellung von homöopathischer Beschreibung der Evidenz mit den Inhalten der Originaltexte. Dabei werden die über den Artikel von Weiermayer et al. verstreuten Aussagen über einzelne Arbeiten – wie das Reviewprogramm von Robert Mathie, den NHMRC-Report oder die Stellungnahme der EASAC – der Übersicht halber in Kapiteln zusammengefasst. Eigene Abschnitte befassen sich außerdem mit einer von den Autoren als „repräsentative Literaturauswahl“ bezeichneten Aufzählung einiger Studien zum Thema Antibiotika, sowie zur Darstellung der Evidenzbasierten Medizin durch Homöopathen.

⇒ Siehe auch den Übersichtsartikel für weitere Faktenchecks von oft durch Vertreter der Homöopathie vorgetragene Darstellungen.

Das Reviewprogramm von Robert Mathie

Zwischen 2014 und 2019 legte Robert Mathie im Rahmen eines Projekts des Britischen Homeopathy Research Institute (HRI) insgesamt vier indikationsübergreifende Systematische Reviews zur Homöopathie vor. In den nacheinander veröffentlichten Reviews betrachtete man getrennt voneinander Studien, in denen die Homöopathika individuell – oder nicht individuell – verordnet worden waren, sowie Studien, in denen die Ergebnisse der homöopathischen Behandlung mit Placebo oder medizinischen Therapien verglichen wurden. Den Veröffentlichungen war ein Protokoll vorausgegangen, in dem beschrieben wurde, auf welche Weise man plante, die von der Cochrane Collaboration vorgegebenen Kriterien zur Bewertung des Biasrisikos in den einzelnen Studien in den Reviews anzuwenden. Besonders der erste Review von 2014 zur individualisierten Homöopathie in Vergleich zu Placebo wird häufig von Homöopathen zitiert. Auch der Text von Weiermayer et al. nimmt umfangreich Bezug auf die Ergebnisse dieses Reviews, wie auch des gesamten Reviewprogramms. In diesem Kapitel sollen die Ergebnisse von Mathie et al. den diesbezüglichen Aussagen im Text von Weiermayer et al. gegenübergestellt werden.

Der Review von 2014

⇒ Siehe auch Hauptartikel zum Review von Mathie et al. (2014) für eine sehr ausführliche Beschreibung dieser Veröffentlichung.

In diesem Abschnitt werden nur die Aspekte aus Mathies Veröffentlichung zusammengefasst, die in Bezug auf die Beschreibung im Text von Weiermayer et al. relevant sind.

Im ersten Review der Serie von 2014 werteten Mathie et al. die placebokontrollierten Studien zur individualisierten Homöopathie aus. Bei der Analyse der Qualität der betrachteten Einzelstudien fanden Mathie et al., dass keine der betrachteten Studien alle Qualitätskriterien im nach den Richtlinien der Cochrane Collaboration festgelegten Protokoll für ein niedriges Biasrisiko erfüllte. In einem weder nach Cochrane noch im vorab festgelegten Protokoll vorgesehenen Schritt wurden daraufhin drei Arbeiten mit unklarem Biasrisiko in nur einem der sieben Kriterien zur „zuverlässigen Evidenz“ erklärt, darunter auch Pilotstudien. Mathie et al. bewerten ihr Ergebnis daher entsprechend vorsichtig:

Arzneien, die als Homöopathika individuell verordnet wurden, zeigen möglicherweise einen kleinen spezifischen Effekt. (…) Die generell niedrige und unklare Qualität der Nachweise gebietet aber, diese Ergebnisse nur vorsichtig zu interpretieren

Im Artikel von Weiermayer et al. heißt es dagegen:

Der 2014 durchgeführte Review inklusive Metaanalyse hat eine Wirksamkeit für individualisierte Homöopathie im Vergleich zu Placebo ergeben. Es wurde gezeigt, dass die homöopathischen Arzneien, die im Rahmen einer individualisierten Homöopathie verschrieben werden, geringe, spezifische Behandlungseffekte haben.

In dieser Beschreibung fehlen alle Einschränkungen bezüglich der Ergebnisse, die die Originalautoren äußerten. Wer die Originalarbeit nicht kennt, wird nur allzu leicht eine verfälschte Vorstellung von diesem keineswegs so eindeutigen Ergebnis dieses Reviews mitnehmen.

Die drei Reviews von 2017 bis 2019

Insgesamt waren Mathies Ergebnisse der späteren drei Reviews sogar noch ernüchternder:

2018 werteten Mathie et al. Studien zur individualisierten Homöopathie aus, bei denen die Vergleichsgruppen nicht Placebo, sondern eine prinzipiell wirksame Therapie erhielten. Bei den elf identifizierten Studien sahen Mathie et al. in zehn Fällen ein hohes Biasrisiko, bei der letzten Studie ein unklares Risiko eines Bias. Sie enthielten sich deshalb einer Schlussfolgerung zum Wirksamkeitsvergleich:

Aufgrund der geringen Qualität, der geringen Anzahl und der Heterogenität der Studien schließt die aktuelle Datenlage eine aussagekräftige Schlussfolgerung über die vergleichende Wirksamkeit der IHT [IHT = individualisierte homöopathische Therapie] aus. Die Verallgemeinerbarkeit der Ergebnisse ist durch die insgesamt festgestellte variable externe Validität eingeschränkt…

In der Veröffentlichung von Weiermayer et al. steht über diesen Review, er „indiziere eine Wirksamkeit“. Diese Formulierung ist aus wissenschaftlicher Sicht nichtssagend: Ein Nachweis ist entweder gelungen oder nicht, er kann nicht „indiziert“ sein. Derartige Darstellungen sind deshalb sehr missverständlich, weil sie als Andeutung eines gelungenen Wirksamkeitsnachweises verstanden werden könnten, der in der Originalarbeit aber gar nicht erfolgte oder behauptet wurde.

Im Artikel von Weiermayer et al. ist hierbei ausschließlich das statistisch signifikante Ergebnis zitiert, das Mathie über ergänzend eingesetzte homöopathische Therapie in diesem Review berichtet. Es kam aber über nur drei aus medizinischer Sicht sehr heterogene Studien zustande, während andere Analysen keine signifikanten Ergebnisse erbrachten, weshalb Mathie et al. sich in ihrer Zusammenfassung auch nicht dazu hinreißen lassen, von einem Wirkungsnachweis zu sprechen. Von diesen Teilen des Reviews erfährt der Leser des Textes von Weiermayer et al. aber nichts. Wer nur den Artikel von Weiermayer kennt, wird kaum auf die Idee kommen, dass Mathie et al. in diesem Review, der angeblich eine Wirksamkeit indiziere, in Wahrheit geschrieben haben, dass eine aussagekräftige Schlussfolgerung aufgrund der geringen Studienqualität nicht möglich sei.

Bereits im Jahr 2017 hatten Mathie et al. die randomisierten Vergleichsstudien zur nicht-individualisierten Homöopathie einer Metaanalyse unterzogen. Das Ergebnis war sehr ähnlich zu dem, das Shang 2005 für die gesamte Homöopathie beschrieben hatte: eine Analyse der sehr kleinen Untergruppe der als zuverlässig eingestuften Studien – drei Arbeiten, zwei davon war diesmal tatsächlich ein niedriges Biasrisiko zugesprochen worden – stützte die Ablehnung der Nullhypothese (= Annahme, die Homöopathika seien Placebos), die sich unter Einbeziehung aller Arbeiten noch gezeigt hatte, nicht mehr.

Die Qualität der vorliegenden Evidenz ist gering. Eine Metaanalyse aller extrahierbaren Daten führt zur Ablehnung unserer Nullhypothese, aber die Analyse einer kleinen Untergruppe von zuverlässiger Studien unterstützt diese Ablehnung nicht. In den krankheitsspezifischen Metaanalysen fehlt es an verlässlicher Evidenz, was entsprechende Schlussfolgerungen verhindert.

Im vierten Review betrachteten Mathie et al. 2019 Vergleichsstudien, bei denen die Homöopathika nicht individuell verordnet wurden und die Kontrollgruppe kein Placebo, sondern ein anderes medizinisches Präparat erhielt. Mit 17 solcher Studien zu 15 verschiedenen Krankheitsbildern war das Bild sehr heterogen. 14 Studien musste man ein hohes Biasrisiko zuordnen, die anderen hatten ein unklares Risiko. Auch hier betrachtete man die anschließend durchgeführte Metaanalyse deshalb als wenig aussagekräftig an und sah sich außerstande, klare Schlussfolgerungen zu ziehen:

Die aktuelle Datenlage schließt eine aussagekräftige Schlussfolgerung über die vergleichende Wirksamkeit von NIHT [NIHT = nicht individualisierte homöopathische Therapie] aus. Die Verallgemeinerbarkeit der Ergebnisse wird durch die insgesamt festgestellte begrenzte externe Validität eingeschränkt.

Beide Reviews zur nicht-individualisierten Homöopathie fanden also ebenfalls keine stichhaltigen Belege für die Homöopathie. Beide Arbeiten werden auch bei Weiermayer et al. nur kurz besprochen.

⇒ Siehe auch Hauptartikel zur Übersicht über alle bis 2020 erschienenen indikationsunabhängigen Systematischen Reviews zur Homöopathie

Die Aussagen zur Einstufung der Qualität der Einzelstudien

Im Artikel von Weiermayer et al. wird an mehreren Stellen betont, dass die in den Reviews von Mathie betrachteten Einzelstudien von hoher Qualität gewesen seien. Durch die Darstellung im Text entsteht beim Leser leicht der Eindruck, die angeblich erfolgten Nachweise für Effekte der Homöopathie über Placebo hinaus seien belastbar. Anhand von drei als Beispiele herausgegriffenen Formulierungen soll gezeigt werden, wie wenig korrekt sich die tatsächlichen Sachverhalte in den Originalarbeiten im Text wiederspiegeln.

Beispiel 1

In der Veröffentlichung von Weiermayer et al. heißt es:

Für die individualisierte Homöopathie im Speziellen sind Effekte auf allen Qualitätsstufen nach Cochrane-Kriterien erkennbar, auch in den methodisch hochwertigen Studien…

Das ist nicht korrekt: Im Review von 2014 mit placebokontrollierten Studien zur individualisierten homöopathischen Behandlung erfüllte keine der betrachteten Studien alle sieben Cochrane-Kriterien für ein niedriges Risiko eines Bias. Dies wird von Mathie et al. explizit so festgestellt:

Keine Studie wurde mit ‚A‘ bewertet (geringes Bias-Risiko insgesamt), d.h. keine erfüllte die Kriterien für alle sieben Bereiche der Bewertung.

Außerdem ist dieser Sachverhalt der Tabelle 3 dieser Arbeit zu entnehmen: Keiner Studie konnte ein niedriges Biasrisiko insgesamt zugeordnet werden.

Um dennoch eine Subgruppenanalyse mit den als relativ zuverlässig eingeschätzten Arbeiten durchführen zu können, definierten Mathie et al. die Studien, die in nur einem der von Mathie et al. als weniger wichtig beurteilten Kriterien ein unklares Biasrisiko zugewiesen bekommen hatten, dennoch als „zuverlässige Evidenz“. Dieses Vorgehen ist von der Cochrane Collaboration nicht vorgesehen und auch im vorab veröffentlichten Protokoll von Mathie et al. von 2013 nicht beschrieben. Es ist deshalb nicht auszuschließen, dass sich Mathie et al. erst dazu entschlossen, nachdem die Auswertung 2014 keine Studien mit niedrigem Biasrisiko ergeben hatte. In jedem Falle ist es falsch, zu schreiben, positive Ergebnisse würden hier „auf allen Qualitätsstufen nach Cochrane-Kriterien erkennbar“ sein.

Dasselbe gilt auch für den Review von 2018, in dem individualisierte Homöopathie mit anderen Behandlungen als Placebo verglichen wurde. Ein Blick in die Tabelle 3 zur Bewertung des Biasrisikos der Einzelstudien zeigt, dass auch in diesem Review für keine Arbeit ein niedriges Biasrisiko vorlag. Mathie et al. konnten nicht einmal nach ihrer 2014 eingeführten Definition einer der Arbeiten die Bezeichnung „zuverlässige Evidenz“ zuordnen.

Fazit:
Die Darstellung im Text von Weiermayer et al., es wären in den Reviews zur individualisierten Homöopathie von Mathie et al. „Effekte auf allen Qualitätsstufen nach Cochrane-Kriterien erkennbar“ gewesen, ist eindeutig falsch.

Beispiel 2

Im Text von Weiermayer et al. heißt es zur Anzahl der im gesamten Reviewprogramm von Mathie et al. mit niedrigem Biasrisiko bewerteten Arbeiten:

Demgegenüber konnten von gesamt 131 Originalarbeiten im Review Programm von 2014, 2017, 2018, 2019 dreizehn RCTs mit minimalem Bias Risiko identifiziert werden.

Wie im vorigen Abschnitt belegt, konnten in den Reviews von 2014 und 2018 zur individualisierten Homöopathie keine klinischen Studien mit niedrigem Biasrisiko identifiziert werden.

In den beiden Reviews zur nicht individuell verordneten Homöopathie konnten Mathie et al. tatsächlich zwei Studien finden, denen sie ein niedriges Biasrisiko über alle sieben Bewertungskriterien nach Cochrane-Richtlinien zuordnen konnten; beide Arbeiten enthielten Placebokontrollen und wurden deshalb im Review von 2017 betrachtet. Im vierten Review von 2019 fand sich wiederum keine Studie mit niedrigem Biasrisiko: Von 17 Studien wurde für 14 ein hohes Risiko eines Bias gesehen, für drei Arbeiten ein unklares Risiko.

Fazit:
In den vier Reviews von 2014 bis 2019 ordneten Mathie et al. genau zwei Studien ein niedriges Biasrisiko zu. Das bedeutet, dass die Angabe von 13 Arbeiten im Text von Weiermayer et al. falsch ist, wenn man „minimales Bias Risiko“ als „niedriges Bias Risiko“ versteht – was die meisten Leser, die die Originaltexte nicht kennen, sehr wahrscheinlich tun werden.

Beispiel 3

Im Text von Weiermayer et al. heißt es sogar:

Fünf RCTs von den 13 RCTs mit minimalem Bias Risiko zeigten zudem hohe zuverlässige Evidenz.

Das Zitat bezieht sich laut des Artikels von Weiermayer et al. auf folgende fünf Arbeiten:

• Studie von Bell et al. (2004) zur individualisierten homöopathischen Behandlung von Fibromyalgie

• Studie von Jacobs et al. (1994) zur homöopathischen Behandlung von Durchfall bei Kindern in Nicaragua

• Studie von Jacobs et al. (2001) zur homöopathischen Behandlung von Mittelohrentzündungen bei Kindern

• Studie von Peckham et al. (2014) zur homöopathischen Behandlung von Reizdarm

• Studie von Colau et al. (2012) zur homöopathischen Behandlung von Hitzewallungen in der Menopause

Da, wie im vorherigen Abschnitt erläutert, insgesamt nur zwei klinische Studien im gesamten Reviewprogramm von Mathie et al. mit niedrigem Biasrisiko bewertet wurden, kann diese Aussage hier ebenfalls nicht korrekt sein. Trotzdem lohnt sich ein kurzer Blick auf diese fünf von Weiermayer et al. herangezogenen Studien.

Die ersten drei Arbeiten (Jacobs et al. (1994), Jacobs et al. (2001) und Bell et al. (2004)) wurden von Mathie et al. im Review von 2014 mit unklarem Biasrisiko bewertet. Weil diese Einschätzung jedoch nur auf der Bewertung „unklar“ in einem von sieben Kriterien beruhte, zogen Mathie et al. in diesem Review diese drei Arbeiten für ihre Subgruppenanalyse der zuverlässigsten Arbeiten heran. Dass diese drei Arbeiten also keineswegs niedriges Biasrisiko hatten, sondern nur eingestuft wurden als die am wenigsten schlechten, geht aus der Formulierung bei Weiermayer nicht hervor. Das Vorgehen von Mathie et al. erfolgte also notgedrungen aufgrund der schlechten Studienqualität, war keineswegs so im vorab nach den Richtlinien der Cochrane Collaboration festgelegten Protokoll vorgesehen – und bedeutet gerade nicht, was im Text von Weiermayer et al. steht: dass sie minimales Biasrisiko gehabt hätten und deshalb ihre Ergebnisse besonders hohe Zuverlässigkeit besäßen. Zu dieser Einschätzung sind Mathie et al. auch überhaupt nicht gekommen.

Zudem ist zum Beispiel die Studie zur homöopathischen Behandlung von Mittelohrentzündungen bei Kindern von den Autoren (Jacobs et al.) selbst als Pilotstudie mit vorläufigen Ergebnissen bezeichnet worden. Pilotstudien sind Arbeiten mit verhältnismäßig kleiner Teilnehmerzahl oder mit anderen Einschränkungen, die oftmals ausführlichen klinischen Studien vorgeschaltet werden, um die Vorgehensweise einer nachfolgenden Hauptstudie zu erproben. Aus dem Ergebnis einer Pilot-Studie können in aller Regel keine Konsequenzen für die medizinische Praxis gezogen werden. Normalerweise ist in der medizinischen Forschung klar, dass die Ergebnisse von Pilotstudien erst in größer und sorgfältiger durchgeführten Hauptstudien bestätigt werden müssen, bevor man sie als verlässlich ansieht. In der Homöopathie sind jedoch ein ganz erheblicher Teil der Studien Pilotstudien, auf die nie eine Hauptstudie folgte. Das ist auch hier der Fall. Es ist also problematisch, wenn Pilotstudien als besonders zuverlässige Evidenz dargestellt werden.

Die Studie von Peckham et al. ist nicht verblindet und weist allein von daher sicher kein niedriges Biasrisiko auf. Auch Mathie (2018) ordnet ihr ein hohes Biasrisiko zu, wie man in der Tabelle 3 dieses Reviews klar sehen kann. Die Darstellung, sie hätte minimales Biasrisiko oder stelle „hohe zuverlässige Evidenz“ dar, ist daher falsch.

Die Studie von Colau et al. (2012) zur homöopathischen Behandlung von Hitzewallungen in der Menopause wird von Mathie et al. im Review von 2017 tatsächlich mit einem niedrigen Biasrisiko bewertet. Sie ist damit von den fünf von Weiermayer et al. genannten Studien die einzige, bei der diese Angabe nicht falsch ist. Allerdings bewerten Mathie et al. im selben Review eine weitere Studie mit niedrigem Biasrisiko, die im Text von Weiermayer et al. fehlt: In der Arbeit von Padilha (2011) zeigte sich kein signifikanter Unterschied zwischen Homöopathikum und Placebo. Mathie et al. fanden deshalb in ihrem Review von 2017 in der Subgruppe der hochwertigsten Studien insgesamt keine statistisch signifikanten Ergebnisse zugunsten der Homöopathie. Insofern ist es irreführend, wenn im Artikel von Weiermayer et al. nur die Arbeit von Colau (2012) erwähnt ist, die zweite von Mathie et al. mit niedrigem Biasrisiko bewertete Studie von Padilha (2011) aber nicht.

Fazit:
Nur eine der fünf Studien, von denen es im Text von Weiermayer et al. heißt, sie stellten „hohe zuverlässige Evidenz“ dar, hatte von Mathie et al. tatsächlich ein niedriges Biasrisiko zugesprochen bekommen. Diese Darstellung ist also nicht korrekt. Auf die zweite von Mathie et al. identifizierte Einzelstudie mit niedrigem Biasrisiko, die keine statistisch signifikanten Effekte zugunsten der Homöopathie aufzeigte, wird dagegen nirgends hingewiesen.

NHMRC-Report

Gerade der bislang umfangreichste Review zur Homöopathie, der Report des australischen National Health and Medical Research Council (NHMRC), wird im Text von Weiermayer et al. heftig kritisiert. Die dabei angeführten Argumente sollen in diesem Abschnitt im Detail auf Stichhaltigkeit geprüft werden.

⇒ Siehe auch Hauptartikel für eine sehr ausführliche Beschreibung dieses Reviews

Gibt es zwei Berichte des NHMRC?

Im gesamten Text von Weiermayer et al. wird von einem „ersten“ und einem „zweiten“ Report des australischen Gesundheitsministeriums gesprochen. Um den angeblich gleichwertigen ersten Bericht wird eine Verschwörungsbehauptung konstruiert:

Der erste «ermutigende Evidenz für die Wirksamkeit der Homöopathie» in zumindest fünf Indikationen zeigende Australische NHMRC Report von 2012 wurde unter Verschluss gehalten und erst auf Druck eines internationalen Konsortiums von Wissenschaftlern, Patientenverbänden, Ärzte- und Tierärztevereinigungen Ende August 2019 veröffentlicht.

Das ist falsch. Es gibt nur einen vom NHMRC fertiggestellten Report. Mit „fertiggestellt“ ist dabei gemeint, dass nur ein Report existiert, der alle qualitätssichernden Maßnahmen durchlaufen hat, die das australische NHMRC an seine Veröffentlichungen stellt. Dieser Report erschien in mehreren Schritten zwischen 2013 und 2015. Das von Weiermayer et al. und von vielen homöopathischen Lobbyverbänden als „erster Report“ bezeichnete Papier ist lediglich ein aufgrund vieler Schwachstellen verworfener Entwurf eines Berichts eines mit der Datenerfassung beauftragten Dienstleisters an das NHMRC. Dieses niemals fertiggestellte Dokument war wegen bereits intern festgestellter Mängel in der Ausführung nicht weiterverfolgt worden. Die Erstellung wurde komplett neu vergeben. Eine Veröffentlichung erfolgte ausschließlich als umfangreich kommentierter „Draft“, weil das NHMRC klarstellen wollte, wie und an welchen Stellen der hausinterne Review Mängel im Entwurf des ersten Dienstleisters aufgedeckt hatte. Dies war notwendig geworden, weil homöopathische Lobbyverbände bereits seit 2015 nicht müde wurden, Verschwörungsbehauptungen darüber zu verbreiten. Ein entsprechender Hinweis ist klar und deutlich dem Begleitschreiben von Prof. Anne Kelso (CEO) zu entnehmen:

Ich bin mir auch bewusst und besorgt darüber, dass sich eine erhebliche Menge an Falschinformationen über den Inhalt dieses Berichtsentwurfs 2012 angesammelt hat. Ich veröffentliche den Bericht jetzt in kommentierter Form, um diese Falschinformationen zu berichtigen. (…) Es muss betont werden, dass es sich um eine unvollständige Arbeit handelt, die kein vom NHMRC autorisierter Bericht ist, daher muss sein Inhalt in diesem Kontext gelesen werden. Die üblichen Methoden der Qualitätssicherung des NHMRC wurden auf dieses Dokument nicht angewandt. Diese Verfahren (die eine methodische Überprüfung, eine Überprüfung durch Experten, eine öffentliche Konsultation und die Genehmigung durch das Expertenkomitee und den Rat des NHMRC umfassen) können oft zu erheblichen Änderungen an den ersten Entwürfen führen. Das NHMRC ermutigt interessierte Personen dringend, das NHMRC-Informationspapier 2015 zu verwenden…

Dieses Schreiben wurde der 2019 veröffentlichten Entwurfsversion bewusst vorangestellt, um anderslautenden Darstellungen, wie sie im Artikel von Weiermayer et al. nun erneut verbreitet werden, zu widersprechen. Noch deutlicher kann eine Behörde den gegen sie vorgebrachten Vorwürfen eigentlich nicht entgegentreten. Damit ist die Unterstellung, der „erste australische Report“ sei „unter Verschluss gehalten worden“, hinfällig. Man ist lediglich der üblichen Praxis gefolgt, verworfene Unterlagen wie den Berichtsentwurf eines Dienstleisters nicht weiter zu verarbeiten oder gar zu veröffentlichen.

Das Begleitschreiben ist aber auch in Bezug auf eine andere Behauptung im Text von Weiermayer et al. wichtig, nämlich wenn es heißt, der australische Report sei ohne Peer-Review veröffentlicht worden:

…der zweite Australische NHMRC Report mit fehlendem Peer-Review…

Anne Kelso beschreibt, dass der bis 2015 veröffentlichte Bericht eine methodische Überprüfung, eine Überprüfung durch Experten, eine öffentliche Konsultation und die Genehmigung durch das Expertenkomitee und den Rat des NHMRC durchlaufen hat. Dies ist in dem in mehreren Teilen veröffentlichten Bericht auch klar dokumentiert. Das ist viel mehr als ein einfacher Peer-Review einer Fachzeitschrift, der lediglich durch zwei vorab lesende Fachleute durchgeführt wird. Der Leser erfährt im Text von Weiermayer et al. weder vom Scheitern bereits im vorgeschalteten, internen Reviewprozess, noch dass der fertiggestellte Report ihn durchlaufen hat. Dadurch kann der Hinweis auf einen „fehlenden Peer-Review“ wie eine Diskreditierung des NHMRC verstanden werden: das erste Papier soll unter Verschluss gehalten, das zweite in zweifelhafter Weise veröffentlicht worden sein. Beides entspricht nicht den Tatsachen.

Um nachvollziehen zu können, wie abwegig die Behauptung ist, dies sei erfolgt, weil der Entwurf ja ein für die Homöopathie positives Ergebnis gehabt habe – was aufgrund von Voreingenommenheit unerwünscht gewesen sei – muss man die Ergebnisse beider Dokumente nebeneinander legen. Dann wird schnell klar, wie wenig sich die Ergebnisse eigentlich unterscheiden. Der NHMRC-Report kommt zu dem Schluss, dass es keine Krankheitsbilder gibt, für die es verlässliche Nachweise gibt, dass die Homöopathie über Placebo hinaus wirksam ist. In derselben Weise spricht auch der verworfene Draft-Report bei keinem einzigen Beschwerdebild von stichhaltiger Evidenz zugunsten der Homöopathie. Für fünf Indikationen wurde im Berichtsentwurf „ermutigende Evidenz“ gefunden, ohne dass klar definiert worden war, was „ermutigend“ sein soll. Dass hier im Draft für vergleichbar schlechte Evidenz („Grade C“) bei verschiedenen Indikationen unterschiedliche Bezeichnungen für die Einstufung der Evidenz („ermutigende Evidenz“/ „keine überzeugende Evidenz“) verwendet wurden, war vielmehr ein Kritikpunkt der Reviewer am Berichtsentwurf. Für über 30 weitere Indikationen, darunter einige, bei denen Homöopathie besonders gut anzuwenden sein soll (z.  B. Asthma, ADHS, Heuschnupfen, Kopfschmerz und einige andere) war noch nicht einmal das der Fall. Für eine Therapieform, die für sich in Anspruch nimmt, generell als Alternative zur evidenzbasierten Medizin einsetzbar zu sein, ist dies ein ebenso niederschmetterndes Ergebnis, wie das Ergebnis im NHMRC-Report selbst. Aus wissenschaftlicher Sicht besteht kein Unterschied zwischen den beiden Darstellungen: Keines der beiden Dokumente kommt zu dem Ergebnis, dass die Nullhypothese (das heißt die Ausgangsannahme, Homöopathie ist gleichzusetzen mit einer Placebobehandlung) aufgrund stichhaltiger anderslautender Belege verworfen werden muss.

⇒ Siehe auch Hauptartikel zum Draft-Report und der von homöopathischer Seite oft in diesem Zusammenhang verbreitete Desinformation

Wurden alle außer fünf Studien ausgeschlossen?

In Tabelle 2 im Artikel von Weiermayer et al. heißt es, im NHMRC-Report von 2015 seien 97 % der vorliegenden Studien „von der Analyse ausgeschlossen“ worden. Auch im Text steht deutlich, dass die Angaben der Tabelle in dieser Weise zu verstehen sind:

Die folgende Übersicht zeigt unter anderem auf, wie viele Studien von der jeweiligen Analyse ausgeschlossen wurden…

Um diesen Vorwurf zu bewerten, ist es notwendig, zu betrachten, wie das NHMRC im Report vorging: Das NHMRC erstellte einen Gesamtreport auf der Basis der bei der Literatursuche gefundenen 57 Systematischen Reviews, in die zusammen 176 Einzelstudien eingeflossen waren. In den nach 2013 erfolgten Anhörungen kamen sogar noch einmal weitere Studien hinzu, so dass insgesamt 225 Studien in die Ergebnisse im Bericht eingeflossen sind.

Die so gefundenen 57 Systematischen Reviews wurden dann für alle darin untersuchten Beschwerdebilder getrennt ausgewertet. Das Vorgehen dabei beschreibt das NHMRC in seinem „Information Paper“ wie folgt:

Für jeden Krankheitszustand bewerteten die Evidenzprüfer die Qualität der systematischen Reviews anhand einer standardisierten, international anerkannten Methode und erfassten die Anzahl und Art der Studien, die in die systematischen Reviews eingeschlossen worden waren. Anhand der Informationen aus den systematischen Reviews bewerteten die Gutachter auch die Qualität jeder einzelnen Studie und ihre Teilnehmerzahl, wobei sie Faktoren berücksichtigten, die die Ergebnisse zugunsten der Homöopathie, eines Placebos oder einer anderen Behandlung verzerren könnten.

Das NHMRC betrachtete also die vorhandenen Übersichtsarbeiten. Für die einzelnen Studien übernahm man die in den jeweiligen Reviews erfolgte Bewertung und fasste diese zusammen und gelangte so zu einem verdichteten Fazit. Nur die (etwa im Zuge der öffentlichen Anhörung) nachgereichten Studien wurden auch einzeln bewertet. Das NHMRC analysierte also nicht die Einzelstudien und schloss entsprechend auch nirgends Einzelstudien von dieser Vorgehensweise aus, die in den untersuchten Reviews ausgewertet worden waren.

Man stufte lediglich die vorhandenen Studien aufgrund ihrer von den jeweiligen Review-Autoren vergebenen Qualitätsbeurteilungen und der Teilnehmerzahl als unterschiedlich belastbare Evidenz ein. Man nahm sowohl für die betrachteten Reviews als auch für die darin enthaltenen Einzelstudien eine Einteilung vor, wonach Studien unter 150 Teilnehmern als klein und unter 50 Teilnehmern als sehr klein anzusehen sind. Kleine und sehr kleine Studien wurden nicht als belastbare Evidenz bewertet, aber keineswegs ausgeschlossen, sondern ausgewertet und inhaltlich dokumentiert. Evidenz zu einem Krankheitsbild, die nur aus solchen Studien bestand, wurde als nicht belastbar eingestuft. Wären solche Studien in einer systematischen Übersichtsarbeit als qualitativ gut eingestuft worden und hätte dieses Review zu einem stichhaltigen positiven Ergebnis geführt, wäre dies vermerkt worden, aber es gab keinen solchen Fall.

Die im Text von Weiermayer et al. angeführten Kriterien (Jadad 5/5, >150 Teilnehmer) dienten also keineswegs dem Ausschluss von Studien, sondern allein der Einordnung ihrer Qualität. Die Unterstellung, es wären 97 % der Studien vom NHMRC überhaupt nicht analysiert worden, ist unhaltbar.

Die Zahlenwerte in Tabelle 2 in der Spalte „von Analyse ausgeschlossene Studien“ beziehen sich aber zudem in höchst irreführender Weise auf völlig unterschiedliche Sachverhalte in den einzelnen Reviews. Wie gerade erläutert, kann man die Angabe von 97 % für den NHMRC-Report verstehen als „wie viele der Einzelstudien erfüllten die Kriterien für die Subgruppe der Arbeiten mit niedrigem Biasrisiko der Review-Autoren nicht“. Dieser Definition widerspricht aber die Angabe von 31 % für den Review von Mathie et al. von 2014: Im Review von Mathie et al. von 2014 erfüllte keine der betrachteten Studien die Anforderungen der Autoren für diese Einstufung. Um überhaupt eine Subgruppenanalyse der relativ noch am besten bewerteten Arbeiten durchführen zu können, wichen Mathe et al. vom ursprünglichen Kriterienkatalog ab und schufen so eine Untergruppe mit drei Studien. Wollen Weiermayer et al. in der fraglichen Spalte ihrer Tabelle 2 also darstellen, wie viele Studien von den jeweiligen Autoren nicht in die am höchsten bewertete Subgruppe eingeordnet wurden, müsste es bei Mathie entweder 100 % (keine erfüllte die Kriterien) oder 91 % (nur drei von 32 Studien erfüllten die Kriterien) heißen. Die 31 % beziehen sich dagegen auf die bei Mathie et al. tatsächlich wegen des Fehlens ausreichender Datenangaben in den Arbeiten von der Analyse ausgeschlossener Arbeiten. Solche Arbeiten gab es beim NHMRC gar nicht, weil das NHMRC keine Daten aus den Einzelarbeiten zu ziehen versuchte. Der dem Wert 31 % bei Mathie et al. von 2014 korrekt zuzuordnende Wert für den NHMRC-Report ist deswegen 0 %. Nebeneinandergestellt ist somit immer einer der beiden Zahlenwerte unzutreffend, egal, was die Autoren mit diesen Zahlen ausdrücken wollten.

Die Kritik an den Beurteilungskriterien (Jadad 5/5, >150 Teilnehmer) des australischen Reports bleibt aber auch deshalb substanzlos, weil sie nicht verifiziert wird, indem aufgezeigt werden würde, bei welcher Indikation sich ein stichhaltiger Wirksamkeitsnachweis ergeben würde, wenn man diese Kriterien nicht anwendet. Dies gilt umso mehr, da auch alle anderen Reviews, einschließlich des Reviewprogramms von Mathie et al., praktisch zu dem gleichen Ergebnis kommen: Keiner vermeldet einen soliden Nachweis dafür, dass die Homöopathie in irgendeinem Krankheitsbild vorteilhaft gegenüber Placebo wirksam ist.

Dieser von Homöopathen öfter vorgebrachte Vorwurf wird auch im Hauptartikel zum NHMRC-Report ausführlich besprochen.

Fazit:
Keiner der im Text von Weiermayer et al. vorgebrachten Vorwürfe gegen den NHMRC-Report ist haltbar.

Review von Shang et al. (2005)

Im Text von Weiermayer et al. ist es als Faktum dargestellt, dass in der Metaanalyse von Shang von 2005 die Auswahlkriterien für hochwertige Studien im Nachgang definiert worden wären:

Festzuhalten ist, dass im Review mit Metaanalyse von 2005 nachträglich die Ein- und Ausschlusskriterien modifiziert wurden, was die Bewertung von positiv zu negativ veränderte.

Dies ist ein schwerwiegender Vorwurf, der, wenn er stichhaltig begründet würde, die Aussagekraft des Reviews von Shang et al. stark herabsetzen würde. Als Beleg wird im Text von Weiermayer et al. jedoch lediglich ein Leserbrief zum Review von Shang angeführt, der im Jahr nach dem Erscheinen des Shang/Egger-Reviews in der Zeitschrift Homeopathy abgedruckt worden war. In diesem Leserbrief findet sich allerdings kein Nachweis dafür, dass Shang et al. die Einschlusskriterien nachträglich aufgestellt hätten. Es wird dort lediglich die Frage aufgeworfen, ob das so gewesen sei:

…der Punkt, an dem abgeschnitten wurde, scheint willkürlich gewählt zu sein: Wenn man sich Abbildung 2 [gemeint ist eine Abbildung bei Shang/Egger] ansieht, sehen die Daten für beide Gruppen sehr ähnlich aus. Dies gilt auch dann, wenn verschiedene Stufen von Standardfehlern betrachtet werden. Die Auswahl größerer Studien mit höherer Qualität ist also eine Post-Festum-Hypothese, aber kein vorgegebenes Kriterium. Es bleibt die Frage: War die Beschränkung auf größere Studien mit höherer Qualität Teil des ursprünglichen Protokolls oder war dies eine datengetriebene Entscheidung? Da wir diese vorgeschlagene Einschränkung in der Zusammenfassung nicht finden können, bezweifeln wir, dass sie a priori aufgenommen wurde.

Aus Zweifeln wird kein Beleg, nur weil das Aufwerfen der Frage über 15 Jahre zurückliegt. Insofern ist es eine unbegründete Diskreditierung, dass es im vorliegenden Text nun wie eine Tatsache klingt, dass die Studienauswahl für die Subgruppe der größten und qualitativ besten Studien bei Shang/Egger nachträglich und dem gewünschten Ergebnis entsprechend erfolgte.

In problematischer Weise erzeugt allein die Diskussion darum ein verzerrendes Bild auf die vorhandenen Reviews, weil im Text von Weiermayer et al. nirgends steht, dass Mathie et al. in ihrem Review von 2014 überhaupt keine Studie mit niedrigem Biasrisiko nach den vorab festgelegten Kriterien finden konnten. Hier wurde definitiv in einem vorab nirgends beschriebenen Schritt dann ein anderer Weg gefunden, um eine Subgruppe der relativ besten Studien festzulegen. Kritisiert man die alte Arbeit von Shang/Egger für das Fehlen einer Begründung der Auswahlkriterien und folgert dort, dass dies nachträglich festgelegt worden sei, dann hätte dies in derselben Weise auch bei Mathie et al. erfolgen müssen, was aber nicht geschehen ist.

Zudem ist festzuhalten, dass nach Shang et al. veröffentlichte Artikel, die die Frage aufwerfen, zu welchen anderen Ergebnissen man wohl gekommen wäre, hätte man anders selektiert, notgedrungen nachträglich ausgewählte Untergruppen analysieren müssen – und damit selbst in die Gefahr laufen, durch multiples Testen falsch positive Befunde zu erhalten oder infolge von (bewusster oder unbewusster) Voreingenommenheit selektiv zu analysieren. Allein deshalb ist es eigentlich müßig, im Jahr 2020 darüber zu diskutieren, ob in einem zu diesem Zeitpunkt 15 Jahre alten Systematischen Review eine bestimmte Subgruppe nachvollziehbar gewählt war. Denn tatsächlich unterscheidet sich das Ergebnis des Reviews von Shang et al. nicht grundlegend von denen der anderen Reviews, die Weiermayer et al. anführen oder von denen, die in diesen 15 Jahren außerdem noch durchgeführt wurden: Alle Autoren stufen die Qualität und die Aussagekraft der untersuchten Studien mindestens größtenteils als schlecht ein, verweisen auf fehlende Replikationen und verneinen die Existenz stichhaltiger Belege einer Überlegenheit gegenüber Placebo. Der von Weiermayer et al. nicht erwähnte Review von Linde nahm 1998 sogar das Ergebnis von Shang vorweg und fand in seiner Subgruppe der als qualitativ hochwertig eingestuften Arbeiten ebenfalls keine Unterschiede zu Placebo mehr. Nur auf einen Teil der heute vorhandenen Reviews und dort sogar nur auf die darin erhaltenen Werte des „Odds Ratio“ zu sehen und die übereinstimmend zurückhaltende Bewertung der Autoren zur Stichhaltigkeit und zur Studienqualität nicht zu berücksichtigen, kann nicht als wissenschaftlich kritischer Blick auf die Daten gewertet werden.

Anzumerken ist außerdem, dass in Bezug auf den Review von Shang die Angaben in der Tabelle 2 bei Weiermayer et al. ebenfalls nicht stimmig sind: So sollen bei Shang 93 % der Studien ausgeschlossen worden sei. Diese Angabe bezieht sich jedoch allein auf die Subgruppenanalyse der größten und qualitativ hochwertigsten Arbeiten. Auch im Vergleich hierzu ist die Angabe von nur 31 % für den Review von Mathie et al. von 2014 irreführend: Wie schon beim NHMRC-Report müsste hier richtigerweise entweder 100 % (keine Studie mit niedrigem Biasrisiko identifiziert) oder 91 % (drei von 32 Arbeiten in der Subgruppe der relativ besten Arbeiten) angegeben sein. Shang et al. haben zwar unter anderem eine Subgruppenanalyse durchgeführt, in die nur acht von 110 Studien eingeflossen sind. Daneben wurden jedoch sehr viele Analysen mit dem vollen Satz der Studien ausgeführt.

Fazit:
Der Vorwurf, die Auswahlkriterien für die Subgruppe der größten acht Arbeiten sei von Shang et al. erst gezielt nachträglich gewählt worden, wird von Weiermayer et al. nicht belegt. Falsch ist zudem die Darstellung, das Ergebnis von Shang stünde allein. Es reiht sich in Wahrheit gut ein zwischen ältere Ergebnisse (wie etwa der Arbeit von Linde von 1998) und neuere Untersuchungen (wie der des NHMRC oder der von Antonelli et al.).

⇒ Siehe auch diesen Abschnitt zur oft von Homöopathen vorgebrachten Behauptung über die Subgruppenanalyse von Shang und Egger, dass das Ergebnis positiv für die Homöopathie ausgefallen wäre, hätte man noch eine einzige weitere Studie in die Analyse der größten Studien mit hineingenommen.

EASAC-Stellungnahme zur Homöopathie

Der Artikel von Weiermayer et al. enthält umfangreiche Kritik am European Academies Science Advisory Council (EASAC) für deren Stellungnahme zur Homöopathie von 2017. Richtig ist selbstverständlich, dass es sich bei diesem Dokument nicht um einen Systematischen Review im Sinne der evidenzbasierten Medizin handelt, sondern um die Stellungnahme eines aus Wissenschaftlern zusammengesetzten Gremiums auf der Basis der vorhandenen Evidenz. Doch gehen die Einwände weit darüber hinaus.

Was ist objektive Berichterstattung?

Bereits der im Dokument geschilderte Zweck des Papiers wird zum Anlass zur Kritik:

Die Autoren führen in der Einleitung an: Erklärtes Ziel der Stellungnahme sei es, die Kritik an gesundheitlichen und wissenschaftlichen Argumenten gegen homöopathische Arzneimittel zu stärken. Daraus lässt sich ableiten, dass eine objektive Berichterstattung nicht das Ziel war.

Der Text von Weiermayer et al. enthält an dieser Stelle einen schweren Übersetzungsfehler. Das EASAC veröffentlicht seine Stellungnahme keineswegs um „die Kritik an wissenschaftlichen Argumenten gegen homöopathische Arzneimittel zu stärken“, sondern …

… um auf der jüngsten Vorarbeit seiner Mitgliedsakademien aufzubauen und die Kritik an den gesundheitsbezogenen und wissenschaftlichen Behauptungen für homöopathische Produkte zu bekräftigen.

Das ist ziemlich genau das Gegenteil von dem, wie es im Artikel von Weiermayer et al. übersetzt wurde. Dieser Fehler ist dahingehend interessant, als er sich exakt so in einem Text der Britischen homöopathischen Lobbyvereinigung Homeopathy Research Institute (HRI) zur EASAC-Stellungnahme findet. Dies wirft die Frage auf, ob in der Veröffentlichung von Weiermayer et al. vergessen wurde, diesen Text als eigentliche Quelle der Kritik anzugeben.

Der inhaltliche Vorwurf, das EASAC habe also gar keinen „objektiven“ Text verfassen wollen, ist nichts anderes als das Missverständnis, wissenschaftliche Objektivität sei gleichzusetzen mit ewiger Unentschiedenheit gegenüber einer Sachfrage. Tatsächlich ist dies nicht der Fall. Eine wissenschaftliche Stellungnahme ist dann objektiv, wenn sie logisch und zwangsläufig aus den zugrundeliegenden Quellen abzuleiten ist und nicht auf Basis von persönlichen Wünschen der Schreibenden. „Wissenschaftliche Objektivität“ bedeutet kein zwanghaftes Vermeiden einer Urteilsbildung. Zum Vergleich: ein Gremium von Geophysikern handelt nicht voreingenommen, wenn es eine klare Position in Bezug auf die Kugelgestalt der Erde einnimmt und über die Thesen von Flacherdlern nicht „ausgewogen“ berichtet.

Im Gegenteil ist es gerade die Aufgabe von nationalen und internationalen Wissenschaftsgremien, Politiker evidenzbasiert zu entsprechenden Fragestellungen nach Sichtung der Datenlage zu beraten. Es ist zentrales Ziel der Akademie der Wissenschaften, eine Entscheidungshilfe zu sein. Genau dieser Aufgabe kommt das EASAC nach, indem es auf der Vorarbeit anderer wissenschaftlicher Gremien und Mitglieder des EASAC eine Handlungsempfehlung bezüglich der juristischen Regelungen zur Homöopathie gibt.

Die Datenbasis der EASAC-Stellungnahme

Bereits im eben zitierten Einleitungssatz gibt das EASAC einen Hinweis auf die dem Papier zugrunde liegende wissenschaftliche Literaturauswahl. Auch diese ist ein wesentlicher Kritikpunkt im Text von Weiermayer et al.:

Das EASAC Statement von 2017, welches von den sechs erwähnten Reviews mit Metaanalyse nur dasjenige von 2005 und den zweiten Australischen NHMRC Report berücksichtigte, und folglich auch, ohne Angabe von Gründen, die Metaanalyse von 2014 überging, kommt ebenfalls zu einem negativen Ergebnis.

Tatsächlich schreibt das EASAC (wie oben zitiert) bereits eingangs, dass es sich auf möglichst aktuelle Daten, sowie bisherige Arbeiten seiner Mitglieder stützt. Von den bis 2005 veröffentlichten Metaanalysen war nur der Review von Shang/Egger im Auftrag des Schweizer „Programms Evaluation Komplementärmedizin (PEK)“ entstanden, was eine mögliche Begründung für dessen Einschluss trotz seines Alters darstellt. Daneben basiert die Stellungnahme des EASAC aber auch auf dem sehr umfangreichen Bericht der australischen Gesundheitsbehörde NHMRC von 2015. Der Vorwurf im Text von Weiermayer et al., das EASAC habe „nur den zweiten NHMRC-Report“ berücksichtigt, ist irreführend, weil es – wie oben erläutert – nur einen NHMRC-Report gibt. So wird auch in diesem Zusammenhang relevant, dass der „erste NHMRC-Report“ ein unvollendeter und mangelhafter Entwurf war, der selbst dann nicht zu berücksichtigen gewesen wäre, wenn die kommentierte Entwurfsversion 2017 schon öffentlich gewesen wäre. Diesen logischen Ausschlussgrund erfährt der Leser des Artikels von Weiermayer et al. nicht. Genauso wenig wird im Text von Weiermayer et al. erwähnt, dass das EASAC sich außerdem auf die Cochrane-Reviews zur Homöopathie stützt. Genannt werden die Reports für die Indikationen Asthma, Demenz, Geburtseinleitung, ADHS, Reizdarmsyndrom und Grippe. Für jede dieser Indikationen kam die Cochrane Collaboration zu dem Schluss, dass es keine oder nur unzureichende Belege für eine Wirksamkeit der Homöopathie gibt. Zur Veterinärhomöopathie beruft sich das EASAC auf das Review von Doehring und Sundrum.

Ein wichtiger Kritikpunkt in der Veröffentlichung von Weiermayer et al. ist, dass der Systematische Review von Mathie et al. von 2014 „als damals aktuellster“ vom EASAC nicht berücksichtigt wurde. Der Hinweis auf die Aktualität kann sich lediglich auf die Metaanalyse darin beziehen, denn selbstverständlich ist der Abschlussbericht des NHMRC im Jahr 2015 und damit später erschienen. Der NHMRC-Report ist zudem ganz erheblich umfangreicher als der Review von Mathie: er stützt sich auf 57 Systematische Reviews und – nach den in der öffentlichen Anhörung hinzugekommenen – über 200 Einzelstudien, die dann getrennt für über 60 Beschwerdebilder ausgewertet wurden. Mathie et al. befanden 32 Studien zur weiteren Auswertung geeignet, ordneten keiner ein niedriges Biasrisiko zu und stellten schließlich dennoch eine Subgruppe der relativ noch am ehesten zuverlässig erscheinenden Arbeiten aus lediglich drei Studien zusammen. Im gesamten Reviewprogramm erwähnen Mathie et al. mehrfach die Problematik, dass Qualität und Heterogenität der in der Literatursuche gefundenen Arbeiten belastbare Schlussfolgerungen verhindere. Gerade deshalb sprechen Mathie et al. am Ende sehr vorsichtig davon, dass die individualisierte Homöopathie „möglicherweise einen kleinen spezifischen Effekt“ gehabt habe und warnen, die „generell niedrige und unklare Qualität der Nachweise“ gebiete, „diese Ergebnisse nur vorsichtig zu interpretieren“. Im Text von Weiermayer et al. fehlt eine Begründung, warum sich denn an der Stellungnahme der EASAC überhaupt etwas geändert haben sollte, wenn man neben der erheblich umfangreicheren Untersuchung des NHMRC, der Cochrane-Reports und den Berichten anderer wissenschaftlicher Gremien noch dieses nicht auf Studien mit niedrigem Biasrisiko beruhende und höchst vorsichtig formulierte Ergebnis berücksichtigt hätte.

Das HRI beschreibt in seinem ursprünglichen Schreiben zusätzlich zur Kritik bei Weiermayer et al., dass man beim EASAC explizit nachgefragt habe, warum denn der Review von Mathie et al. von 2014 nicht berücksichtigt worden sei. Leider hat das HRI nicht die vollständige Antwort des EASAC veröffentlicht, sondern erwähnt lediglich, das EASAC habe als Begründung geantwortet:

Hochwertige Metaanalysen sollten homogene Studien mit ähnlichen Erkrankungen und gleichen Ergebnissen beinhalten. Es ist äußerst schwierig, Rückschlüsse auf irgendeine Art von Therapie zu ziehen, wenn die Metaanalyse heterogene Studien mit unterschiedlichen Ergebnissen beinhaltet.

Das HRI bezeichnet diese Antwort als unzureichend mit dem Hinweis darauf, dass Mathie doch ausschließlich Studien nur zur individualisierten Homöopathie ausgewertet habe und die Arbeiten deswegen nicht heterogen gewesen wären. Dies geht jedoch augenscheinlich völlig an der Begründung des EASAC vorbei, die auf die Homogenität der untersuchten Erkrankungen und der Ergebnisse abzielt. Mathie et al. sprechen selbst mehrmals im Reviewprogramm und auch speziell im Review von 2014 diese klinische Heterogenität der Einzelstudien an. Die Kritik am EASAC wegen der Nichtberücksichtigung dieses durch das HRI beauftragten Reviews läuft also insgesamt ins Leere.

Auch wegen einer weiteren Quelle äußert der Text von Weiermayer et al. Kritik an der Stellungnahme des EASAC:

Ebenfalls diente der 2010 House of Commons Science and Technology Committee Report «Evidence check 2: Homeopathy» als Quelle. Auch dieser Report war politisch motiviert und wurde umgehend, nachdem er von vier Parlamentariern unterzeichnet wurde, in einer «House of Commons Early Day Motion», die 70 Parlamentarier unterzeichneten, abgelehnt.

Die wissenschaftliche Korrektheit des Abschlussberichtes des Science and Technology Committee des britischen Unterhauses hängt jedoch nicht an der Tatsache, dass die Untersuchung parlamentarisch in Auftrag gegeben worden war. Richtig ist, dass die Untersuchung motiviert war durch die Frage, welche Regelungen in Bezug auf die Homöopathie zu treffen sind. Das gilt aber für viele andere im Regierungsauftrag entstandene Berichte auch, etwa für die Arbeit von Bornhöft et al. Dieser Bericht entstand im Auftrag des Eidgenössischen Bundesamts für Gesundheit (BAG) im Rahmen des „Programms Evaluation Komplementärmedizin (PEK)“ und Weiermayer et al. beziehen sich ohne Bedenken hierauf. Wenn man den Bericht des britischen Science and Technology Committee allein ablehnt, nur weil er politisch motiviert war, so hätte man das mit Bornhöft genauso halten müssen. Andernfalls misst man hier mit zweierlei Maß. In jedem Falle ist aber die Ablehnung einer Untersuchung allein mit der Begründung, sie sei im Hinblick auf eine Parlamentsentscheidung in Auftrag gegeben worden, unwissenschaftlich. Erst recht ist es kein Hinweis auf mangelnde wissenschaftliche Validität, wenn sich unter den Politikern im britischen Unterhaus zunächst keine Mehrheit für legislative Konsequenzen aus dem Bericht fand.

Fazit:
Die Kritik im Text von Weiermayer et al. an der durch das EASAC betrachteten Literatur ist gegenstandslos. Nirgends wurde belegt, dass das EASAC wohl zu einer anderen Stellungnahme gelangt wäre, hätte man zusätzlich den Review von Mathie et al. von 2014 einbezogen. De facto ist dies höchst unwahrscheinlich, weil Mathie et al. keine Studien mit niedrigem Biasrisiko auswerten und deshalb ihre Ergebnisse selbst unter großen Vorbehalten berichten.

Ignoriert das EASAC die Nutztierpraxis?

Im Artikel von Weiermayer et al. heißt es, das EASAC versuche unter homöopathischer Behandlung aufgetretene Besserungen…

… mit dem Placebo-Effekt zu erklären und die in klinischen Studien erzielten Ergebnisse einfach mit «schlechtem Studiendesign … oder Publikationsbias» zu resümieren,…

Laut dem Text von Weiermayer et al. greife dies zu kurz. Problematisch ist hier, dass der Text mit der Auslassung zwischen den Begriffen „schlechtem Studiendesign“ und „Publikationsbias“ den Anlass des Vorwurfes selbst erzeugt. Denn das EASAC gibt sehr wohl weitere Gründe an, die im Text von Weiermayer et al. lediglich nicht genannt sind. Vollständig lautet die Stelle im Originaltext des EASAC:

Jede behauptete Wirksamkeit von homöopathischen Produkten in der klinischen Anwendung kann über den Placebo-Effekt erklärt werden oder auf schlechtes Studiendesign, zufällige Schwankungen, Regression zum Mittelwert oder Publikationsbias zurückgeführt werden. Unter diesen kann der Placebo-Effekt für den Patienten von Wert sein, aber es gibt keine bekannten Krankheiten, für die es robuste, reproduzierbare Beweise gibt, dass die Homöopathie über den Placebo-Effekt hinaus wirksam ist.

Der Vorwurf entsteht also allein durch Auslassung eines relevanten Teils der Erklärung im Originaltext und ist somit nicht haltbar.

Weiter heißt es hierzu im Text von Weiermayer et al., dass die Praxis der Veterinärhomöopathie doch zeigen würde, dass die Gleichsetzung von Homöopathika mit Placebos unhaltbar sei: Die Tiere würden oft gar nichts von der Mittelgabe bemerken und auch oft keine höhere Zuwendung erfahren. Dies schließe Placeboeffekte aus:

Placeboeffekte sind per definitionem alle positiven psychischen und körperlichen Reaktionen, die nicht auf die spezifische Wirksamkeit einer Behandlung zurückzuführen sind, sondern auf den psychosozialen Kontext der Behandlung. Gerade in Anbetracht der Erfolge der veterinärmedizinischen Homöopathie, wobei der Verabreicher in vielen Fällen nicht direkt mit dem Tier in Verbindung tritt, zum Beispiel bei Verabreichung des homöopathischen Arzneimittels über das Trinkwasser – wie es in der Nutztierpraxis oftmals gängige Praxis ist – ist die Aussage, «die Wirksamkeit der Homöopathie beruhe auf der Zuwendung zum Patienten», nicht haltbar.

Das EASAC schreibt jedoch nirgends, „die Wirksamkeit der Homöopathie beruhe auf der Zuwendung zum Patienten“. Der Artikel von Weiermayer et al. argumentiert hier also „gegen Pappkameraden“, ein bekannter rhetorischer Fehlschluss. Anders als dargestellt, heißt es in der Stellungnahme des EASAC:

Neben dem Placebo-Effekt können auch andere Phänomene, wie der natürliche Krankheitsverlauf und die Regression zum Mittelwert, zur Gesamtwahrnehmung eines Nutzens der Homöopathie beitragen.

Damit weist das EASAC auf einen in der Fachliteratur eigentlich gut dokumentierten Umstand hin: keineswegs alle Besserungen nach der Gabe wirkungsloser Mittel sind Placeboeffekte. In der Behandlungspraxis gibt es eine ganze Reihe weiterer Faktoren (neben Placeboeffekten und spezifischen Effekten des Mittels), die zeitnah selbst nach einer Gabe wirkungsloser Mittel zu Besserungen führen können und somit Wirksamkeit der Behandlung über den „Post-Hoc-Fehlschluss“ vortäuschen können. Diese sind auch für die veterinärmedizinische Praxis relevant. Zu diesen Faktoren gehören die vom EASAC angeführten natürlichen Krankheitsverläufe und die „Regression zur Mitte“. Hierunter versteht man die bei selbstlimitierenden oder auch chronischen Erkrankungen nach extremen Befindlichkeitsstörungen wahrscheinliche Rückkehr auf ein Mittelmaß der Beschwerden, was nach einem besonders schlechten Zustand relativ eine Besserung darstellt. Auch kann die Erwartungshaltung durch die durchgeführte Behandlung bei Therapeut und Tierhalter zur Wahrnehmung einer Besserung von Verhaltensauffälligkeiten führen, der keine medizinische Besserung zugrunde liegt.

⇒ Siehe auch Hauptartikel Tierhomöopathie zur Frage, ob alles, was nach der Gabe eines Placebos passiert, nur noch ein Placeboeffekt sein kann.

Fazit: Die Behauptung, das EASAC führe alle Besserungen nach der Gabe homöopathischer Mittel auf die „Zuwendung zum Patienten“ zurück, ist falsch.

Fehlte es an wissenschaftlicher Redlichkeit?

Im Text von Weiermayer et al. wird auf Basis der oben betrachteten Einwände den Autoren der Shang/Egger-Metaanalyse, des NHMRC-Reports und der EASAC-Stellungnahme mangelnde wissenschaftliche Redlichkeit vorgeworfen und über unlautere Motivation hinter diesen Veröffentlichungen spekuliert:

Zusammenfassend lässt sich sagen, dass nicht wissenschaftliche Redlichkeit, sondern eine – angesichts fehlender Plausibilität zu den Wirkprinzipien der Homöopathie – grundsätzliche Ablehnung der Homöopathie, zu den besprochenen Reports und Statements geführt hat,…

Offenbar nicht-wissenschaftliche Interessen führten folglich zu Fehlinformationen gegenüber der Homöopathie.

Diese schwerwiegenden Vorwürfe, wenngleich hier in sehr konzentrierter Weise geäußert, finden sich auch in anderen Veröffentlichungen durch Vertreter der homöopathischen Interessen. Wie oben ausführlich geschildert, sind die jeweils vorgebrachten Einwände jedoch nicht zutreffend. Zudem zeigt sich, dass bei Arbeiten, bei denen dieselben Fragen aufzuwerfen wären, keinerlei Kritik an vergleichbaren Punkten formuliert wird, wenn die Ergebnisse der Veröffentlichungen seitens der Vertreter der Homöopathie als positiv gewertet werden. Gleich mehrere der Vorgehensweisen, aufgrund derer die wissenschaftliche Redlichkeit bei Shang, EASAC und NHMRC angezweifelt wird, sind im Text von Weiermayer et al. ebenfalls vorhanden. Beispielsweise steht dem Vorwurf gegen das EASAC, die „damals aktuellste“ Metaanalyse nicht berücksichtigt zu haben, gegenüber, dass auch im Text von Weiermayer et al. neuere Arbeiten völlig unerwähnt bleiben. Hierzu zählen beispielsweise der ebenfalls sehr umfangreiche Review von Antonelli und Donelli oder neuere Einzelstudien zur Veterinärhomöopathie, die keine Überlegenheit der Homöopathika gegenüber Placebo berichteten. Dagegen führt man mehrmals alte Quellen an, oft nie wiederholte Pilotstudien oder den oft kritisierten Bericht von Bornhöft von 2005.

Fazit:
Die Unterstellung unlauterer Motivation und mangelnder wissenschaftlicher Redlichkeit ist nirgends stichhaltig nachgewiesen und deshalb als reine Diskreditierung zurückzuweisen.

Die Reviews zur Veterinärhomöopathie

Der Text von Weiermayer et al. erschien in einem Schweizer Fachjournal für Tierärzte und behandelt entsprechend umfangreich auch Studien zur Veterinärhomöopathie. In diesem Abschnitt soll betrachtet werden, ob die Darstellung der Systematischen Reviews hierzu die Originalliteratur treffend beschreibt.

Reviews von Mathie und Clausen

Wie schon bei der Homöopathie für „menschliche Patienten“ führte Robert Mathie auch für die Veterinärhomöopathie solche Reviews aus, deren Veröffentlichung ebenfalls in mehreren Einzelartikeln erfolgte. 2012 veröffentlichte man als Basis des späteren Reviews zunächst die Ergebnisse der Literatursuche zur Tierhomöopathie. Die Arbeit von 2014 beschränkt sich auf die Bewertung der Qualität der placebokontrollierten Arbeiten – also diejenigen Studien, in denen es eine Vergleichsgruppe gibt, in der die Tiere mit Placebo behandelt wurden. Die eigentliche Metaanalyse dieser Studien erfolgte in einer eigenen Veröffentlichung 2015. In einem letzten Review werden schließlich die Studien zusammengefasst, bei denen die Tiere der Vergleichsgruppe nicht mit Placebo behandelt wurden.

Im Kapitel Literaturübersicht zu evidenzbasierter Veterinär-Homöopathie heißt es im Text von Weiermayer et al. über den Review von 2014 und die anschließende Metaanalyse 2015 für die placebokontrollierten Einzelstudien:

Ein Review (2014) und die Metaanalyse zeigten Evidenz für die Wirksamkeit der veterinärmedizinischen Homöopathie gegenüber Placebo. (…) Die einzige Metaanalyse zeigt Evidenz für die Wirksamkeit der Veterinär-Homöopathie gegenüber Placebo (…).

Für Leser, die die Originalveröffentlichungen nicht kennen, ist dieser Satz allein schon deshalb irreführend, weil er leicht so verstanden werden kann, als wären der Review (2014) und die Metaanalyse von 2015 unabhängig voneinander. Es entsteht so der Eindruck, es lägen mehr Arbeiten mit einem für die Homöopathie positiven Ergebnis vor, als es eigentlich der Fall ist. Tatsächlich sind beide Veröffentlichungen von Mathie/Clausen Teilschritte derselben Auswertung: 2014 beurteilte man die Qualität der Einzelstudien und hatte insofern überhaupt noch kein Ergebnis zur Gesamtevidenz. Erst 2015 führte man die ausstehende Metaanalyse durch.

Darüber hinaus gibt diese Darstellung die tatsächlichen Ergebnisse von Mathie und Clausen in den beiden genannten Arbeiten jedoch höchst verkürzt wieder und erzeugt so einen viel zu positiven Eindruck der Evidenz. Wie sehr dies der Fall ist, erkennt man jedoch erst bei einem Blick in diese Originalliteratur.

Von 18 Einzelstudien, die in der Literatursuche für eine weitere Betrachtung identifiziert worden waren, sahen Mathie und Clausen lediglich bei dreien die sieben aufgestellten Qualitätskriterien als ausreichend eingehalten und dokumentiert. Eine dieser drei Arbeiten, die Studie von Cracknell et al. zur Silvesterangst bei Hunden, wurde zwar als methodisch einwandfrei identifiziert und damit als verlässlich eingestuft, das für die Homöopathie negative Ergebnis floss aber nicht in die Endauswertung der hochwertigsten Studien ein, weil die Arzneien für diese Arbeit von einem Hersteller von Homöopathika bereitgestellt worden waren. Damit schätzten Mathie und Clausen im Review von 2014 also gerade zwei Arbeiten als aussagekräftig ein:

• Die Arbeit von Camerlink et al., die bei der prophylaktischen Behandlung von Durchfall bei Ferkeln im Ergebnis einen signifikanten Effekt für die Homöopathie findet. Der Studie wurde von Mathie und Clausen ein unklares Biasrisiko zugeordnet.
• Eine Studie von Hektoen et al. zur individualisierten homöopathischen Behandlung von Euterentzündung (Mastitis) bei Rindern, die keine signifikanten Unterschiede zwischen homöopathischer und Placebobehandlung findet. Diese Studie war die einzige im gesamten Reviewprogramm, der Mathie und Clausen insgesamt ein niedriges Biasrisiko zuweisen konnten.

Bereits bevor sie ihre Metaanalyse durchgeführt hatten, stellten Mathie und Clausen fest, dass auf dieser Datenbasis sicher keine verallgemeinerbaren Schlussfolgerungen möglich sind:

Die 18 in die Auswahl einbezogenen RCTs waren unterschiedlich und untersuchten vier Tierarten und 11 verschiedene Krankheitsbilder. Verlässliche Evidenz, frei von Eigeninteressen, wurde in zwei Studien identifiziert (…). Die unterschiedlichen Ergebnisse der einzigen zwei placebokontrollierten RCTs, die ausreichend verlässliche Evidenz boten, schlossen verallgemeinerbare Schlussfolgerungen über die Wirksamkeit einzelner homöopathischer Arzneimittel oder die Auswirkung einer individualisierten homöopathischen Intervention auf ein bestimmtes Krankheitsbild bei Tieren aus.

In ihrer anschließenden Metaanalyse von 2015 werteten Mathie und Clausen trotz dieses Ergebnisses von 2014 die vorhandenen Studien – ungeachtet ihrer Qualität – aus. Hierbei erhielten sie zwar ein signifikantes Ergebnis, wiesen jedoch mit aller Deutlichkeit auf Einschränkungen hin, die die niedrige Zahl und Qualität der Studien bedeutete:

Die Metaanalyse liefert einige sehr begrenzte Hinweise darauf, dass eine klinische Intervention bei Tieren mit homöopathischen Arzneimitteln von einer entsprechenden Intervention mit Placebos unterscheidbar ist. Die geringe Anzahl und Qualität der Studien verhindert eine entschiedenere Schlussfolgerung. Die Art unserer positiven Daten hindert uns daher daran, Hypothese 1 mit Zuversicht zu akzeptieren (…) Die Ergebnisse unserer Analyse, die einen statistisch signifikanten Effekt der Homöopathie ergaben (…), müssen mit äußerster Vorsicht interpretiert werden.

Von dieser Notwendigkeit der extrem vorsichtigen Einschätzung des Ergebnisses erfährt der Leser bei Weiermayer et al. kein Wort, weshalb man hier von einer zu positiven und daher verzerrten Wiedergabe der Ergebnisse sprechen muss. Darüber hinaus fehlen im Text von Weiermayer et al. aber sogar noch weitere wichtige Informationen über das Ergebnis von Mathie und Clausen. Diese weisen nämlich zusätzlich deutlich darauf hin, dass die sich rechnerisch ergebende Signifikanz ausschließlich aus prophylaktisch eingesetzter nicht individuell verordneter Homöopathie stammte:

Es wurde kein signifikanter Effekt für die individualisierte Behandlung, für die nicht-individualisierte Behandlung oder für die Behandlung insgesamt festgestellt (…) das vorläufige Ergebnis für die obige Hypothese 1 war vor allem auf den positiven Einfluss der Studien zur nicht-individualisierten homöopathischen Prophylaxe zurückzuführen. Eine solche Abhängigkeit von den Ergebnissen der RCTs, deren Verschreibungsansatz von einigen homöopathischen Praktikern als umstritten angesehen werden könnte, untergräbt die Legitimität der positiven Schlussfolgerungen unter Hypothese 1 weiter.

Weiermayer et al. betonen an mehreren Stellen ihres Textes die Bedeutung der Anwendung der individualisierten Homöopathie und sehen eine homöopathische Zusatzausbildung der Tierärzte deswegen als unabdingbar. Obiges Zitat belegt jedoch, dass die Ergebnisse der veterinärhomöopathischen Reviews von Mathie und Clausen dies gerade nicht stützen: Die in der Metaanalyse errechnete statistische Signifikanz stammte allein aus der prophylaktisch angewendeten nicht-individualisierten Homöopathie. Deswegen ist es besonders irreführend, dass dieser Aspekt der Ergebnisse von Mathie und Clausen von Weiermayer et al. nicht ausführlich in Bezug auf ihre Forderung nach einer Zusatzausbildung in individualisierter Veterinärhomöopathie diskutiert wird, sondern im gesamten Text nicht einmal erwähnt wird.

Fazit:
Die Darstellung der Ergebnisse der Reviews von Mathie und Clausen durch Weiermayer et al. zur Veterinärhomöopathie ist in verzerrender Weise zu positiv und verkürzt, indem man nur die reinen Zahlenwerte der Metaanalyse wiedergibt, nicht aber die Einschränkungen, die sich aus der schlechten Studienqualität und Heterogenität der Arbeiten ergeben. Die Arbeiten von Mathie und Clausen liefern gerade keine Belege einer Überlegenheit einer homöopathischen Behandlung kranker Tiere gegen Placebos.

Review von Sundrum und Doehring

Caroline Doehring und Albert Sundrum von der Universität Kassel legten mit ihrer Ende 2016 erschienen Übersichtsarbeit den zweiten systematischen Review zur Tierhomöopathie vor. Sie beschränkten sich auf die Studien in der Nutztierhaltung und beschäftigten sich gezielt mit der Untersuchung der von homöopathischer Seite aufgestellten Aussage, man könne in der Nutztierhaltung den Gebrauch von Antibiotika durch den Einsatz homöopathischer Arzneien einschränken. Man sollte meinen, dass die Ergebnisse dieses Reviews deswegen eine große Rolle spielen in einem Artikel, der den Titel trägt Evidenzbasierte Veterinär-/Homöopathie und ihre mögliche Bedeutung für die Bekämpfung der Antibiotikaresistenzproblematik – ein Überblick. Tatsächlich wird der Review von Sundrum/Doehring im Kapitel Literaturübersicht zu evidenzbasierter Veterinär-Homöopathie von Weiermayer et al. nicht einmal erwähnt. Nicht nur dort, nirgends im Text werden Methodik und einzelne Ergebnisse der Arbeit von Sundrum und Doehring beschrieben.

⇒ Siehe auch den Hauptartikel Tierhomöopathie für eine ausführliche Beschreibung dieses Reviews.

Die Literatursuche war beschränkt auf Studien zu infektiösen Erkrankungen – also dem Einsatzgebiet von Antibiotika – und außerdem auf Studien aus Fachzeitschriften mit Peer-Review und Dissertationen zur Nutztierhaltung in der Lebensmittelproduktion (Rinder, Schweine und Hühner) sowie auf Haltungsbedingungen, die dem europäischen Standard entsprechen. Diese Einschlusskriterien erfüllten 48 Veröffentlichungen im Zeitraum von 1981 bis 2014, in denen insgesamt 52 einzelne Studien beschrieben sind. Wie auch schon bei Mathie und Clausen war ein Hauptergebnis des Reviews die große Heterogenität der Arbeiten: es fand sich keine Arbeit, die unter denselben Bedingungen reproduziert worden wäre.

Sundrum und Doehring betonen, dass es zur Sicherstellung, dass Tiere die effektivste Therapie erhalten, eigentlich notwendig ist, die Frage der Bedeutung einer möglichen Alternative in dreiarmigen Studiendesigns zu untersuchen: Versuche müssten (verblindet und randomisiert) mit dem bisherigen Heilmittel, der vorgeschlagenen Alternative und einem Placebo durchgeführt werden, um aussagekräftige Ergebnisse einzuholen. Gerade dies erfüllten die meisten Studien jedoch nicht. Dennoch bewerten Sundrum und Doehring bei insgesamt 13 Veröffentlichungen das Risiko eines Bias als wenigstens unklar oder zuverlässig, wobei alle diese 13 Arbeiten in ihrer Übersichtstabelle als „niedriges Bias-Risiko“ geführt werden. Darunter waren auch nur einfach verblindete Studien. Dies sind also deutlich mehr als im Review von Mathie und Clausen zur Tierhomöopathie als zuverlässig eingestuft werden.

Sundrum und Doehring berichten von einem deutlichen Zusammenhang von Studiendesign und dem Auftreten von signifikanten Effekten zugunsten der Homöopathie in den betrachteten Studien. Je schlechter das Studiendesign war, desto häufiger berichteten die Studien positive Ergebnisse. Die randomisierten und doppeltverblindeten Vergleichsstudien – also die Arbeiten mit dem besten Studiendesign – vermeldeten dagegen fast genauso oft eine Wirksamkeit (n = 5) der homöopathischen Behandlung wie ein Fehlen dieser Wirksamkeit (n = 6). Sundrum und Doehring weisen darauf hin, dass dieser Rückgang der Effekte zugunsten der Homöopathie bei steigender Qualität des Studiendesigns andeutet, dass zumindest ein Teil der positiven Ergebnisse durch einen Bias aufgrund bewusster oder unbewusster Vorlieben zustande kommt. Sundrum und Doehring äußerten zusätzliche Bedenken bezüglich der Aussagekraft einzelner positiver Ergebnisse homöopathischer Behandlungen im Vergleich zu mit Antibiotika behandelten Vergleichsgruppen. Denn bei der Einschätzung dieser Ergebnisse …

… muss berücksichtigt werden, dass in den meisten Studien keine Empfindlichkeitstests auf die Resistenzmuster der jeweiligen Bakterien durchgeführt wurden, bevor das Antibiotikum für die Behandlung ausgewählt wurde.

Ohne Test, ob das Antibiotikum für die Behandlung der Vergleichsgruppe überhaupt geeignet ist, ist nicht auszuschließen, dass es das zumindest in einigen Fällen nicht ist, was wiederum die Behandlungseffekte in den Antibiotikagruppen im Durchschnitt herabsetzt. Im Falle eines ungeeigneten Antibiotikums würde die Homöopathie im Vergleich überbewertet werden. Da Weiermayer et al. die Frage der möglichen Reduktion von Antibiotikabehandlungen durch Homöopathie als zentralen Punkt ihres Textes darstellen, ist es absolut unverständlich, warum diese wichtige Frage zur Beurteilung der vorliegenden Studien zu diesem Thema in ihrem gesamten Artikel nirgends detailliert aufgearbeitet wird. Weder nennt man dieses Ergebnis des Reviews von 2016, noch stellt man eine eigene Betrachtung dazu an.

Sundrum und Doehring sahen den Tierschutzgedanken als erste Priorität bei der medizinischen Behandlung von Tieren. Es müsse demzufolge immer die wirksamste Behandlung oder das wirksamste Heilmittel angewendet werden, um unnötiges Leiden des Tieres zu verhindern.

Folglich kann die Homöopathie derzeit nicht behaupten, eine ausreichende prognostische Gültigkeit bei der Wirksamkeit zu haben. (…) Aufgrund fehlender prognostischer Validität kann das Ersetzen oder Reduzieren von Antibiotika mit Homöopathie derzeit nicht empfohlen werden, es sei denn, der Nachweis der Wirksamkeit wird durch RCT reproduziert und in verschiedenen landwirtschaftlichen Praxisbedingungen nachgewiesen.

Von allen diesen Erkenntnissen aus dem Review von Sundrum und Doehring erfahren die Leser des Artikels von Weiermayer et al. lediglich den letzten Satz. Selbst hier wird jedoch der Hinweis auf den ausstehenden Nachweis in hochwertigen und replizierten Studien als „Relativierung“ des Verneinens der Ersetzbarkeit von Antibiotika durch Homöopathika dargestellt:

Basierend auf den Resultaten des Veterinär-Reviews von 2016 ist folglich die Schlussfolgerung der Autoren «… die Anwendung der Homöopathie als Alternative zum Antibiotikaeinsatz kann nicht empfohlen werden solange die Evidenz der Wirksamkeit via RCTs nicht reproduziert ist …» (…). Zudem ist zu berücksichtigen, dass sich die zitierte Empfehlung der Autoren des Reviews von 2016, die sie, wie oben beschrieben relativieren, nicht auf einer Metaanalyse stützt, sondern nur auf einem Review einschlägiger Fachliteratur beruht.

Es ist hochgradig irreführend, Hinweise auf das Ausstehen eines Wirksamkeitsnachweises und die Notwendigkeit von Reproduktion von Ergebnissen durch unabhängige Studien als „Relativierung“ der Aussage darzustellen, dass keine wissenschaftliche Grundlage für das Ersetzen von Antibiotika durch Homöopathika vorgelegt wurde. Während es richtig ist, dass Sundrum und Doehring keine eigene Metaanalyse durchführen, schränkt dies die Aussagekraft ihres Reviews keineswegs ein. Im Gegenteil zeigen sie detailliert auf, wie die Effekte zugunsten der Homöopathie mit steigender Qualität des Studiendesigns zurückgehen und warum ganz unabhängig davon Zweifel an der Validität einiger Vergleiche von Antibiotika und Homöopathika formuliert werden müssen, wenn in den Studien nicht einmal geprüft wurde, ob das Antibiotikum zu den Keimen passte.

Ähnlich unzutreffend ist eine andere Formulierung in Zusammenhang mit den drei Veröffentlichungen von Mathie und Clausen zur Veterinärhomöopathie im Artikel von Weiermayer et al.:

Während sich die Schlussfolgerungen voneinander unterscheiden, entsprechen die Ergebnisse des Reviews von 2016 zur Wirksamkeit der Homöopathie bei Infektionskrankheiten bei landwirtschaftlichen Nutztieren jenen der Reviews von 2014 und 2015.

Auch diese Darstellung ist für einen Leser, der die Originalarbeiten nicht kennt, irreführend. Im Text wird nicht näher darauf eingegangen, welche Schlussfolgerungen bei Sundrum und Doehring denn anders gewesen sein sollen als bei Mathie und Clausen. Da die einzige Schlussfolgerung von Sundrum und Doehring, die im Text von Weiermayer et al. überhaupt irgendwo erwähnt wird, ist, dass das Ersetzen oder Reduzieren von Antibiotika mit Homöopathie derzeit nicht empfohlen werden, kann der Leser leicht den Eindruck gewinnen, Mathie und Clausen hätten diese Empfehlung ausgesprochen. Das ist jedoch gar nicht der Fall.

Der Hinweis auf gleiche Ergebnisse kann dagegen beim Leser eigentlich nur Verwirrung auslösen, weil es im Text von Weiermayer et al. über die Ergebnisse von Mathie und Clausen heißt, sie lieferten „Evidenz für die Wirksamkeit der veterinärmedizinischen Homöopathie gegenüber Placebo“, während in Tabelle 3 für den Review von Sundrum und Doehring korrekterweise in der Ergebnisspalte ein Minus für „keine Überlegenheit von Homöopathie gegenüber Placebo“ eingetragen ist. Tatsächlich stimmen die Ergebnisse beider Reviews dahingehend überein, dass sie keine Wirksamkeitsnachweise für die Behandlung kranker Tiere mit Homöopathika liefern. Weil im Artikel von Weiermayer et al. die Ergebnisse von Mathie und Clausen aber zu positiv dargestellt sind, entsteht hier im Text ein Widerspruch, den der Leser ohne Kenntnis der Originalarbeiten nicht verstehen kann.

Fazit:
Wesentliche Ergebnisse von Sundrum und Doehring erfährt der Leser des Textes von Weiermayer et al. nicht (z. B., dass in vielen Studien am Tier beim Vergleich mit Antibiotikabehandlungen gar nicht geprüft wurde, ob die eingesetzten Antibiotika überhaupt indiziert waren). Andere Ergebnisse (z. B., dass das Ersetzen oder Reduzieren von Antibiotika mit Homöopathie derzeit nicht empfohlen werden kann) werden höchst verkürzt und unzutreffend als „relativiert“ oder „im Widerspruch zu den Ergebnissen Mathies“ dargestellt.

Die „repräsentative“ Auswahl von Studien bei Weiermayer et al.

Ein wesentlicher Teil des Textes von Weiermayer et al. beschäftigt sich mit der immer wieder von Homöopathen vorgebrachten Behauptung, dass Homöopathika das Potential hätten, Antibiotika in der Praxis zu ersetzen. Die durch Homöopathika angeblich erreichbare Reduzierung der Zahl von Antibiotikabehandlungen soll dabei helfen können, das Risiko für die Entstehung weiterer resistenter Keime zu verringern.

Laut des Textes von Weiermayer et al. bestehen konkrete Forderungen „der EU Kommission im aktuellen One Health Action Plan nach Forschung im Bereich der Komplementärmedizin“. Bereits diese Darstellung ist jedoch nicht korrekt. Im angesprochenen Richtungspapier der European Commission werden weder Homöopathie noch andere Formen der Alternativmedizin erwähnt. Auch der Begriff der Komplementärmedizin kommt nicht vor. Mehrmals wird zwar von „alternatives“ (Alternativen) gesprochen, doch bezieht sich dies auf zu entwickelnde Alternativen zu derzeitigen antibiotischen Behandlungen, wie neue Wirkstoffe, Überwachungs- und Impfprogramme. Nirgends findet sich die Forderung, man möge erforschen, ob Antibiotika durch Homöopathika ersetzbar wären.

Auch zur EU-Bioverordnung (Verordnung (EU) 2018/848) finden sich von homöopathischer Seite oft ähnlich verzerrende Darstellungen. So wird zwar gerne zitiert, Homöopathika und pflanzliche Präparate seien in der biologisch arbeitenden Landwirtschaft bevorzugt einzusetzen, doch wird meist nicht erwähnt, dass dies der Gesetzgeber an einen vorher zu erbringenden Wirksamkeitsnachweis geknüpft hat: In Abschnitt 1.5.2. „Tierärztliche Behandlung“ heißt es klar, …

… phytotherapeutische und homöopathische Präparate sind chemisch-synthetischen allopathischen Tierarzneimitteln, einschließlich Antibiotika, vorzuziehen, sofern ihre therapeutische Wirkung bei der betreffenden Tierart und der zu behandelnden Krankheit gewährleistet ist. (Hervorhebung Homöopedia)

Wie oben dargelegt, kommen Sundrum und Doehring in ihrem Systematischen Review von 2016 zu dem Ergebnis, dass ein Ersetzen von Antibiotika durch Homöopathika nicht empfohlen werden kann. Auch das EASAC verneint dies:

Veterinärmedizinische Praxis: Wir kommen zu der gleichen Schlussfolgerung, dass es keine stichhaltigen Belege gibt, die den Einsatz von Homöopathie in der Veterinärmedizin untermauern, und es ist besonders besorgniserregend, wenn solche Produkte anstelle von evidenzbasierten Arzneimitteln zur Behandlung von Infektionen bei Nutztieren verwendet werden.

Im Artikel von Weiermayer et al. wurden hierzu insgesamt 14 Studien in einer als „möglichst repräsentative Studienauswahl zum Beitrag der Homöopathie zur Lösung der Antibiotikaresistenzproblematik“ bezeichneten Liste zusammengestellt. Getrennt für die Anwendung am Menschen und am Tier werden jeweils vier Reviews und/oder klinische Studien und drei Beobachtungsstudien genannt. Zur Vorgehensweise bei der Wahl der Studien heißt es lediglich:

Die Auflistung der Studien (…) zur Bedeutung der Human- und Veterinär-Homöopathie für die Behandlung von Infektionen (Tabelle 3) stellt lediglich einen kleinen Auszug aus der vorhandenen Literatur dar. Das Ziel war, eine möglichst repräsentative Auswahl zu treffen (…).

Es wird nirgends in der Arbeit erklärt, welche Kriterien bei der Auswahl der Arbeiten die Darstellung rechtfertigen sollen, diese doch recht kleine Studienauswahl sei „möglichst repräsentativ“. In der Veröffentlichung von Weiermayer et al. wird mehreren Autoren Systematischer Reviews mit für die Homöopathie negativen Ergebnissen vorgeworfen, keine Ein- und Ausschlusskriterien zu nennen. Jedoch trifft diese Kritik hier ebenso zu: Die Auswahl ist weder auf Studien der höchsten Evidenzklassen (Reviews und Cochrane-Reports), noch auf neuere Arbeiten beschränkt.

Mit sechs Beobachtungsstudien enthält sie fast zur Hälfte Arbeiten, die nicht die Aussagekraft einer qualitativ hochwertigen randomisierten, mehrfach verblindeten und placebokontrollierten Vergleichsstudie haben. Dies ist sehr kritisch zu beurteilen, da in derartigen Studien oft kein Vergleich mit Placebo stattfindet. In diesem Falle ist es Studien ganz grundsätzlich nicht möglich, eine Aussage zur Wirksamkeit im Vergleich gegen Placebo zu treffen. Entsprechend ist es irreführend, solche Arbeiten heranzuziehen, wenn es darum geht, ein „Potenzial einer signifikanten Reduktion des Antibiotikaeinsatzes durch homöopathische Behandlungen“ zu belegen. Genau dies können Beobachtungsstudien nicht leisten. In Beobachtungsstudien kann meist nur dokumentiert werden, wie oft Antibiotika zum Einsatz kamen. Dagegen bleibt nicht selten unklar, warum dies der Fall war. Dieser Aspekt ist besonders relevant bei Studien, in denen oft leichtere Erkrankungen der oberen Atemwege behandelt wurden, bei denen Antibiotika meist nicht indiziert sind. Es steht außer Frage, dass notwendige Antibiotika nicht durch Placebos ersetzbar sind. Auch zum Wegfall unnötiger Antibiotika bedarf es keiner Placebogaben, sondern lediglich ein Handeln nach den Antibiotikaleitlinien. Die ganze Fragestellung, ob Homöopathika einen Beitrag zur Antibiotikareduktion leisten können, ergäbe wissenschaftlich also nur dann Sinn und wäre nur dann medizinethisch vertretbar, wenn ihr robuste Wirksamkeitsnachweise vorausgegangen wären. Zu diesem Wirksamkeitsnachweis können Beobachtungsstudien ohne Placebovergleich keinen Beitrag leisten.

Die sechs Beobachtungsstudien der Tabelle bei Weiermayer et al. berichten alle positive Effekte der Homöopathie. Überhaupt enthält die Liste nur drei Arbeiten, in denen sich keine für die Homöopathie positiven Ergebnisse finden. Neben dem Review von Doehring und Sundrum sind dies eine klinische Studie von Diana Keller zur Mastitis am Rind sowie ein Cochrane-Report zur Behandlung von Atemwegserkrankungen bei Kindern.

Im Folgenden soll die Liste der Studien, die Weiermayer et al. in Tabelle 3 ihres Artikels als „möglichst repräsentative Studienauswahl zum Beitrag der Homöopathie zur Lösung der Antibiotikaresistenzproblematik“ vorstellen, näher betrachtet werden: Wie sieht es mit der internen Validität dieser Arbeiten aus? Untersuchen sie tatsächlich diese Fragestellung? Sind die neuesten Arbeiten zum Thema in der Tabelle enthalten? Und sind die Angaben in der Tabelle und im Text über diese Studien korrekt?

Was sind homöopathische Prinzipien?

Weiermayer et al. führen in ihrer Studienliste eine Spalte ein, über die es im Text heißt:

Die folgende Übersicht (Tabelle 3) zeigt unter anderem auf, in welchen Studien die homöopathischen Prinzipien eingehalten wurden.

Dabei bleibt weitestgehend unklar, was unter dieser Bezeichnung zu verstehen ist. An mehreren Stellen im Artikel von Weiermayer et al. wird die ihrer Ansicht nach notwendige Beachtung des Ähnlichkeitsprinzips und somit die individualisierte Wahl des Homöopathikums betont:

Für die Wirksamkeit der Homöopathie ist die Auswahl des Similes (des individuell passenden homöopathischen Arzneimittels) durch entsprechend ausgebildete homöopathisch behandelnde Ärzte/Tierärzte (…) Grundvoraussetzung.

Doch suggeriert dies eine Eindeutigkeit von Handlungsempfehlungen und Mittelwahl, die in der Homöopathie, die in zahlreiche einander widersprechende Strömungen zerfallen ist, überhaupt nicht gegeben ist. Selbst zur Auswahl individualisierter Homöopathika gehen die Vorstellungen verschiedener Strömungen weit auseinander, welche Symptome den Ausschlag zu geben haben und wie die sogenannten Modalitäten zu bewerten sind. Angesichts der vielen verschiedenen sich widersprechenden homöopathischen Repertorien und Lehren (Hahnemann, Kent, Bönninghausen, …), kann keine davon Anspruch erheben, unter Homöopathen allgemein anerkannt „die richtige“ zu sein. Auch liegen für keine davon wissenschaftliche Wirksamkeitsnachweise vor. Es gibt noch nicht einmal Regeln, in welchen Fällen welche Potenzen anzuwenden sind; auch dies unterliegt der individuellen Ansicht des jeweiligen Homöopathen.

In der Tierhomöopathie kommen weitere Schwierigkeiten hinzu: Hahnemann sah als unabdingbare Basis einer Veterinärhomöopathie eigene Arzneimittelprüfungen am Tier, sogar gesondert für jede Tierart. In dem Manuskript zu seiner Rede „Homöopathische Heilkunde der Hausthiere“ forderte Hahnemann die …

… sorgfältige Erforschung der reinen Wirkung der bekannten Arzneimittel auf die verschiedenen Arten gesunder Hausthiere, um die Kenntniß zu erlangen welche krankhaften Veränderungen jedes Arzneimittel in dem Befinden der gesunden Thiere erregt …

Derartige Arzneimittelprüfungen wurden am Tier aber kaum durchgeführt. Die heute in der Veterinärhomöopathie zum Einsatz kommenden Repertorien sind weitestgehend von denen der Anwendung am Menschen übernommen. Allein mit dieser Verwischung aller Unterschiede von Mensch und Tier konterkariert man also die an anderer Stelle so gerne propagierte „Individualität“ der homöopathischen Arzneimittelwahl.

All das sind Tatsachen, die im Text von Weiermayer et al. einfach ausgeblendet sind, wenn lapidar von der „Einhaltung homöopathischer Prinzipien“ gesprochen wird. Strenggenommen widerspricht sogar das Zusammenstellen von Studien zu Infektionskrankheiten bereits homöopathischen Prinzipien, denn aus Sicht der Homöopathie gibt es eigentlich keine Infektionskrankheiten. Es ist hier aber mindestens festzuhalten, dass bereits die Darstellung, es gäbe einheitliche, innerhalb der Homöopathie allgemein anerkannte und begründete Anwendungsregeln, die es zu lehren und anzuwenden gilt, irreführend ist. Dies ist bereits der Fall, wenn man nur von individualisierter Arzneimittelwahl spricht, weil die Frage, was genau die „Ähnlichkeit“ eines Homöopathikums ausmacht, von den Vertretern unterschiedlicher Strömungen verschieden beantwortet wird – ohne dass sich dadurch Grundsatzdiskussionen unter Homöopathen ergeben würden. Hinzu kommen weitere Spielarten der Homöopathie wie die – in der klassischen Homöopathie gar nicht vorgesehene – „vorbeugende“ Gabe von Homöopathika an Gesunde, die Anwendung von Komplexmitteln und die von Hahnemann und anderen Homöopathen verpönte Gabe von Nosoden.

Es ist aber darüber hinaus noch interessant zu fragen, ob die Angaben bezüglich der „Einhaltung homöopathischer Prinzipien“ in Tabelle 3 bei Weiermayer et al. wenigstens konsistent sind, wenn man „Einhaltung homöopathischer Prinzipien“ ganz einfach als „Gabe individualisiert gewählter Homöopathika“ lesen will. Denn selbst das ist nicht der Fall:

So wird der Studie von Camerlink bescheinigt, die „homöopathischen Prinzipien“ eingehalten zu haben. Tatsächlich wurden in dieser Arbeit alle Muttersauen mit derselben homöopathischen Nosode prophylaktisch behandelt, während die Auswertung die unter den Ferkeln aufgetretenen Durchfallerkrankungen betrachtete. Dies widerspricht der klassischen Homöopathie in mehrfacher Weise: Zum einen geht man hier also nach der von Hahnemann verpönten Isopathie vor. Zum anderen widerspricht eine prophylaktische Anwendung der Homöopathie grundlegend, weil die Gabe von Arzneien an gesunde Individuen Prüfsymptome auslösen müsste. Zuletzt setzt man die Prophylaxe auch noch bei den Sauen an, erwartet aber Effekte bei den Ferkeln.

Im Gegensatz dazu wird der Studie von Keller abgesprochen, die homöopathischen Prinzipien eingehalten zu haben, obwohl hier insgesamt 21 Homöopathika zum Einsatz kamen. Repertorisiert wurde sowohl mittels einer homöopathischen Standardsoftware „RadarOpus“ als auch nach Beratung durch einen ausgebildeten Homöopathen mit „veterinärhomöopathischer Expertise“. Dies schreiben Keller et al. sehr deutlich:

Der methodische Ansatz der vorliegenden Studie folgte jedoch so weit wie möglich den Grundprinzipien der klassischen Homöopathie (individualisierte Behandlung und Repertorisation) und reduzierte mögliche persönliche Befangenheit unter Verwendung eines Software-Repertoriums.

Es ist also nicht nachvollziehbar, wo Weiermayer et al. hier ein Nichteinhalten der „homöopathischen Prinzipien“ sehen und warum man Keller et al. im Text nicht näher beschriebene „gewisse Schwächen“ diesbezüglich vorwirft. Die einzig denkbare Erklärung ergibt sich aus dem Ergebnis der immerhin 180 Milchkühe einschließenden Arbeit: In den Fällen, in denen Laborproben die verantwortlichen Keime eindeutig identifizieren konnten, zeigte sich die Antibiotikabehandlung effektiver als die individualisierte Homöopathie. Deren Effekt unterschied sich praktisch nicht von der des in der Vergleichsgruppe eingesetzten Placebos. Die Autoren schlussfolgerten:

Die Studienergebnisse implizieren, dass die Wirksamkeit der individualisierten Homöopathie nicht über einen Placeboeffekt hinausgeht (…).

Enttäuscht von diesem Ergebnis diskutieren Keller et al. in der Studie, ob es vielleicht wiederholt nicht gelungen sei, „das richtige“ Homöopathikum zu bestimmen – und dieser Umstand das für die Homöopathie negative Ergebnis verursacht hat:

Nichtsdestotrotz kann das Erkennen und Beurteilen von individuellen homöopathischen Symptomen (wie z. B. Modalitäten oder auffällige Symptome) unter Praxisbedingungen eine Herausforderung darstellen und selbst für einen Veterinärexperten in der Homöopathie zu Unsicherheiten führen. Trotz des Fachwissens des Tierarztes und der Verwendung des digitalen Repertoriums ist es möglich, dass ein ungeeignetes homöopathisches Mittel ausgewählt wurde, und sich dies negativ auf die Heilungsraten auswirkte.

Dies rechtfertigt jedoch nicht die Darstellung bei Weiermayer et al., man habe sich in dieser Arbeit nicht an die normale Praxis der individualisierten Mittelwahl gehalten. Keller et al. sprechen hier sehr viel mehr davon, dass sie ein grundsätzliches Problem sehen, das trotz Expertise und Standardsoftware aufgetreten sein könnte.

Die Diskussion um die homöopathischen Prinzipien – sowohl bei Weiermayer et al. als auch in den zitierten Originalarbeiten – zeigt also vor allem zweierlei:

Erstens, wie wenig Bereitschaft unter Homöopathen eigentlich besteht, aus einem Scheitern in Studien die logische Schlussfolgerung des Placebocharakters ihrer Präparate zu ziehen. So nutzt man das Fehlen von klaren und durch Daten fundierten Handlungsanweisungen sogar noch, um den Mythos der „Schwierigkeit der Mittelwahl“ zu pflegen – und schiebt mangelnden Erfolg auf eine daraus resultierende schlechte Wahl des Mittels. Dabei verschließt man die Augen davor, dass diese Argumentation eigentlich bedeutet: Selbst, wenn Homöopathika mehr wären als Placebos, dann folgt aus dem Scheitern in Studien zwangsweise, dass Homöopathen offensichtlich bis heute kein verlässliches Verfahren entwickelt haben, sie anzuwenden. Damit verbietet sich der Einsatz bei behandlungswürdigen Beschwerden genauso, wie dies der Fall ist, wenn Homöopathika Placebos sind.

Zweitens werden zumindest andere Homöopathen ein Scheitern einer Behandlung immer als methodischen Fehler abtun – auch dann, wenn das Vorgehen absolut dem gelehrten Vorgehen entspricht. Gleichzeitig wird man die Arme hochreißen und rufen „alles richtig gemacht“, wenn ein positives Ergebnis vermeldet wird. Dies zeigt der Text von Weiermayer et al. beim Lob des Vorgehens in der Arbeit von Camerlink, in der weder individualisierte Homöopathie angewendet wurde, noch die Mittel erkrankten Tieren gegeben wurden. Das oberste der homöopathischen Prinzipen ist also offensichtlich, stets nur Behandlungserfolge zu melden und die Schuld am Ausbleiben von Erfolgen bei Kollegen oder Patienten zu suchen. Aus dem Gedankengebäude der Homöopathie führt keine Beobachtung und kein rationaler Gedankengang auf die Unwirksamkeit der Mittel. Diese Antwort existiert nicht innerhalb der Homöopathie – was ein deutliches Indiz für die Unwissenschaftlichkeit der gesamten Disziplin ist.

Fazit:
Die Diskrepanz zwischen behaupteten klaren Prinzipien einerseits und methodischer Willkür in der Behandlungspraxis andererseits könnte größer nicht sein.

Passen alle Studien zum Thema der Bekämpfung von Antibiotikaresistenzen?

Die Behauptung, es gäbe einen „Beitrag der Homöopathie zur Lösung der Antibiotikaresistenzproblematik“, beruht auf der Aussage, dass Homöopathika das Potential hätten, den Einsatz von Antibiotika in der Praxis zu ersetzen. Soll die von Weiermayer et al. vorgestellte Studienliste dies „möglichst repräsentativ“ aufzeigen, dann müssen die Studien darin zwei Anforderungen genügen:

1. Sie müssen überhaupt einen Vergleich zwischen Antibiotikabehandlung und Homöopathie beinhalten. Nur Studien, in denen Homöopathika anstelle von Antibiotika eingesetzt wurden, können überhaupt etwas zur Frage der Ersetzbarkeit von Antibiotika beitragen.
2. Sie müssen gewährleisten, dass die in den Vergleichsgruppen verordneten Antibiotika aufgrund der vorhandenen Keime auch wirklich indiziert (angezeigt/notwendig) waren. Ein nicht indiziertes Antibiotikum entspricht nicht den Richtlinien für den Einsatz von Antibiotika und stellt eine Fehlbehandlung dar. Diese Antibiotikabehandlungen sind unnötig und sollten ohnehin wegfallen. Dass man statt eines unnötigen Antibiotikums auch ein Placebo geben kann (aber keineswegs muss), ist trivial, aber kein Argument für die Homöopathie oder ihre Wirksamkeit.

Eine Betrachtung der Tabelle zeigt, dass sie auch Arbeiten enthält, die zur Antibiotikathematik keinerlei Aussage machen können. Ein Beispiel ist die Sepsisstudie von Frass et al. aus dem Jahr 2005. Die homöopathische Behandlung bzw. die Placebogabe erfolgte in beiden Patientengruppen zusätzlich (Add-On-Behandlung) von einer davon völlig unbeeinflussten medizinischen Grundbehandlung. Weder wurden Antibiotika eingespart, noch wurde diese Möglichkeit in der Arbeit diskutiert. Im Gegenteil schreiben Frass et al. 2005:

Alle Patienten erhielten eine Antibiotika-Therapie. (…) Eine intravenöse Antibiotika-Therapie sollte innerhalb der ersten Stunde nach dem Feststellen einer schweren Sepsis begonnen werden, nachdem entsprechende Kulturen angelegt wurden. (…) Das antimikrobielle Therapieschema sollte immer nach 48-72 h auf der Grundlage mikrobiologischer und klinischer Daten neu bewertet werden, mit dem Ziel, ein Schmalbandantibiotikum zu verwenden, um die Entwicklung von Resistenzen zu verhindern, die Toxizität zu reduzieren und die Kosten zu senken.

An keiner Stelle der Studie wird behauptet, die Homöopathie habe hier Antibiotika eingespart. Dies wird weder untersucht noch diskutiert. Die Studie enthält folglich auch keine Daten zu dieser Fragestellung. Sie hier aufzuführen, ist sinnfrei; dies wirft die Frage auf, wie sie in diese Liste gelangen konnte: Lag es daran, dass der Autor einer der Co-Autoren bei Weiermayer et al. ist – und man hier eine Zitierung der alten Arbeit „mitnahm“? Oder führte man sie an, weil sie für die Homöopathie positive Ergebnisse vermeldet und sie deshalb allgemein oft von Seiten der Homöopathen zitiert wird – ungeachtet ihrer qualitativen Schwächen?

Die Frage, ob die Antibiotika in den jeweiligen Vergleichsgruppen der gelisteten Studien überhaupt indiziert waren, zeigt deutlich auf, wie kritisch die Tabelle im Artikel von Weiermayer et al. zu sehen ist: Sundrum und Doehring wiesen in ihrem Review darauf hin, dass in den meisten Studien zur Veterinärhomöopathie, die sie untersuchen, eben keine Empfindlichkeitstests auf die Resistenzmuster der jeweiligen Bakterien durchgeführt wurden, bevor das Antibiotikum für die Behandlung ausgewählt wurde. Diese sehr wichtige Frage wird im Text von Weiermayer et al. jedoch gar nicht diskutiert. Stattdessen wird unkritisch jedes positive Ergebnis wie ein handfester Beleg dargestellt. Tatsächlich sind mehrere Studien der Liste von diesem Einwand betroffen: Um einige Beispiele zu nennen:

• In der Studie von Camerlink zur prophylaktischen Behandlung von Durchfall bei Ferkeln bewertete man die auftretenden Durchfälle rein optisch und überprüfte diese Einschätzung nur stichprobenhaft. Jedoch fanden sich in den aus drei Boxen im Labor untersuchten Stuhlproben weder E. Coli, E. Coli K99 oder Salmonellen. Aufgrund des Fehlens der relevanten Erreger in den einzigen darauf untersuchten Proben kann nicht postuliert werden, dass die Arbeit belege, die homöopathischen Mittel hätten bei durch diese Erreger bedingten Durchfällen einen Unterschied gemacht.
• In der Studie von Haidvogl et al. wird ein recht breites Spektrum von Symptomen behandelt. Zu allen in der Studie genannten und untersuchten Symptomen gibt es jedoch eine Vielzahl von Diagnosen, die jede für sich eine andere Therapie erfordert. Da keine konkreten Diagnosen gelistet sind, ist es nicht möglich, zu untersuchen, ob in der Vergleichsgruppe nicht Antibiotika bei Erkrankungen eingesetzt wurden, bei denen sie gar nicht indiziert sind. Es ist nicht einmal so, dass klar ist, wie viele Antibiotika in der Vergleichsgruppe zum Einsatz kamen: Haidvogl et al. verwenden den allgemeinen Ausdruck „antibakterielle Medikamente“ und nicht explizit „Antibiotika“. Diese Wortwahl erlaubt keine Rückschlüsse darüber, ob außer Antibiotika noch andere antibakteriell wirkende Medikamente (zum Beispiel Schleimhaut-Desinfektionsmittel) verwendet wurden.
• In der Studie von Keller (2018) zur Mastitisbehandlung bei Milchkühen berichtete man, dass die Homöopathika den Antibiotika deutlich unterlegen (und mit Placebo vergleichbar) waren, wenn in den Milchproben die entsprechenden Bakterien nachgewiesen worden waren. Naturgemäß verschwanden diese Unterschiede, wo die Tests auf die Bakterienkulturen negativ ausgefallen waren.

In diesem Zusammenhang darf nicht vergessen werden, dass bei vielen Atemwegserkrankungen Antibiotika nicht angezeigt sind, weil sie durch Viren verursacht werden. Leider gibt es sogar traurige Beispiele von Homöopathiestudien, in denen die Kinder der „Kontrollgruppe“ auch bei solchen Erkrankungen dennoch mit Antibiotika und damit gezielt falsch behandelt wurden. Es ist nicht verwunderlich, wenn an sich wirkungslose Zuckerkügelchen in solchen Vergleichen dann gar nicht so schlecht dastehen, belegt aber eben keineswegs den propagierten Nutzen der Globuli bei diesen Erkrankungen.

Wie oft dieser wichtige Punkt in von homöopathischer Seite zitierten Studien mit Antibiotika unberücksichtigt ist, zeigt, dass die trotz der desolaten Evidenzlage nicht verstummende Behauptung der Homöopathen ist, man könne Antibiotika durch Homöopathika ersetzen, wenig harmlos und vielmehr geschäftstüchtig ist: Den Antibiotikaverbrauch zu senken, indem man Homöopathika anstatt nicht indizierter Antibiotika empfiehlt, ist nicht zu rechtfertigen. Überflüssige und bei unnötigem Einsatz schädliche Medikamente durch ebenfalls überflüssige, aber vermeintlich unschädliche Medikamente zu ersetzen, ist weder nachvollziehbar noch ein sinnvolles Behandlungskonzept. Bei fehlender Indikation sind Antibiotika zu vermeiden, eine wirkungslose Alternative ist nicht erforderlich.

Fazit:
Die sehr relevante Frage, ob die Antibiotika in den Vergleichsgruppen überhaupt indiziert waren, wird im gesamten Text von Weiermayer et al. ausgeklammert. Etliche aufgeführte Studien prüfen dies nicht, was zu einer Abschwächung des Behandlungsnutzens in den Antibiotikagruppen geführt haben kann. Zudem beschäftigen sich keineswegs alle Arbeiten der Studienauswahl überhaupt mit der Frage der Reduktion von Antibiotikabehandlungen.

Sind themenrelevante neuere Studien enthalten?

Nein. In Bezug auf die Mastitis des Rindes werden beispielsweise die Studie von Ebert (2017) und die – unverblindete – Studie von Williamson (2014) nicht genannt. Beide fanden keinen Unterschied zwischen Homöopathika und Placebo.

Ebert et al., um diese Arbeit kurz genauer vorzustellen, untersuchten in einer mehrfach verblindeten, randomisierten, placebokontrollierten Studie die Wirksamkeit einer homöopathischen Behandlung von Euterentzündungen bei Milchkühen (Mastitis). Milchkühe mit akuter Mastitis erhielten entweder Homöopathika (n = 70) oder Placebo (n = 92), insgesamt 162 Tiere. Um unnötiges Tierleid sicher auszuschließen, erfolgte zudem medizinische Behandlung, wenn dies auf der Grundlage der klinischen Symptome notwendig wurde. Im Ergebnis zeigten sich keine signifikanten Unterschiede zwischen Placebo- und Homöopathiegruppe in der klinischen Heilungsrate, der Krankheitsdauer, der Milchleistung oder der Anzahl der Keime nach Genesung. Auch die Häufigkeit, mit der dann doch noch auf Antibiotika zurückgegriffen werden musste, war in beiden Behandlungsgruppen vergleichbar: 61 % (56/92) der Tiere der Placebogruppe und 70 % (49/70) der Tiere der Homöopathiegruppe benötigten schließlich ein Antibiotikum. Ebert et al. schreiben:

Wir fanden, dass homöopathische Behandlungen den Einsatz von allopathischen Medikamenten auf dem Studienbetrieb nicht verhindern konnten.

Zusätzlich ist zu erwähnen, dass das Prinzip der Auslassung von neueren, für die Homöopathie negativen Ergebnissen nicht nur die angeblich repräsentative Studienauswahl zur Antibiotikaproblematik betrifft, sondern sich durch den gesamten Text von Weiermayer et al. zieht. So erfährt der Leser auch nichts über den Systematischen Review von Antonelli et al. aus dem Jahr 2018 oder davon, dass das Fehlen solider Nachweise einer Placeboüberlegenheit der Homöopathika – das übereinstimmende Ergebnis der (zum Zeitpunkt des Artikels von Weiermayer et al.) elf indikationsübergreifenden Systematischen Reviews – unabhängig in bislang zwei p-Kurvenanalysen (einem neuen statistischen Auswerteverfahren) bestätigt wurde.

Fazit:
Während die Tabelle von Weiermayer et al. einerseits Arbeiten enthält, die zur Frage der Bedeutung der Homöopathie zur Vermeidung von Antibiotikaresistenzen gar nichts beitragen können, (wie die Sepsisstudie) sowie immerhin sechs Beobachtungsstudien geringerer Evidenzklasse, bleibt eine randomisierte und verblindete klinische Studie wie die von Ebert mit für die Homöopathie negativen Ergebnissen einfach unerwähnt. Dies muss zu einem verzerrten Bild der Evidenz führen.

Review von Zeise und Fritz

Ein Review von Zeise und Fritz aus dem Jahr 2019 beschäftigte sich ausschließlich mit der Behandlung von Euterentzündungen (Mastitis) bei Milchkühen und wird im Text von Weiermayer et al. wie folgt beschrieben:

Im Review von 2019 wurden 32 Studien zu Mastitis von Kühen von 1982 bis 2016, erstmalig unter Anwendung eines Qualitätsscores, der auch die homöopathische Methodik berücksichtigte, untersucht. Aus den acht qualitativ hochwertigsten Studien konnte eine Wirksamkeit der Homöopathie schlussgefolgert werden.

Dieser Review enthält jedoch aus wissenschaftlicher Sicht gravierende methodische Fehler. Er ist aus diesem Grund gut geeignet, um zu untersuchen, inwieweit der Artikel von Weiermayer et al. diese für den Leser transparent macht. Interessant ist hier vor allem der Vergleich mit der großen Anzahl von (wie oben erläutert) unberechtigten Vorwürfen gegen die Reviews mit für die Homöopathie negativen Ergebnissen.

Zunächst fällt auf, dass in der Veröffentlichung von Weiermayer et al., in der (wenn auch nicht überall korrekt) immer wieder betont wird, wie viele Studien in anderen Reviews von der Analyse ausgeschlossen sein sollen, kein Wort darüber steht, dass Zeise und Fritz keineswegs 32 Studien „untersuchen“: Von 32 Studien, die laut Zeise und Fritz über die Literatursuche identifiziert worden waren, wurden im Review tatsächlich nur zwölf Studien ausgewählt und weiter betrachtet. Die restlichen 20 werden nicht einmal genannt. Man erfährt über diese Arbeiten gar nichts: keine Methodik, keine Studiengröße, keine Statistik und erst recht keine Ergebnisse. Man kann dies noch nicht einmal selbst nachschlagen, weil die identifizierten Arbeiten ja nicht benannt werden. Es ist also vollkommen unmöglich, dass sich der Leser des Reviews von Zeise und Fritz ein Gesamtbild der Literatur zur Anwendung der Homöopathie bei Mastitis macht.

Interessant ist weiter, nach welchen Kriterien Zeise und Fritz diese zwölf Arbeiten bestimmten. Die Studien wurden mit einem Punktesystem bewertet. Die einzelnen Kriterien, bei denen die Studien Punkte sammeln konnten, listen Zeise und Fritz in zwei Tabellen. Tabelle 1 enthält Standardkriterien zur Studienqualität, wie zum Beispiel Verblindung und Randomisierung. Hinzu kommen von Zeise und Fritz ergänzte Bewertungskriterien wie die Information zur eingesetzten Homöopathie oder die Anzahl der Erfolgskriterien in den jeweiligen Studien. Der Text von Weiermayer et al., der bei anderen Reviews teils herbe Kritik an Auswahlkriterien enthält, verliert kein Wort darüber, wie verzerrend dieses Vorgehen eigentlich ist: Zeise und Fritz machen in dieser Bewertung keinen Unterschied, welche Kriterien von einer Studie erfüllt werden. Demzufolge erhält beispielsweise eine dreifach verblindete Studie (5 Punkte), in der keine Angaben zu den gewählten Mitteln und deren Potenz enthalten sind (0 Punkte) genauso viele Punkte wie eine unverblindete Studie (0 Punkte), in der alle Angaben zu den gewählten Mitteln und deren Potenz enthalten sind (5 Punkte). Auf diese Weise werden methodisch minderwertige Studien gleichwertig wie hochwertige und aussagekräftige Arbeiten bewertet, wenn sie nur mehr Angaben zu den Homöopathika enthalten. Dieses Vorgehen ist wissenschaftlich alles andere als sinnvoll.

Noch sehr viel schwerwiegender ist allerdings, dass selbst diese verzerrten Qualitätskriterien bei der eigentlichen Auswahl der zwölf Studien durch Zeise und Fritz kaum eine Rolle spielten. Sie sollten lediglich den Ausschlag geben, wenn mehrere Arbeiten bei dem eigentlichen Auswahlsystem die gleiche Bewertung erhalten hatten. Dieses erfolgte über die Punkte, die die Studien in den Kriterien der Tabelle 2 von Zeise und Fritz sammelten. In dieser Tabelle wurden „Heilungs- und der Präventionserfolg“ der Homöopathie in den Studien bewertet – also wie deutlich der Erfolg der Homöopathie in den jeweiligen Studien war. Hier bestimmt also ganz offen das Ergebnis der Studien als zentrales Kriterium die Auswahl der von Zeise und Fritz überhaupt namentlich genannten Studien: Zeise und Fritz geben an, dass die Liste der zwölf „besten“ Studien auf folgende Weise zustande kam:

1. die acht besten Studien nach Tabelle 2, also diejenigen, die den größten „Heilungserfolg“ bzw. die „erfolgreichste Vorbeugung“ zeigten
2. eine weitere Studie, die zwar insgesamt nicht zu den Top-Studien der Tabelle 2 zählte, aber eine extrem hohe Heilungsrate in der Homöopathiegruppe ergab
3. drei weitere Studien, weil dort die Vergleichsgruppe Antibiotika erhielt.

Diese Aufzählung macht zwei Dinge deutlich:

• Sie zeigt erstens, wie wenig erfolgreich die Homöopathika eigentlich im Antibiotikavergleich gewesen sein müssen, wenn man extra drei Studien „nachnominieren“ musste, weil über den Heilungserfolg nur eine einzige der ursprünglichen 32 Arbeiten in diesem Vergleich ausreichend Punkte sammeln konnte.
• Sie belegt zweitens, wie wenig bei dieser Studienauswahl noch wissenschaftliche Gesichtspunkte wie Randomisierung oder Mehrfachverblindung eine Rolle spielten. Nur vorteilhafte Ergebnisse zu betrachten und unliebsame Ergebnisse zu ignorieren, liefert keine wissenschaftlich zuverlässige Einschätzung eines Verfahrens, sondern muss ein Verfahren fast unvermeidlich überbewerten. Dieser Fehler ist im Englischen als „Selection bias“ bekannt.

Über beides diskutiert der Artikel von Weiermayer et al. nirgends. Er gibt nicht einmal eine korrekte Beschreibung des Vorgehens zur eigenen Einschätzung an den Leser weiter.

Fazit:
Der Text von Weiermayer et al., der wiederholt die Studienauswahl hinter Reviews mit für die Homöopathie negativen Ergebnissen hinterfragt und mehrmals Autoren unterstellt, ihre Studienauswahl wäre aufgrund einer postulierten Voreingenommenheit geschuldet gewesen, enthält kein Wort dazu, dass Zeise und Fritz ganz offen damit umgehen, dass ihr zentrales Einschlusskriterium der Behandlungserfolg der Homöopathie in den Einzelstudien gewesen war. Hier wird sehr deutlich mit zweierlei Maß beurteilt.

Dokumentiert man mit der Nennung einzelner Zahlenwerte wirklich die Resultate der Originalarbeiten?

Bereits im Oktober 2020 wiesen Prof Dr Roger Stephan und Prof Dr Jean-Michel Hatt in einem Leserbrief an das Schweizer Archiv für Tierheilkunde (SAT) auf „zahlreiche inhaltliche Fehler“ im Text von Weiermayer et al. hin. Ein zentraler Punkt ihrer Kritik war, dass die vorsichtige Bewertung und die Hinweise auf eine fehlende Belastbarkeit von Ergebnissen der Originalautoren im Text von Weiermayer et al. unerwähnt bleiben. Für mehrere Reviews und Studien betonen die beiden Professoren diese Diskrepanz. So schreiben sie zum Beispiel:

Die Autoren führen Metaanalysen auf, aus denen abgeleitet worden sei, dass sich die Wirksamkeit der homöopathischen Therapie von Placebo unterscheidet. Allerdings stimmt diese Aussage nicht. Keine der zitierten Arbeiten fand eine eindeutige Evidenz dafür, im Gegenteil eine der genannten Studien kam in der Zusammenfassung zum Schluss
«… we found insufficient evidence from these studies that homoeopathy is clearly efficacious for any single clinical condition.» (Linde et al 1997)
[«… wir fanden in diesen Studien keine ausreichenden Nachweise dafür, dass die Homöopathie bei irgendeinem einzelnen klinischen Beschwerdebild eindeutig wirksam ist.» (Anmerkung: Homöopedia)]

Der aufgrund dieser Mängel von den beiden Züricher Professoren geforderten Rücknahme des Artikels von Weiermayer et al. kam das SAT nicht nach. Man veröffentlichte stattdessen eine Replik von Petra Weiermayer et al., in der die kritisierten Mängel erneut zutage treten. So antwortete man bezüglich der den Lesern vorenthaltenen Einschränkungen, die die Originalautoren mit ihren Ergebnissen verknüpft hatten:

Dass die Schlussfolgerungen der aufgezählten Arbeiten immer sehr vorsichtig formuliert sind, ist ein Zeichen der in diesen Studien der Homöopathie-Forschung angewandten akademischen Sorgfalt. Nicht aus dem Zusammenhang gerissene Teile der Formulierung der Schlussfolgerungen, sondern ganz klar die Resultate im Gesamten sind aber vorrangig zu betrachten.

Diese Aussage ist jedoch nur eine allgemeine Beschreibung wissenschaftlicher Arbeitsweise, keine Antwort auf den Vorwurf, diese Bedenken selbst nicht für den Leser transparent gemacht zu haben. Im Prinzip folgt nach wie vor, dass man durch das Verschweigen aller Einschränkungen, die die Originalautoren bei ihren Ergebnissen sahen, diese hier zitierte „akademische Sorgfalt“ verlässt. Für eine wissenschaftliche Einschätzung eines Ergebnisses ist immer eine Mitbeachtung von Validität und Biasrisiko sowie von methodischen Schwächen unerlässlich. Zudem wird hierbei vergessen, dass auch der von den beiden Züricher Professoren aus der Arbeit von Linde (1997) zitierte Satz aufgrund von in Lindes Arbeit enthaltenen Resultaten dort in die Zusammenfassung geschrieben wurde. Zudem fehlt, dass Linde selbst 1998 und 1999 weitere Reviews durchführte, die den Einfluss von (mangelhafter) Studienqualität und dem Aufzeigen positiver Effekte zugunsten der Homöopathie weiter untersuchten. Bereits 1998 verschwand (wie später bei Shang) die statistische Signifikanz in den qualitativ hochwertigsten Arbeiten. Sich hieraus allein auf einen einzelnen Zahlenwert zu berufen, beschreibt also gerade nicht die „Resultate im Gesamten“.

In diesem Abschnitt soll deswegen anhand einiger Beispiele aus dem Abschnitt zur Frage der Antibiotikaresistenzen herausgearbeitet werden, …

• … inwiefern bekannte Schwächen der Originalarbeiten, die die Belastbarkeit der Resultate relativieren, für den Leser des Textes von Weiermayer et al. intransparent werden.
• … ob der Leser des Textes von Weiermayer et al. wirklich einen Eindruck von der Gesamtheit der Resultate der Originalarbeiten und deren Einschätzung durch die Originalautoren erhält.

Studie von Camerlink

Die Studie von Camerlink zur vorbeugenden Behandlung von Durchfall bei Ferkeln ist in der „repräsentativen Studienauswahl zum Beitrag der Homöopathie zur Lösung der Antibiotikaresistenzproblematik“ enthalten. Weiermayer et al. betonen im Text den hohen Wert der statistischen Signifikanz, von dem darin berichtet wird. Auch in der Replik auf den kritischen Leserbrief von Prof Dr Roger Stephan und Prof Dr Jean-Michel Hatt an das Schweizer Archiv für Tierheilkunde (SAT) heißt es über dieses Ergebnis:

Gerade die randomisierte, Placebo-kontrollierte Doppelblindstudie von Camerlink et al 2010 mit einer Signifikanz von p < 0,0001 auf Einzeltierniveau (…), konnte zeigen, dass die E.coli Diarrhoe neonataler Ferkel homöopathisch in der zitierten Studie in den Griff zu bekommen war.

Beim Leser entsteht durch diese Darstellung jedoch ein viel zu positiver Eindruck von der Belastbarkeit des Ergebnisses:

• Wie bereits erläutert, fanden sich in den stichprobenartig im Labor untersuchten Stuhlproben weder Colibakterienstämme noch Salmonellen. Aufgrund des Fehlens der relevanten Erreger in den einzigen darauf untersuchten Proben kann nicht postuliert werden, dass die Arbeit belege, die homöopathischen Mittel hätten bei durch diese Erreger bedingten Durchfällen einen Unterschied gemacht.
• Gerade das hohe Signifikanzniveau dieser Arbeit beruht auf einem Fehler in der statistischen Auswertung: Zur Abschätzung der Wahrscheinlichkeitsverteilung wird die Normalverteilung benutzt. Die Normalverteilung ist jedoch nur dann eine realistische Beschreibung der Verhältnisse, wenn die einzelnen Tiere alle dasselbe Risiko hatten, zu erkranken. Im Stall ist dieses Risiko aber nur für die in getrennten Koben gehaltenen Muttersauen gleich. Für die Ferkel ist dies nicht der Fall: Das Ansteckungsrisiko ist erhöht, wenn bereits Tiere im gleichen Wurf an Durchfall erkrankt sind. Trotzdem wird in der Studie von Camerlink die statistische Signifikanz auf der Zahl der Ferkel berechnet, was wegen des unterschiedlichen Erkrankungsrisikos aber nicht mehr mit der Normalverteilung erfolgen dürfte. Die Voraussetzung der Gleichverteilung ist nur gegeben, wenn man nicht mit der Zahl der Ferkel rechnet, sondern mit der deutlich geringeren Zahl der durch Boxen getrennten Muttertiere. Nur wenn man diese geringere Zahl der Auswertung zugrunde legt, darf man die Normalverteilung benutzen. Berücksichtigt man diesen Fehler, ist das Ergebnis nur noch sehr knapp signifikant.

Beides erfährt der Leser im Text von Weiermayer et al. nicht, weder im Artikel noch in der Replik auf den Leserbrief. Während der Signifikanzwert zwar völlig korrekt aus der Originalarbeit kopiert wird, ist es für die wissenschaftliche Einordnung hochproblematisch, dass Weiermayer et al. nichts über die Schwächen der Arbeit berichten. Beim Leser entsteht dadurch ein viel zu positives Bild der vorliegenden Daten – zumal der Artikel gleichzeitig umfangreich wesentlich weniger stichhaltige Kritik an für die Homöopathie negativen Ergebnissen übt.

⇒ Siehe auch den Hauptartikel Tierhomöopathie für eine ausführliche Beschreibung der Studie von Camerlink.

Metaanalyse von Jacobs

Auch bei der in der Studienliste zur Antibiotikafrage aufgeführten Metaanalyse zu Durchfallerkrankungen bei Kindern ist ein kritischerer Blick in die Daten sinnvoll. Im Artikel von Weiermayer et al. heißt es hierzu:

Die Metaanalyse von 2003 zur individualisierten homöopathischen Behandlung kindlicher Diarrhoe ergab bei 242 Kindern von sechs Monaten bis fünf Jahren aus drei doppelt verblindeten RCTs eine signifikante Verkürzung der Erkrankungsdauer (…).

Hier fehlen ebenfalls wesentliche Zusatzinformationen, die für eine Einordnung dieser Aussage unerlässlich sind. In der Metaanalyse räumen Jacobs et al. selbst ein, dass die Randomisierung in allen drei Einzelstudien keine gleichwertigen Patientengruppen geschaffen hatte: es gab signifikante oder nahezu statistisch signifikante Unterschiede im Alter, Gewicht und der Größe der Kinder. Die Kinder der Homöopathiegruppen waren in allen drei Einzelstudien im Durchschnitt also etwas älter und schwerer. Ein solcher Unterschied kann die Ergebnisse verfälschen, selbst wenn die Methodik der Studie an sich einen hohen Qualitätswert rechtfertigt. Für eine Einhaltung der „akademischen Sorgfalt“ hätte dies entsprechend auch erwähnt werden müssen.

In früheren Systematischen Reviews war die Metaanalyse von Jacobs et al. sowohl deswegen als auch noch aus weiteren Gründen als wenig belastbar eingeordnet worden: So weisen Umut Altunç et al. in ihrem Review zu homöopathischen Behandlungen bei Kindern und Jugendlichen von 2007 zusätzlich noch darauf hin, dass die Ergebnisse insgesamt durchmischt waren und alle drei klinischen Studien von denselben Autoren stammten: Der Metaanalyse ging keine Literatursuche voraus. Die Autorin fasste lediglich drei eigene, kleinere RCTs zusammen. Es wurden keine Arbeiten anderer Autoren eingeschlossen. Jennifer Jacobs bezeichnet ihre Untersuchungen teilweise selbst als Pilotstudien. Selbst Jahre später steht eine unabhängige Replikation aus. Insgesamt kommen Altunç et al. zu der Einschätzung, dass die Evidenz aus den klinischen Studien nicht überzeugend genug ist, um eine Empfehlung für die Homöopathie auszusprechen.

Der Systematische Review von Altunç et al. wird von Weiermayer et al. jedoch nicht in ihrer Arbeit zitiert, so dass der Leser des Artikels von Weiermayer et al. nur von den positiven Ergebnissen, aber nichts von den Zweifeln liest, die Wissenschaftler diesbezüglich auf Basis stichhaltiger Argumente vorgebracht haben.

Fazit:
Dieses und das vorherige Beispiel zeigen, wie wichtig es für eine wissenschaftlich kritische Einschätzung ist, nicht nur einzelne Zahlenwerte herausgepickter Studien, sondern alle Aspekte zu betrachten. Dies ist in der Arbeit von Weiermayer et al. aber nicht geschehen.

⇒ Siehe auch hier für eine ausführliche Beschreibung der Metaanalyse von Jacobs et al.

Studie von Merck (2004)

Nicht in ihrer Studienübersicht zur Antibiotikaproblematik, aber im Text erwähnen Weiermayer et al. ein Projekt der Freien Universität Berlin. Auf einem anthroposophisch arbeitenden Betrieb untersuchte man im Rahmen einer placebokontrollierten Doppel-Blind-Studie den Einsatz von Homöopathika bei Euterentzündungen bei Milchkühen. Am Beispiel dieser Studie von Merck et al. aus dem Jahr 2004 wird deutlich, dass eine Nennung eines einzelnen Zahlenwertes nicht nur die „Gesamtheit der Resultate“ unmöglich korrekt widerspiegelt, sondern sogar von der Bedeutung anderer, zweckrationaler Maßnahmen zur Reduktion der Anzahl der Antibiotikabehandlungen in einem Milchbetrieb ablenken kann.

Im Artikel von Weiermayer et al. dient die Arbeit von Merck et al. als Quelle für folgende Aussage:

Nebst der weiteren Conclusio, dass das individuell passende homöopathische Arzneimittel, das Simile, zur jeweiligen individuellen Behandlung/Prophylaxe gewählt werden muss, konnte in einer Studie bei durch euterpathogene Bakterien bedingter Mastitis bei Kühen gemeinsam mit entsprechenden Präventivmassnahmen und Trockenstellkonzept gesamt eine Reduktion des Antibiotikaeinsatzes um bis zu 75 % gezeigt werden.

Wer nur den Text von Weiermayer et al. kennt, wird hier den Eindruck eines sehr erfolgreichen Einsatzes der Homöopathika in der Arbeit von Merck vermuten. Höchst unwahrscheinlich ist, dass der Leser hieraus entnehmen kann, dass die Mittelwahl in dieser Studie stark vereinheitlicht war und der Vergleich mit Placebos aus homöopathischer Sicht recht unbefriedigende Ergebnisse erbrachte: In insgesamt zwei verschiedenen Versuchsabschnitten wurden mehrere Datenreihen aus Homöopathie- und Placebogruppe ausgewertet. In allen bis auf eine einzige zeigte sich kein signifikanter Unterschied zwischen den Behandlungsergebnissen. Im Originaltext heißt es folgerichtig:

Die Auswertung der Ergebnisse hinsichtlich der Wirksamkeit der eingesetzten Homöopathika in der Behandlung klinischer Mastitiden ergab für beide Versuchsabschnitte bei einem Vergleich aller in beiden Versuchsgruppen ermittelten Heilungsraten keinen Wirksamkeitsnachweis in der Behandlung klinischer Mastitiden der eingesetzten Homöopathika.

Zunächst hatte man versucht, die Euterentzündungen ausschließlich homöopathisch zu behandeln. Dies war jedoch nicht erfolgreich und musste letztlich abgebrochen werden:

Das zu Beginn der Untersuchungen zugrunde gelegte Behandlungskonzept, basierend auf einem weitgehenden Verzicht des Einsatzes von Antibiotika, musste wegen unbefriedigender Behandlungsergebnisse aufgegeben werden (erster Versuchsabschnitt).

Die Darstellung im Text von Weiermayer et al., die Arbeit liefere Argumente, dass „das individuell passende homöopathische Arzneimittel, das Simile, zur jeweiligen individuellen Behandlung/Prophylaxe gewählt werden muss“, beschreibt das Vorgehen von Merck et al. nur unzureichend. So berichten die Autoren, dass man sich auch deshalb überhaupt zu einem zweiten Versuchsabschnitt entschloss, weil die Hoftierärztin über aus ihrer Sicht – ohne Placebovergleich – gute Ergebnisse mit einem homöopathischen Komplexmittel berichtete:

Hinsichtlich der Arzneimittelwahl und der Behandlungsdauer bestehen insofern noch Unsicherheiten, als dass auch andere als die hier zur Anwendung gelangten Homöopathika oder sogar Komplexpräparate erfolgreich eingesetzt werden könnten. Letztere Annahme beruht auf den guten Erfahrungen der Hoftierärztin des Projektbetriebes, die mit dem Einsatz des homöopathischen Komplexmittels Arnica logoplex® zur Behandlung klinischer Mastitiden (…) gute Erfolge erzielen konnte.

Aber auch selbst setzten Merck et al. keineswegs auf individualisierte Arzneimittelwahl, wie man nach der Beschreibung im Artikel von Weiermayer et al. denken könnte. Man bemühte sich vielmehr um eine auch ohne größere Vorkenntnisse durchführbare Arzneimittelwahl, differenziert nur nach sehr wenigen Symptomen, weshalb nicht einmal zehn verschiedene Homöopathika zum Einsatz kamen. Man unterschied im Wesentlichen zwischen akuter und chronischer Euterentzündung und ob die Tiere unter Fieber litten. Im ersten Versuchsabschnitt wählte man die Homöopathika noch individuell, wobei aber nur vier verschiedene Mittel bei akuter und drei verschiedene Mittel bei chronischer Mastitis verwendet wurden. Im Falle von Fieber gab man stets dasselbe Mittel, ebenso zur Nachbehandlung. Im zweiten Versuchsabschnitt, in dem es letztlich unter anderem zu dem von Weiermayer et al. zitierten Ergebnis kam, wich man sogar noch von dieser minimalen Individualisierung ab und gab in völliger Abweichung von Hahnemanns Empfehlungen einfach alle vorher festgelegten Mittel:

Die Arzneimittelfindung wurde vereinfacht. Die Auswahl der für die beiden Mastitisformen in Frage kommenden Homöopathika nach dem jeweils vorliegenden klinischen Befund entfiel. Es wurden jeweils alle vorgesehenen Arzneimittel verabreicht mit Ausnahme des Aconitums bei den akuten Mastitiden, das nur beim Auftreten einer fieberhaften Phase (>40°C) zu Beginn der Erkrankung ein bis zwei Tage verabreicht wurde. Außerdem wurde auf die Gabe von Silicea in der Nachheilungsphase generell verzichtet.

Im zweiten Versuchsabschnitt gaben Merck et al. Antibiotika, falls nach bis zu drei Tagen unter homöopathischer Behandlung keine Besserung eintrat „und/oder wenn ein spezifischer bakterieller Befund“ vorlag: Man setzte also auf …

… ein modifiziertes Therapiekonzept, das einen zusätzlichen, jedoch begrenzten Einsatz von Antibiotika vorsah und gleichzeitig den Tierhalter zur Durchführung und Sicherung dringend erforderlicher Präventivmaßnahmen verpflichtete.

Im Hinblick auf die tatsächlich erfolgte Reduktion der Antibiotikagaben ist also hervorzuheben, dass Merck et al. in diesem zweiten Versuchsabschnitt neben dem Trockenstellen auf weitere, umfangreiche Maßnahmen zur Verbesserung der Haltungsbedingungen pochten:

Voraussetzung für die Fortführung der Untersuchungen unter Anwendung des erfolgversprechenden modifizierten Therapiekonzeptes im zweiten Versuchsabschnitt war jedoch die Zusage der Betriebsleitung, umfassende präventive Maßnahmen einzuleiten, um die mastitisbegünstigenden und abwehrschwächenden Faktoren im Umfeld der Tiere schrittweise nachhaltig zu eliminieren. Die Zusage bezieht sich u. a. auf nachfolgend aufgeführte investive Maßnahmen:

• Neugestaltung des Abkalbebereiches
• Investitionen im Bereich der Melkanlage
• Verbesserung und Sicherung des qualitativen und quantitativen Futterangebotes
• Sicherung einer ausreichenden Einstreu
• Maßnahmen zur Verbesserung des Stallklimas
• Schaffung schattenspendender Möglichkeiten auf der Weide

Wie grundlegend relevant die Autoren der Originalarbeit diese Maßnahmen für ihre in der Studie erfolgte Reduktion an Antibiotikabehandlungen sehen, formulieren sie deutlich und auch im Hinblick an den gescheiterten Wirksamkeitsnachweis der Homöopathika in ihrer Arbeit:

Die Untersuchungen (…) bestätigen die immer noch zu wenig ernst genommene Erkenntnis, dass ein Therapieerfolg immer in Abhängigkeit zur Eutergesundheit einer Herde und seinem Umfeld steht. (…) Deshalb steht in der Bekämpfung des Mastitisgeschehens nicht die Therapie, sondern die Prophylaxe an erster Stelle.

An anderer Stelle betonen Merck et al. sogar noch, dass die Reduktion der Antibiotika auch dadurch ermöglicht war, dass man nicht sofort intervenierte, sondern erst einige Tage abwartete. Die Homöopathie verkommt in dieser Erkenntnis zu einer reinen Alibihandlung, bei der durch den Einsatz von Mitteln, die in ihrer Wirksamkeit nicht von Placebos unterschieden werden konnten, die als unethisch eingestufte anfängliche Untätigkeit des Therapeuten kaschiert wurde:

Zuletzt muss natürlich auch angesprochen werden, wie man mit den ermittelten, unerwartet hohen Heilungs-/Selbstheilungsraten in den Placebogruppen umgeht bzw. sie interpretiert. Wenn man die Ergebnisse pragmatisch sieht und davon ausgeht, dass es sich tatsächlich dabei nur um Selbstheilungen handelt, müsste die bisher geübte Lehrmeinung und Praxis, jede auftretende klinische Mastitis möglichst umgehend zu behandeln, neu überdacht werden. (…) Es wäre jedoch unverantwortlich, auf Grund dieser Ergebnisse ab sofort klinische Mastitiden nur noch dann zu behandeln, wenn nach einer mehrtägigen behandlungsfreien Beobachtungszeit zu erkennen ist, dass es nicht zur Selbstheilung gekommen ist. Für den Anwender des hier geprüften Konzeptes stellt sich diese Frage nicht, da hier jede auftretende klinische Mastitis sofort mit Homöopathika behandelt wird.

Dies alles sind wesentliche Ergebnisse der Untersuchung und hätten deshalb bei Einhaltung der „akademischen Sorgfalt“ von Weiermayer et al. entsprechend auch erwähnt werden müssen: Versteht der Leser den Artikel von Weiermayer et al. in der durch die aktuelle Formulierung durchaus naheliegenden Weise – man hätte in der Arbeit von Merck den Antibiotikaeinsatz deswegen reduzieren können, weil man mit individualisierter Homöopathie so gute Ergebnisse erzielt hatte – bekommt er einen vollkommen falschen Eindruck von der Vorgehensweise und den Ergebnissen von Merck et al.

Fazit:
Die Beispiele belegen: An vielen Stellen kann beim Leser des Textes von Weiermayer et al. ein völlig unzutreffendes Bild von der Vorgehensweise oder der Stichhaltigkeit der Ergebnisse der ohnehin wenigen handverlesenen Originalarbeiten entstehen. Dass oder warum die Originalautoren die zitierten Zahlenwerte an anderer Stelle relativiert haben, oder inwieweit diese durch qualitative Schwächen der Originalarbeiten zustande gekommen sein mögen, wird nicht erwähnt oder diskutiert. Dies hinterlässt nicht nur oft einen viel zu positiven Eindruck der Ergebnisse, es gibt auch für eine potentielle Reduktion von Antibiotikabehandlungen wirklich relevante Erkenntnisse aus den zitierten Studien (wie etwa die Fülle sinnvoller prophylaktischer Maßnahmen bei Merck et al.) zum Wohle der angeblichen Rolle der Homöopathie nicht an den Leser weiter. Was Weiermayer et al. in ihrer Replik auf den kritischen Leserbrief selbst als Vorwurf erheben, findet sich in ihrem gesamten Text selbst: Die Verhinderung eines wissenschaftlich kritischen Blicks des Lesers auf die „Gesamtheit der Resultate“.

Die evidenzbasierte Medizin und die Homöopathie

Im Artikel bemüht man sich umfangreich, die Homöopathie als eine alle Kriterien der evidenzbasierten Medizin erfüllende Disziplin erscheinen zu lassen. In diesem Abschnitt soll untersucht werden, ob dies zutrifft.

Ein hinkender Vergleich der Evidenz

Bildquelle: Blog von Prof. Edzard Ernst

Im Artikel von Weiermayer et al. heißt es:

Ein Cochrane Review systematischer Reviews zu überwiegend konventionellen Therapien von 2007 kam zu folgendem Ergebnis: 96 % aller systematischen Reviews fordern mehr methodisch hochwertige Forschung. 49 % dieser Publikationen präsentieren Ergebnisse, die keine Schlussfolgerungen auf die Nützlichkeit/Schädlichkeit der untersuchten Intervention zulassen. Für 7 % aller medizinischen Verfahren gilt gemäss diesem Review sogar, dass sie schädlich sind. Lediglich 1,38 % der konventionellen Therapien sind zweifelsfrei wirksam, 43 % sind wirksam, jedoch weisen die Studien methodische Mängel auf.

Der angeführte Cochrane-Report von Regina El Dib et al. (mitunter auch eine Nachfolgearbeit) wird seit Jahren in ähnlicher Weise von homöopathischen Verbänden wie dem britischen Homeopathy Research Institute (HRI) zitiert. Man vergleicht – gerne grafisch aufbereitet in Tortendiagrammen – die Zusammenfassung des Reviews von El Dib et al. mit den Ergebnissen zur Homöopathie und leitet daraus ab, dass die Situation in der Homöopathie doch gar nicht schlechter sei als die der evidenzbasierten Medizin.

Dieses Vorgehen ist in vielerlei Weise verzerrend und irreführend, weil es wesentliche Unterschiede einfach ausblendet.

Im Cochrane-Report betrachtet man über 1.000 Systematische Reviews, also Übersichtsarbeiten der höchsten Evidenzklasse. Das Diagramm zur Homöopathie repräsentiert aber nicht nur deutlich weniger (unter 200) Arbeiten, sondern vor allem klinische Studien.

Daraus ergibt sich ein Trick in der Darstellung der Ergebnisse zur Homöopathie. Im Tortendiagramm zur Homöopathie ist die Kategorie der Arbeiten, die keine schlüssigen Ergebnisse hatten, ein Fehler. Das ergibt sich aus der Vorgehensweise placebokontrollierter klinischer Studien. Diese sind Werkzeuge zum Testen bestimmter Ausgangshypothesen, die man als „Null-Hypothese“ bezeichnet. In Studien, die ein Arzneimittel gegen Placebo testen, lautet diese Ausgangsannahme „die Behandlung mit dem Arzneimittel erzeugt die gleichen Ergebnisse wie eine Behandlung mit Placebo“. Liefert die Studie in den Ergebnissen beider (randomisierter und verblindet behandelter) Patientengruppen keinen statistisch signifikanten Unterschied, gibt es keinen Grund, anzunehmen, dass diese Null-Hypothese falsch war. Sie muss deshalb aufrechterhalten werden. Ein solches Ergebnis wird im Sprachgebrauch üblicherweise als ein negatives Ergebnis bezeichnet, weil es eben nicht gelungen ist, Argumente für das Verwerfen der Null-Hypothese zusammenzutragen. Nur wenn die Behandlung mit den untersuchten Arzneien statistisch signifikant besser war als die Placebobehandlung, wird die Null-Hypothese verworfen und man spricht von einem positiven Ergebnis. Deswegen können klinische Studien nur positive oder negative Ergebnisse liefern, da das Verwerfen der Null-Hypothese entweder stattfand oder gescheitert ist. (⇒ Siehe auch Hauptartikel zur statistischen Signifikanz für eine ausführlichere Beschreibung.)

Der gesamte Graubereich im Tortendiagramm zur Homöopathie ist deswegen dem roten Bereich für gescheiterte Studien zuzuordnen. Es ist aus wissenschaftlicher Sicht schlicht „gemogelt“, Einzelstudien mit statistisch nicht signifikanten Ergebnissen als „Arbeiten mit unklarem Ergebnis“ zu bezeichnen und sie so zu behandeln wie die Systematischen Reviews, die als Übersichtsarbeiten sehr wohl unklare oder in Teilfragen unterschiedliche Ergebnisse haben können.

Der von homöopathischer Seite in dieser Form an die Öffentlichkeit getragene Vergleich ist aber noch aus anderen Gründen eine Verfälschung der tatsächlichen Verhältnisse.

Allein schon die Tatsache, dass in beiden nebeneinander stehenden Tortendiagrammen Arbeiten unterschiedlicher Evidenzklassen dargestellt sind (Systematische Reviews vs. Einzelstudien), bedeutet, dass man in einem solchen Vergleich eine unterschiedliche Aussagekraft der Evidenz verschleiert. In diesem Zusammenhang darf nicht vergessen werden, wie übereinstimmend alle Autoren der zur Homöopathie vorliegenden Systematischen Reviews die Studienqualität als schlecht einstufen. So fand beispielsweise (wie oben dargestellt) Robert Mathie in seinem Reviewprogramm genau zwei Einzelstudien mit niedrigem Biasrisiko nach Cochrane-Kriterien. Das Diagramm zur Homöopathie stellt also überwiegend Ergebnisse qualitativ minderwertiger Arbeiten dar. Bei vielen davon handelt es sich sogar nur um Pilotstudien. Es ist bekannt, dass zu kleine Patientengruppen, fehlende oder schlechte Randomisierung oder Verblindung zu einer systematischen Überschätzung der Effekte der getesteten Arzneimittel führen. Zudem können durch fehlende Registrierung von Studien und Nicht-Festlegung eines primären Endpunkts a priori Zufallsbefunde fälschlich schnell zu „Nachweisen“ erklärt werden. Die beiden zur Homöopathie vorliegenden P-Kurvenanalysen belegen, dass die Verteilung der Signifikanzwerte aus den Homöopathiestudien einerseits Hinweise auf eine Beeinflussung der Ergebnisse der Einzelstudien durch die Vorgehensweise darin („P-Hacking“) liefert. Andererseits zeigen sie auf, dass sich die aus der schlechten Studienqualität ergebende Überschätzung der Effekte in den Einzelstudien auf die Systematischen Reviews zur Homöopathie übertragen muss. Dies bedeutet, dass der grüne Sektor der positiven Studien im Diagramm für die Homöopathie nur aufgrund der schlechten Studienqualität so groß ist – und dies unabhängig davon, ob man nun die RCTs oder die Systematischen Reviews zur Homöopathie betrachten würde. Wieder hinkt also der Vergleich: Während das Diagramm zu den Systematischen Reviews der evidenzbasierten Medizin die Ergebnisse rigoroser wissenschaftlicher Tests darstellt, vergleicht man mit Studien einer derart schlechten Studienqualität, die die Überschätzung der Effekte höchstwahrscheinlich macht.

Sitzverteilung im Landtag von Rheinland-Pfalz 2011–2016; Bildquelle: Homöopedia.

Darüber hinaus ist die Gegenüberstellung allein deshalb schon sinnfrei, weil die verglichenen Daten etwas völlig anderes bedeuten. Im Cochrane-Report werden offensichtlich sehr viele unterschiedliche Verfahren und Therapien untersucht. Selbstverständlich zeigt sich hier entsprechend auch ein heterogenes Bild. Es ist durchaus möglich, dass sich unter einer großen Zahl von Therapien auch solche finden, die dem Patienten weniger nutzen als ursprünglich vermutet, während für andere die Beleglage hervorragend ist. Das Tortendiagramm, das sich aus dem Report von El Dip et al. ergibt, kann deswegen nichts zur Wirksamkeit irgendeines einzelnen der darin enthaltenen Verfahren aussagen. Weder repräsentiert es eine typische Verteilung der Ergebnisse für einzelne Verfahren, noch stellt es eine Evidenzlage dar, aufgrund derer man in der evidenzbasierten Medizin ein bestimmtes Verfahren für wirksam und korrekt angewendet halten würde. Bei der Untersuchung von El Dip geht es mehr um die Frage, wie weit die Medizin von der Selbstverpflichtung zu robusten Wirksamkeitsnachweisen durchdrungen ist. Allein deshalb ist es irreführend, dem die Studien zu einem einzelnen Verfahren – der Homöopathie – gegenüberzustellen. Aus der äußeren Ähnlichkeit der Verhältnisse der einzelnen Segmente (die, wie oben erklärt, so gar nicht vorliegt) folgt aufgrund der unterschiedlichen Bedeutung der Zahlen, die sie darstellen, für die Homöopathie rein gar nichts. Genauso „sinnvoll“ kann man der Darstellung der Ergebnisse zur Homöopathie auch die Sitzverteilung im Landtag von Rheinland-Pfalz nach 2011 gegenüberstellen.

Ein wesentlicher Punkt, der in einer solchen Gegenüberstellung von Studienergebnissen völlig ausgeblendet ist, ist die Frage, wie beide Seiten denn in der Folge mit diesen Ergebnissen umgehen. Tatsächlich ändern gescheiterte Wirksamkeitsnachweise in der evidenzbasierten Medizin die Leitlinien und Handlungsempfehlungen für die Behandlungspraxis. Demgegenüber ergibt sich aus der desolaten Studienlage bei der Homöopathie keinerlei Änderung der Repertorien oder der dem Patienten und der Politik gegenüber aufgestellten Wirkbehauptungen. Die Gegenüberstellung der Studienergebnisse allein suggeriert also in diskriminierender Weise, innerhalb der evidenzbasierten Medizin ignoriere man negative Ergebnisse in derselben Weise, wie man dies in der Homöopathie seit 200 Jahren handhabt. Dies ist nicht der Fall.

Zuletzt muss zudem betont werden, dass die Formulierung eines Forschungsbedarfs in der evidenzbasierten Medizin eine ganz andere Bedeutung hat als bei der Homöopathie. Während es sehr wohl klar sein kann, dass bestimmte Präparate oder Therapien bei konkreten Beschwerdebildern wirksam sind, kann es weitere offene Fragen bezüglich der Übertragbarkeit auf andere Krankheitsbilder oder Patientengruppen geben. Für keines der untersuchten Verfahren mit unklarer Evidenzlage müsste man jedoch für die Annahme einer spezifischen Wirksamkeit die Erkenntnisse der Naturwissenschaften der letzten 200 Jahre umschreiben. In der Homöopathie geht es dagegen in allen Arbeiten um die grundlegende Behauptung, Zucker mit entweder irrelevant wenigen oder gar keinen pharmakologisch wirksamen Inhaltsstoffen könne alle Beschwerdebilder heilen. Nicht eine der zentralen Säulen der Homöopathie – Ähnlichkeitsprinzip, Potenzierung, Arzneimittelprüfung am Gesunden, Krankheiten als Verstimmung der Lebenskraft, etc. – konnte durch Homöopathen im Zeitraum von nunmehr 200 Jahren wissenschaftlich belegt werden. Nirgends konnte eine Verknüpfung der Hypothesen der Homöopathie mit den gesicherten Erkenntnissen der Naturwissenschaften erreicht werden. Vielmehr sind diese Vorstellungen mehr und mehr in Widerspruch zu den Erkenntnissen der Medizin, der Physik, der Chemie, der Biologie und anderer wissenschaftlicher Fachrichtungen geraten. Die Forderung nach „weiterer Erforschung“ ist hier nichts als ein nicht enden wollender Versuch, über positive Effekte aus qualitativ schlechten Studien den ewigen Mythos einer angeblich immer noch unbeantworteten Forschungsfrage aufrecht zu erhalten.

Fazit:
Egal, wie sich die Gesamtsicht der Evidenz über alle möglichen evidenzbasierten Verfahren auch präsentieren mag: Über die Wirksamkeit der Homöopathie sagt dies nichts aus. Es sagt aber viel über die mangelnde Wissenschaftlichkeit der Protagonisten der Homöopathie aus, wenn man versucht, eine Gleichwertigkeit der Evidenzlage mit der wissenschaftlichen Medizin über hinkende Vergleiche zu suggerieren. Die Erwähnung der Ergebnisse des Cochrane-Reviews von El Dip et al. ist nichts als ein Ablenkungsmanöver, ein „Tu-quoque-Fehlschluss“, manchmal auch als „Whataboutism“ bezeichnet.

Die Säulen der evidenzbasierten Medizin

Im Artikel von Weiermayer et al. erfolgt – wie auch bei vielen anderen homöopathischen Quellen – die Darstellung, die Homöopathie erfülle die „Säulen der evidenzbasierten Medizin“. Diese Bezeichnung bezieht sich auf eine richtungsweisende Veröffentlichung von David Sackett et al. aus dem Jahr 1996. Weiermayer et al. schreiben hierzu:

Die moderne Evidenzbasierte Medizin (EbM) stützt sich per definitionem auf drei Säulen: die klinische Erfahrung der (Tier-)Ärzte, die Werte und Wünsche der Patienten und den aktuellen Stand der wissenschaftlichen Forschung.

Dies ist insofern richtig, dass der Begriff der evidenzbasierten Medizin tatsächlich nicht nur die klinische Evidenz aufgrund von Studien, sondern auch die Erfahrungen von Ärzten und die berechtigten Wünsche und Vorstellungen der Patienten einbezieht. Falsch ist allerdings die Vorstellung, damit sei gemeint, alle drei Säulen würden gleichberechtigt zur Evidenz eines Verfahrens beitragen – oder gar, man könne sich nach Belieben aussuchen, auf welche Säule man sich bei der Frage nach der Evidenz stützen möchte. Leider findet sich diese Fehldeutung oft in der homöopathischen Literatur. Tatsächlich findet sich im Originalartikel von David Sackett eine völlig andere Bedeutung der individuellen Expertise des Therapeuten und der Bedürfnisse des individuellen Patienten innerhalb der evidenzbasierten Medizin:

Evidenzbasierte Medizin ist die gewissenhafte, explizite und umsichtige Nutzung der aktuell besten Evidenz bei der Entscheidungsfindung für die Versorgung der einzelnen Patienten. Die Praxis der evidenzbasierten Medizin bedeutet die Verknüpfung von individueller klinischer Expertise mit der besten verfügbaren externen klinischen Evidenz aus systematischer Forschung. (…)
Gute Ärzte nutzen sowohl individuelle klinische Expertise als auch die beste verfügbare externe Evidenz, und beides allein ist nicht ausreichend. Ohne klinische Expertise läuft die Praxis Gefahr, von der Evidenz tyrannisiert zu werden, denn selbst exzellente externe Evidenz kann auf einen individuellen Patienten nicht anwendbar oder unangemessen sein. Ohne die aktuell beste Evidenz riskiert die Praxis, schnell zu veralten, zum Nachteil der Patienten.

Die individuellen Erfahrungen und die besonderen Wünsche und Bedürfnisse des einzelnen Patienten spielen also eine Rolle für die Entscheidung, ob ein durch klinische Evidenz gebotenes Verfahren bei diesem Patienten vielleicht doch nicht die beste Wahl ist. Durch sie wird aus evidenzbasierter Medizin kein starres „Anwenden nach Vorschrift“. Dies bedeutet aber keineswegs, dass Patientenwünsche und individuelle Erfahrungen des Therapeuten ein Ersatz wären für mangelnde Wirkungsnachweise in klinischen Studien – und Sackett schreibt dies auch nirgends. Im Gegenteil wird im Rahmen der evidenzbasierten Medizin immer wieder herausgearbeitet und betont, dass die Eindrücke von Therapeuten oder Patienten von der Leistungsfähigkeit eines Verfahrens durch vielfältige, nicht abschaltbare äußere Faktoren beeinflusst sind. Dies führt in der Praxis leicht zu einer Überschätzung der Wirksamkeit von Arzneimitteln. Bei wissenschaftlichen Laien kommen hierzu noch Missverständnisse über Genesungsprozesse und die Anfälligkeit für gezielte Werbung mit Wirkbehauptungen.

Die Darstellung, die Beliebtheit der Homöopathie bei Patienten oder die von Homöopathen geschilderten positiven Fälle wären eine gleichberechtigte Säule der Evidenz selbst, ist daher unzutreffend. Diesen Eindruck gewinnt ein Leser des Textes von Weiermayer et al. aber leicht. So wird die erste Säule als „interne Evidenz“ eingeordnet und wie folgt beschrieben:

Die Homöopathie basiert auf allen drei Säulen evidenzbasierter Medizin: Erstens, die interne Evidenz umfasst wie folgt: a.) Ärzte und Tierärzte mit Zusatzausbildung in Homöopathie, die die positiven klinischen Erfahrungen in ihrer Praxis sammeln, dokumentieren und publizieren; b.) standardisierte Arzneimittelprüfungen an gesunden Individuen sowie c.) zahlreiche Materiae medicae (Arzneimittellehren) (…), die die klinisch verifizierten Arzneimittelsymptome dokumentieren,…

Dies stellt also eine unzulässige Umdeutung der Erfahrung der Therapeuten dar. Zudem genügt dieses so beschriebene innerdisziplinäre Vorgehen keineswegs wissenschaftlichen Kriterien. Das Erfassen nur der „positiven klinischen Erfahrungen“ stellt nichts anderes als zum System erhobenes Rosinenpicken dar, das in nichts anderes als einen Bestätigungsfehler (oder „Confirmation Bias“) führen kann, weil unbekannt bleiben muss, …

• wie oft die Mittel nicht halfen und man dann andere wählte,
• wie oft sich das Befinden der Patienten nicht verbesserte
• wie oft oder wie schnell sich vergleichbare Beschwerden ganz ohne Behandlung verbessern
• ob es nicht doch andere Behandlungen für die Beschwerden gibt, die öfter und schneller helfen.

Auch die homöopathischen Arzneimittelprüfungen oder die „Verifikation“ der Arzneimittellehren stellen kein rigoroses, selbstkritisches Testen von Hypothesen dar. In den homöopathischen Arzneimittelprüfungen berichten die Teilnehmer über wirklich alle Symptome, die nach der Einnahme des Mittels aufgetreten sind. Doch stellen sich während einer Beobachtungszeit von mehreren Tagen fast zwangsläufig immer irgendwelche Veränderungen des Befindens ein. Das gilt besonders, wenn der Teilnehmer von Arzneimittelprüfungen diese erwartet und intensiv darauf achtet. Deswegen sind die Ergebnisse homöopathischer Arzneimittelprüfungen ebenfalls anfällig für den Post-hoc-ergo-propter-hoc-Fehlschluss, die Verwechslung von „danach“ und „deswegen“. Wurden Arzneimittelprüfungen verblindet und placebokontrolliert durchgeführt, zeigten sich im Einklang mit dem Scheitern der Homöopathika in klinischen Studien auch hier meist keine Unterschiede zwischen den in beiden Gruppen beschriebenen Symptomen.

Die von Weiermayer et al. als letzten Punkt angegebene sogenannte „Verifikation“ der Symptome erfolgt ebenfalls systematisch nur über Meldung der positiven Bestätigungen, wie dieses Beispiel eines Vortrags auf dem 8. Internationalen Coethener Erfahrungsaustausch (ICE) zeigt:

Durch Verifikationen verbessern wir unsere Materia medica und machen die Mittelwahl immer sicherer. Ich lade Sie ein: Dokumentieren Sie Ihre Heilungen! Ab Januar 2009 gibt es wieder eine Rubrik ‚Verifikationen’ in der ZKH. Schicken Sie die Kasuistiken an die ZKH oder an die neue InHom-Wissenschaftsgesellschaft. Tragen Sie durch Heilungsmitteilungen zur Verbesserung der Materia medica bei!

Die innerdisziplinäre Vorgehensweise der Homöopathie ist also nicht mit einer kritischen wissenschaftlichen Selbstkontrolle vergleichbar. Die als „interne Evidenz“ bezeichnete Methodik ist ungeeignet, Irrtümer im Gedankengebäude der Homöopathie oder den Arzneimittellehren zu identifizieren und aus den Arzneimittellehren zu entfernen. Sie hat auch nicht dieses Ziel: Alleiniges Ziel ist die „Verifikation“, weil eine Widerlegung selbst von Teilen des in sich widersprüchlichen Lehrgebäudes für Vertreter der Homöopathie undenkbar ist. Hier besteht ein fundamentaler Unterschied zur evidenzbasierten Medizin, die zum Wohle des Patienten nach einer steten Verbesserung ihrer Behandlungsempfehlungen strebt – und Überholtes rigoros ausmustert.

Aus diesem Grund beschönigt der Text von Weiermayer et al. das innerdisziplinäre Vorgehen der Homöopathen, weil er dieses unwissenschaftliche Fehlen rigoroser und aussagekräftiger Tests nicht aufzeigt. In dieser nicht hinterfragenden Beschreibung steht er jedoch nicht allein, sondern schließt sich dieser in homöopathischen Kreisen oft verbreiteten Darstellung lediglich unkritisch an. So konnte sich beispielsweise Petra Weiermayer bereits in einem Vortrag auf dem Tag der integrativen Methoden an der Veterinärmedizinischen Universität Wien in ihren Vortragsfolien bei der Frage, ob die Homöopathie die „Säulen der evidenzbasierten Medizin“ erfülle, auf die Masterarbeit von Melanie Wölk aus dem Jahr 2016 berufen.

Bemerkenswert ist, wie sehr sich in dieser Masterarbeit die verzerrende Zusammenfassung der „externen Evidenz“ in klinischen Studien – also der dritten Säule der evidenzbasierten Medizin – mit der im vorliegenden Text von Weiermayer et al. (wie sie oben analysiert wurde) gleicht. Als Beispiel sei hierfür ein Systematischer Review zur Anwendung der Homöopathie in der Psychiatrie aus dem Jahr 2011 angeführt. So beschreibt Melanie Wölk das Ergebnis von Davidson et al. folgendermaßen:

Die Wirksamkeit homöopathischer Therapie konnte bei den Indikationen Fibromyalgie und chronisches Erschöpfungssyndrom bewiesen werden.

Von dieser behaupteten Faktizität findet sich hingegen nichts, wenn man die Schlussfolgerungen der Originalarbeit liest. Tatsächlich schreiben Davidson et al. über ihre Ergebnisse allgemein:

Die Datenbasis zu Studien mit Homöopathie und Placebo in der Psychiatrie ist sehr begrenzt, aber die Ergebnisse schließen die Möglichkeit eines gewissen Nutzens nicht aus.

In Bezug auf Fibromyalgie heißt es im Originaltext:

Wie bereits von anderen angemerkt, sind die Studien zur Homöopathie bei Fibromyalgie derzeit weder ausreichend rigoros noch ausreichend zahlreich, um eine definitive Antwort auf ihre [i. e. der Homöopathie] Einsetzbarkeit zu rechtfertigen, aber die Hinweise sind ermutigend.

Dieses Beispiel möge verdeutlichen, dass sich die Methode, die sich durch den Text von Weiermayer et al. zieht, wenn es um Studienergebnisse geht, auch in anderer homöopathischer Literatur findet: Jede von Originalautoren vorsichtig optimistische Bemerkung – und sei sie noch so sehr mit Einschränkungen und Vorbehalten vermerkt – wird als Beweis bezeichnet, während man gleichzeitig alle Bedenken der Originaltexte unter den Tisch fallen lässt.

Wenn man so beschönigt, wenn es um interne oder externe Evidenz geht, ist es natürlich leicht, zu postulieren, man erfülle die Kriterien der evidenzbasierten Medizin. Richtig im wissenschaftlichen Sinne ist es nicht.

Fazit:
Die Darstellung, die Beliebtheit der Homöopathie bei Patienten oder die von Homöopathen geschilderten positiven Fälle wären eine gleichberechtigte Säule der Evidenz selbst, ist falsch. Diesen Aspekten wurde bereits dadurch in vollem Umfange Rechnung getragen, dass die Homöopathie trotz ihrer inneren Widersprüche und trotz ihrer Unverträglichkeit mit dem sich im Alltag bewährenden naturwissenschaftlichen Wissen in hunderten klinischen Studien untersucht wurde. Es ist aber in der evidenzbasierten Medizin völlig klar, dass die Frage der Wirksamkeit (also die Frage, ob Arzneimittel mehr sind als Placebo) allein über diese externe Evidenz geklärt wird, also über die Ergebnisse der Gesamtstudienlage und der naturwissenschaftlichen Plausibilität eines Verfahrens. Dabei stellt der Artikel von Weiermayer et al. sowohl die wissenschaftliche Aussagekraft der internen Vorgehensweise der Homöopathie als auch die externen Ergebnisse der Gesamtstudienlage zu positiv dar. Es existieren im Sinne der evidenzbasierten Medizin keine stichhaltigen Belege, dass Homöopathika bei irgendeinem Krankheitsbild bessere Ergebnisse erzielen als Placebobehandlungen.

Zusammenfassung

Es ist ein wesentlicher und unverzichtbarer Teil des wissenschaftlichen Arbeitens, dass man selbstkritisch und vorsichtig in der Bewertung aller Daten bleibt. Wissenschaftliche Veröffentlichungen enthalten deshalb Überlegungen der Autoren, in denen sie Fragen zu möglichen Einflüssen aufwerfen, die die Ergebnisse unter Umständen verfälscht haben könnten. Es ist zu diskutieren, welche Fehlerquellen bei der Erhebung der Daten es gab oder auch nur gegeben haben könnte. Diese Gedanken spielen dann eine zentrale Rolle bei der Bewertung der Stichhaltigkeit und Aussagekraft von Ergebnissen.

Berichtet man von den Ergebnissen anderer Autoren, dann ist es zur Vermeidung einer Verfälschung der Evidenz entsprechend wichtig, dies vollständig und in einer eindeutigen, klaren Sprache zu tun. Zur Vollständigkeit zählt, dass man weder einzelne Arbeiten aus der gesamten Literatur herauspickt noch einzelne Ergebniswerte aus diesen Arbeiten. Hierbei ist es essentiell, eventuell von den Erstautoren geäußerte Vorbehalte zur Stichhaltigkeit ihrer Ergebnisse in den eigenen Berichten nicht zu unterschlagen. Wurden in den Originalarbeiten die Daten nicht als belastbar gesehen, darf es in der Sekundärliteratur auch nicht danach klingen, als wären sie es.

Im hier diskutierten Artikel von Weiermayer et al. finden sich jedoch etliche Warnsignale, die für einen unwissenschaftlichen Umgang mit der vorliegenden Evidenz typisch sind:

• Teilweise sind die Angaben zu den Ergebnissen oder der Vorgehensweise der zitierten Originalarbeiten schlicht falsch: Das NHMRC schloss nicht 97 % der Studien von der Auswertung aus; Mathie et al. identifizierten keine 13 Studien mit niedrigem Biasrisiko nach Cochrane-Kriterien.
• Auch die Darstellung mancher Sachverhalte ist im Text verfälscht: Unter den Säulen der Evidenzbasierten Medizin haben weder Erfahrung des Therapeuten noch die Wünsche des Patienten die Bedeutung, einen Ersatz für fehlende wissenschaftliche Nachweise darzustellen. Die Gesetzestexte fordern keineswegs im Bereich der Biologischen Landwirtschaft den bevorzugten Einsatz der Homöopathie ohne einen vorausgegangenen Wirksamkeitsnachweis.
• Eine höchst selektive, keineswegs nur aus hochwertigen oder aktuellen Arbeiten bestehende Studienauswahl wird ohne Begründung als „repräsentativ“ bezeichnet. (Rosinenpicken bei der Literaturauswahl)
• Es werden längst widerlegte, ans Verschwörungstheoretische grenzende Darstellungen der homöopathischen Verbände wiederholt – wie etwa die Behauptung eines „unter Verschluss“ gehaltenen „ersten NHMRC-Berichtes“, der in Wahrheit nur ein wegen erkannten Mängeln nie fertiggestellter Entwurf blieb (Diskreditierung wissenschaftlicher Gremien)
• Wesentliche, die Stichhaltigkeit der genannten Zahlenwerte einschränkende Aussagen der zitierten Originalautoren wurden einfach weggelassen (Rosinenpicken innerhalb der zitierten Arbeiten)
• Der Text von Weiermayer et al. übt durchgehend nur Kritik an der Methodik von Arbeiten mit für die Homöopathie negativen Ergebnissen. Dieselben Vorgehensweisen werden bei Studien oder Reviews mit für die Homöopathie positiven Ergebnissen nicht hinterfragt. Zum Teil wendet man bei anderen Autoren kritisierte Methoden sogar selbst an. Hier wird deutlich mit zweierlei Maß gemessen.
• Der gesamte Text ist durchzogen mit wohlklingenden, im wissenschaftlichen Kontext aber sinnlosen Aussagen, die in den Ohren des Laien einen Sachverhalt deutlich positiver klingen lassen, als er eigentlich ist („implizieren eine Wirksamkeit“, „eine positive Tendenz der Nachweise“ – statt des wissenschaftlich korrekten „ein belastbarer Wirksamkeitsnachweis ist nicht gelungen“)
• Mehrmals benutzt der Text formal zutreffende Aussagen (zum Beispiel, dass für den NHMRC-Report nicht das für Fachzeitschriften übliche Peer-Reviewverfahren stattfand) in einer Weise, die beim Leser, der die Hintergründe nicht kennt, dennoch leicht ein unzutreffendes Bild (hier: klingt nach keinen qualitätssichernden Maßnahmen) entsteht (Verzerrungsstrategie)
• Wiederholt finden sich im Text Strohmannargumente. So wird dem EASAC eine Aussage über die Zuwendung zum Patienten unterstellt, die das EASAC gar nicht trifft. Auf einen begründeten Einwand in einem kritischen Leserbrief zweier Schweizer Professoren wird ausweichend mit einer allgemeinen Aussage geantwortet, die den zentralen Kritikpunkt gar nicht aufgreift (Argumentation gegen Pappkameraden)

Zusammenfassend muss deshalb gesagt werden, dass der Artikel von Weiermayer et al. die wissenschaftlichen Ergebnisse zur Homöopathie umfassend verzerrend, verkürzt oder unzutreffend darstellt. Die darin erhobenen Anschuldigungen, negative Ergebnisse seien einer anderen als einer wissenschaftlichen Motivation geschuldet, sind als unbegründet zurückzuweisen.

Interessant ist, dass der Artikel in einer Fachzeitschrift für Tiermedizin publiziert wurde, obwohl er seinen Schwerpunkt gar nicht auf der Veterinärhomöopathie hat. Hier ist die Frage aufzuwerfen, ob dies im Zusammenhang damit zu sehen ist, dass mehrere europäische Länder den Empfehlungen des EASAC gefolgt sind und die Erstattungsfähigkeit der Homöopathie beendet haben. Auch hierzulande haben beginnend 2019 viele Landesärztekammern die Homöopathie aus ihren Weiterbildungsordnungen gestrichen. Dagegen ist die Zusammenarbeit der homöopathischen Lobbygruppen mit einigen Tierärztekammern entgegen der wissenschaftlichen Evidenz noch unvermindert eng.

Eine mögliche Begründung für das anhaltende Interesse im veterinärmedizinischen Bereich gegenüber der Homöopathie könnte auch in der oben zitierten Untersuchung von Merck et al. zur Mastitis zu finden zu sein: Da Abwarten eines Tierarztes als unverantwortliche Untätigkeit wahrgenommen werden könnte und eine Placebobehandlung als solche in den tierärztlichen Richtlinien nicht vorgesehen ist, ist die Homöopathie hier willkommen, weil man so vermeidet, sich diesen medizinethischen Fragen stellen zu müssen.

Dass man unnötige Antibiotika auch durch Placebos ersetzen kann, steht außer Frage. Dies rechtfertigt aber keine verzerrte Darstellung der Evidenz, zeigt kein „Potenzial einer signifikanten Reduktion des Antibiotikaeinsatzes durch homöopathische Behandlungen“, belegt keine Notwendigkeit einer Zusatzausbildung und es bedarf hierfür sicher keiner Diskreditierung der Evidenz oder der Einrichtungen und Autoren, die sie erstellt haben. Die wissenschaftliche Evidenz sagt übereinstimmend, dass sich keine stichhaltigen Belege für eine Überlegenheit von Homöopathika gegenüber Placebos gefunden haben. Nur das kann daher die Grundlage evidenzbasierten Arbeitens von Tierärzten sein.

Quellen- und Literaturangaben

Anmerkungen und Originalzitate