Systematische Reviews zur Homöopathie - Methodik

Dieser Artikel ist Bestandteil einer Reihe von mehreren Beiträgen zu Übersichtsarbeiten, die die Homöopathie als Ganzes zum Thema haben. Hier wird die Methode beschrieben und die Schwierigkeiten diskutiert, die sich bei der Betrachtung der Homöopathie als Ganzes ergeben.

Systematische Reviews sind wissenschaftliche Arbeiten, bei denen Informationen aus mehreren bereits vorliegenden Untersuchungen zusammengefasst werden, um weitergehende Fragestellungen zu beantworten. Im allgemeinen Sprachgebrauch werden solche Arbeiten auch als Metaanalysen bezeichnet, was aber irreführend ist: Metaanalysen sind zusammenfassende statistische Analysen von Daten aus mehreren Studien und als solche oft Bestandteil systematischer Reviews. Im Rahmen dieser Betrachtungen bezieht sich der Begriff Metaanalyse entsprechend nur auf die statistische Datenauswertung. Die gesamte Arbeit wird im Folgenden als Review bezeichnet.

Ein systematisches Review gilt in der Evidenzbasierten Medizin (EbM) als die höchste Stufe der Evidenz. Dennoch gibt es einige Probleme, welche die Interpretation erschweren. Diese werden noch dadurch verschärft, dass in den Reviews zur Homöopathie eine mehr oder weniger große Anzahl verschiedener Krankheitsbilder gemeinsam betrachtet wird, was bei üblichen Reviews eher nicht der Fall ist.

Sinn und Zweck

Systematische Reviews werden in vielen Wissenschaftszweigen angewandt. Es wird damit versucht, für bestimmte Forschungsfragen die bestmögliche Evidenz zusammenzustellen – oder auch herauszufinden, wo noch Forschungsbedarf besteht. Durch die systematische Sichtung des gesamten für eine Fragestellung relevanten Literaturbestandes wird die Gefahr verringert, Schlussfolgerungen nur aufgrund einzelner Studien zu treffen, deren Ergebnisse reine Zufallstreffer sein könnten.

Prinzipiell können verschiedene Typen von Studien in Reviews betrachtet werden. In diesem Artikel werden allerdings nur solche Reviews betrachtet, die placebokontrollierte Vergleichsstudien zusammenfassen. Dies sind klinische Studien, bei denen Patienten als Versuchspersonen in zwei Gruppen eingeteilt werden. Die eine Gruppe erhält das zu prüfende Mittel, die andere jedoch ein Placebo ohne Wirkstoff. Die Ergebnisse werden statistisch ausgewertet, insbesondere dahingehend, ob sie zufällig zustande gekommen sein könnten. Wenn dies (wahrscheinlich) nicht der Fall ist, dann gelten die Ergebnisse einer Studie als statistisch signifikant.

Für die Evidenzbasierte Medizin hat die Cochrane Collaboration ein umfassendes Handbuch herausgegeben (CCH_2008), das diesem Artikel bezüglich der regulären Vorgehensweise bei systematischen Reviews zugrunde liegt. Zielrichtung der Cochrane Collaboration ist, dem behandelnden Arzt die bestmögliche Evidenz zur Verfügung zu stellen. Es wurden bereits über 6000 systematische Reviews veröffentlicht und dabei die Vorgehensweise standardisiert. Man kann also davon ausgehen, dass sich die Vorgehensweise bewährt hat.

Sonderfall Homöopathie
Es besteht jedoch ein grundsätzlicher Unterschied zwischen einem normalen Review wie im Cochrane-Handbuch beschrieben und einem Review zur Homöopathie:

Bei Reviews in der Evidenzbasierten Medizin geht es im Allgemeinen um ein ganz spezielles Thema, etwa eine bestimmte Behandlungsmethode bei einer bestimmten Krankheit (Indikation). Dann kann man davon ausgehen, dass die verschiedenen Studien nur verschiedene Betrachtungsweisen des gleichen Sachverhalts sind. Statistisch gesehen hätte man es nur mit verschiedenen Stichproben aus der gleichen Grundgesamtheit zu tun.

Bei den systematischen Reviews zur Homöopathie ist genau das nicht der Fall. Um sich mit der Wirksamkeit der Homöopathie als Therapierichtung auseinanderzusetzen, werden Studien zu verschiedenen Indikationen zusammengefasst, was zu einigen Problemen führt, die man bei der Auswertung und Interpretation unbedingt berücksichtigen muss.

Anmerkung: In dieser Artikelreihe geht es um Reviews, die eine umfassende Auseinandersetzung mit der Homöopathie darstellen. Daneben gibt es auch einige Reviews, die sich nur mit einem eng umrissenen Krankheitsbild beschäftigen, also den Gegebenheiten eines normalen Cochrane-Reviews entsprechen. Auf diese Studien beziehen sich die Ausführungen zu den homöopathiespezifischen Problemen systematischer Reviews nicht.

Methode

Ziel ist es, eine Forschungsfrage bestmöglich anhand der vorliegenden Literatur zu beantworten. Hieraus ergeben sich die hier beschriebenen Arbeitsschritte eines Reviews. Dabei beschränkt sich diese Beschreibung auf die Vorgehensweise zur Bewertung der Wirksamkeit der Therapie. Zu einem aussagekräftigen Review nach den Vorgaben der Cochrane Collaboration gehört jedoch noch viel mehr, zum Beispiel die Erfassung von unerwünschten Nebenwirkungen oder auch Schwierigkeiten bei der Anwendung, die aber hier nicht betrachtet werden.

Problem - mögliche Voreingenommenheit der Autoren
Ein grundlegendes Problem kann aber auch ein systematisches Review nur bedingt lösen: In einem systematischen Review sind sehr viele Entscheidungen zu treffen, bei denen es einigen Spielraum gibt. Beispielsweise können Studien, die den Überzeugungen oder gar den Interessen des Review-Autors widersprechen, eher als nicht relevant oder von ungenügender Qualität eingestuft werden, auch ohne dass dahinter eine böse Absicht liegt. Es fällt einfach schwer, Arbeiten unvoreingenommen gegenüberzustehen, die dem eigenen Standpunkt widersprechen. Eine verblindete Bewertung der Studien ist jedoch kaum möglich. Möglicherweise werden die Ergebnisse also eher in Richtung auf den gewünschten Ausgang überbetont. Gerade bei einem so umstrittenen Gebiet wie der Homöopathie, bei dem auch persönliche Interessen eine große Rolle spielen könnten, ist dieses Problem sicher präsent (STE_2011).

Aufstellen der Forschungsfrage

Am Anfang muss naturgemäß geklärt werden, was erforscht werden soll. Hiernach richtet sich, welche Studien betrachtet werden und welche Informationen daraus in die Bewertung einfließen sollen. In der evidenzbasierten Medizin befassen sich die Reviews mit einem recht eng umrissenen Thema, etwa die Auswirkung einer bestimmten Therapie bei einem bestimmten Krankheitsbild bei einer bestimmten Art von Patienten. Beispiel: Die Wirkung von oralem Eisensupplement bei Kindern in Malariagebieten (NEU_2016).

Sonderfall Homöopathie
Im Gegensatz dazu ist das betrachtete Spektrum bei Reviews zur Homöopathie wesentlich größer und vielschichtiger. Im Review von Mathie et al. werden 32 Studien zu 24 verschieden Krankheitsbildern zusammengefasst, die etwa von ADHS über Mittelohrentzündung, Cholera und leichter Gehirnerschütterung bis zum prämenstruellen Syndrom reichen (MAT_2014). Dies sind Krankheitsbilder, die hinsichtlich des betroffenen Personenkreises, deren Ursachen und Heilungsaussichten praktisch keine Gemeinsamkeiten haben, aber dennoch zusammen betrachtet werden.

Die Ergebnisse eines Reviews aus der Evidenzbasierten Medizin kann man mit gewissen Abstrichen sicher auf ähnliche Fragestellungen übertragen. Bei einem Review zur Homöopathie als generelle Therapierichtung ist es dagegen sehr von der Forschungsfrage abhängig, ob es überhaupt sinnvoll ist, derartig verschiedene Krankheitsbilder gemeinsam zu betrachten.

Die generelle Frage, ob Homöopathie im Allgemeinen wirksam ist, kann beispielsweise nicht beantwortet werden, denn es liegen nur für eine beschränkte Anzahl von Indikationen entsprechende Studien vor. Eine Extrapolation aus diesem engen Rahmen heraus ist nicht möglich. Wenn es für die homöopathische Behandlung von Tuberkulose keine Studien gibt, kann diese Lücke auch nicht mit einem Review über andere Indikationen geschlossen werden. "Sind Indikationen bekannt, bei denen die Homöopathie besser wirkt als Placebo?" wäre hingegen möglich, weil sie sich auf das durch Studien erschlossene Gebiet beschränkt. Ähnliche Einschränkungen gelten auch für die spätere Interpretation und Übertragbarkeit der Ergebnisse des Reviews.

Literaturrecherche

Um die Forschungsfrage möglichst zutreffend zu beantworten, muss die gesamte für diese Frage relevante Literatur gesucht werden, was heute mit den einschlägigen Datenbanken (Pubmed, Medline etc.) keine allzu große Schwierigkeit mehr ist.

Ein allgemeines Problem systematischer Reviews ist aber die Frage, ob die zugängliche Literatur auch das gesamte Wissen beinhaltet. Wissenschaftler veröffentlichen gerne neue positive Ergebnisse, Fachzeitschriften bevorzugen diese ebenfalls. Das führt dazu, dass Untersuchungen mit negativen Ergebnissen nicht mit dem gleichen Nachdruck veröffentlicht werden, also im verfügbaren Literaturbestand eher unterrepräsentiert sind. Dieser Effekt wird Publication Bias genannt oder auch als Schubladenproblem bezeichnet, demzufolge unvorteilhafte Ergebnisse eher in der Schublade verbleiben (ROS_1979).

Um dieses Problem etwas zu entschärfen, wird vorgeschlagen, auch nach unpublizierten Studien zu suchen, indem man etwa bekannte Autoren oder Institutionen anspricht (CCH_2008 Kap. 10.3.2). Aber auch dies kann zu einem Bias führen. Diese Arbeiten haben kein Peer-Review zur Veröffentlichung durchlaufen und könnten daher methodische und andere Probleme enthalten.

Heute wird empfohlen, dass klinische Studien vor Beginn registriert werden, um so den Publication Bias einzudämmen, indem negative Studien nicht einfach verschwinden (CCH_2008 Kap. 10.3.3). Dies hat allerdings keine Auswirkung auf den Bestand älterer Literatur, auf den homöopathische Metaanalysen immer zurückgreifen. Demzufolge kann dieses Problem nicht ausgeschlossen werden. Da die allermeisten Studien zur Homöopathie von Institutionen betrieben werden, die ein Interesse an positiven Ergebnissen haben, kann dies zu einer Verzerrung des Bildes in Richtung stärkerer Wirksamkeit führen.

Bewertung der einzelnen Studien

Studienqualität
Die aufgefundenen Studien müssen sodann bewertet werden, ob sie tatsächlich für die Fragestellung relevant sind. Das größere Problem aber ist, die Belastbarkeit der Studien zu bewerten, oftmals als Studienqualität bezeichnet. Hierfür wurden im Lauf der Zeit verschiedene Verfahren angewandt. Gemeinsam ist, dass sie das Studiendesign und die Durchführung bewerten, etwa

• ob die Studien verblindet waren, also sowohl Patient als auch das behandelnde Personal und möglichst auch derjenige, der die Ergebnisse auswertet, nicht wissen, ob der Patient das aktive Mittel oder das Placebo eingenommen hat
• ob die Zuordnung der Patienten zu den Gruppen nach dem Zufallsprinzip erfolgte, um in den Gruppen eine vergleichbare Ausgangsbasis zu haben
• ob die Ergebnisse vollständig berichtet wurden oder Daten fehlen.

Einzelne Autoren von systematischen Reviews haben auch eigene Standards entwickelt, die andere Parameter mit einbeziehen, etwa die Gruppengröße oder die Klarheit des veröffentlichten Berichts.

In älteren Reviews wird der Jadad-Score verwendet, bei dem die obigen drei Kriterien noch dahingehend erweitert werden, ob die Methoden für Verblindung und Randomisierung angemessen waren (JAD_1996). Insgesamt kann eine Studie damit zwischen 0 und 5 Punkte erreichen, fünf Punkte bedeuten eine hervorragende Qualität.

Ein neuerer Ansatz ist die Bewertung des Risikos für einen Bias (CCH_2008 Kapitel 8). Die obigen Kriterien des Jadad-Scores finden sich darin wieder, ergänzt um weitere Kriterien, beispielsweise die Gestaltung und Verdeckung der Reihenfolge der Verteilung der Probanden auf die beiden Gruppen. Die Bewertung ist wesentlich differenzierter und es werden auch einige Beispiele zur Zuordnung genannt. Am Ende wird die Studie insgesamt beurteilt, ob sie ein geringes, mittleres oder hohes Risiko eines Bias beinhaltet.

Anmerkung: Bias ist im Englischen ein völlig wertfreier Begriff, der ausdrückt, dass das ermittelte Ergebnis nicht mit der Wirklichkeit übereinstimmt. Bei den deutschen Begriffen schwingt immer eine gewisse Bedeutung mit, die besonders im Zusammenhang mit handelnden Personen auch fehlinterpretiert werden könnte. Daher wird hier das englische Wort 'Bias' verwendet.

Im Cochrane Handbuch wird empfohlen, Studien mit ungenügender Bewertung der Qualität bzw. des Risikos eines Bias' nur mit geringem Gewicht in einer Metaanalyse zu berücksichtigen oder diese ganz auf die besseren Studien zu beschränken (CCH_2008 Kap. 8.8.3). Tut man dies nicht, ergibt sich nicht nur ein verzerrtes Ergebnis. Durch die größere Anzahl der Studien und der darin enthaltenen Testpersonen ergibt sich für das Ergebnis auch noch ein engerer Vertrauensbereich. Das Ergebnis ist folglich möglicherweise nicht nur falsch, sondern sieht auch noch besser und zuverlässiger aus als es ist.

Zusätzliche Kriterien zur Homöopathie
Mathie et al. schlagen für Arbeiten zur Homöopathie eine zusätzliche Bewertung der Validität der Studien vor, die nach folgenden Kriterien erfolgen soll (MAT_2012):

• Ist die Indikation einer homöopathischen Behandlung zugänglich?
• Ist die angewandte Intervention in Übereinstimmung mit den Prinzipien der Homöopathie?
• Würde ein bedeutender Teil von homöopathischen Therapeuten den Überlegungen zur Behandlung zustimmen?
• Gibt das hauptsächliche Bewertungskriterium die hauptsächlichen zu erwartenden Effekte der angewandten Behandlung wieder?
• Ist das hauptsächliche Kriterium geeignet, eine Veränderung zu erfassen?
• Ist die Beobachtungszeit lang genug, den beabsichtigten Effekt der Behandlung im Hauptergebnis zu erfassen?

Dies ist ziemlich klar ein Filter, den erfolgreiche Studien zur Homöopathie ohne weiteres passieren. Schließlich muss alles richtig gewesen sein, sonst hätte es ja kein positives Ergebnis gegeben.(AUS_2014) Wenn kein positives Ergebnis eingetreten ist, dann muss einer der Punkte falsch gewesen sein, sonst hätte es ja funktioniert. Dass die Homöopathie einfach grundsätzlich nicht funktionieren könnte, davon gehen Mathie et al. offensichtlich nicht aus. Da die Bewertung der Studien im Nachgang erfolgt, ist es kaum möglich, eine persönliche Voreingenommenheit aus dieser Bewertung herauszuhalten.

Kritik
Bei allen Betrachtungen zur Aussagekraft der einzelnen Studien wurde unterstellt, dass die Forschungsarbeit an sich nach bestem Wissen korrekt ausgeführt wurde. Damit sind aber eine ganze Anzahl von Fehlerquellen ausgeschlossen, die das einzelne Studienergebnis in die eine oder andere Richtung beeinflusst haben könnten. Beispiele:

• Ist das Ergebniskriterium für die Forschungsfrage geeignet?
• Wurden validierte Erfassungsverfahren genutzt und auch im Rahmen der Validierung angewandt?
• Sind Rechenfehler in den Daten erkennbar?
• Wurde ein geeignetes Auswerteverfahren genutzt?
• Sind die Schlussfolgerungen durch die erhobenen Daten gedeckt?

Diese Fragen werden trotz ihres nicht unerheblichen Risikopotenzials in den bekannten Reviews zur Homöopathie nicht betrachtet, weshalb die Ergebnisse vieler Studien in der Homöopathie nicht aussagekräftig sind.

Extraktion der Daten

Bei der Extraktion der Daten aus den einzelnen Studien müssen diese in einer geeigneten Weise umgeformt werden, dass eine gemeinsame Auswertung möglich ist. Soll eine Metaanalyse durchgeführt werden, dann müssen diese Daten in Effektstärken umgerechnet werden. Weit verbreitet ist die Verwendung des Quotenverhältnisses (Odds Ratio) als ein solcher Maßstab. Dass diese Kennzahl ihre eigenen Tücken hat, wird an anderer Stelle erläutert.

Problem
Eine andere Schwierigkeit, die bislang in der Literatur nicht betrachtet wird, liegt darin, dass diese Effektstärke als eine rein statistische Größe auf der Definition des Bewertungsergebnisses der zugrundeliegenden Studie aufsetzt – was nicht notwendigerweise eine Heilung bedeutet! Häufig ergibt sich lediglich eine mehr oder weniger deutliche Verbesserung des Zustandes, oder dies wird gar als Zielkriterium definiert.

Beispiel: In seiner Studie zur homöopathischen Behandlung von Warzen haben Kainz et al. eine Reduktion der befallenen Fläche um 50 % als Erfolgskriterium festgelegt (KAI_1996). Ohne Zweifel ist dies eine Verbesserung für die Patienten. Aber es ist sicher keine Heilung in dem Sinne, wie es die Patienten erwarten dürften, nämlich dass die Warzen weg sind. Diese Studie hätte erfolgreich sein können, indem mehr Patienten das Erfolgskriterium erreicht hätten – auch ohne dass ein Patient tatsächlich vollkommen geheilt gewesen wäre.

Wegen der Bedeutsamkeit dieses Punktes noch ein zweites Beispiel: In der Studie von de Lange de Clerk (DEL_1994) werden Erkältungskrankheiten bei Kindern angeblich erfolgreich homöopathisch behandelt. Man erreichte sogar fast ein signifikantes Ergebnis, mit OR = 1,67 war der Effekt sogar vergleichsweise groß. Diese Studie ist dennoch kein Nachweis für eine durchgreifende Wirkung der homöopathischen Therapie bei Erkältungskrankheiten, denn der therapeutische Effekt blieb dabei eher gering: Der durchschnittlichen Schwere von 2,61 Bewertungspunkten in der Placebogruppe steht nämlich nur eine Verbesserung auf 2,21 Bewertungspunkte in der Homöopathiegruppe gegenüber - eine Verbesserung um gerade mal 15 %. Also weit weniger als die sicher erwartete und oftmals beworbene gründliche Heilung.

Datenanalyse und Metaanalyse

Ziel der Datenanalyse ist es, die vorgefundenen Daten so aufzubereiten, dass eine Beurteilung der Situation möglich ist. Sofern möglich und sinnvoll, werden die Daten dann mittels einer Metaanalyse zu einem aussagekräftigen Kennwert zusammengefasst.

Inhomogenität

Ein Problem bei den statistischen Auswertungen in einer Metaanalyse sind inhomogene Daten. Bei normalen Reviews, wie im Cochrane Handbuch beschrieben, kann man davon ausgehen, dass sich die Testpersonen in den Einzelstudien nicht völlig unähnlich sind, quasi verschiedene Stichproben aus einer großen Grundgesamtheit darstellen. Im Handbuch wird dennoch empfohlen, die Homogenität sehr genau mittels geeigneter Testverfahren zu überprüfen. Dann ist den eventuell vorgefundenen Inhomogenitäten sehr gründlich nachzuspüren und die Ursachen müssen geklärt werden (CCH_2008 Kap. 9.5).

Behandeln die Studien jedoch zu unterschiedliche Sachverhalte, wird von der Durchführung einer Metaanalyse strikt abgeraten, denn die Ergebnisse wären vermutlich bedeutungslos (CCH_2008 S. 277). Genau das ist aber der Inhalt von Metaanalysen zur Homöopathie, wie oben bereits ausgeführt.

Funnel Plot

Normalerweise wird in einem sogenannten Funnel Plot überprüft, inwieweit ein Publication Bias vorliegen könnte (CCH_2008 Kap. 10.4.1). Dies wiederum ist ein wichtiges Kriterium dafür, wie belastbar das Ergebnis der Metaanalyse ist. Man geht davon aus, dass kleinere Studien stärker um den wahren Wert streuen als große. Wenn man also über den in den einzelnen Studien ermittelten Effektstärken deren Größe aufträgt, müsste sich in etwa ein symmetrisches Bild ergeben, das entfernt an einen umgekehrten Trichter (englisch: funnel) erinnert. Ist dieses Bild nicht symmetrisch, insbesondere die Seite der positiven Ergebnisse stärker vertreten, dann liegt die Vermutung nahe, dass Studien, die in die negative Richtung abgewichen sind, nicht veröffentlicht wurden.

Sonderfall Homöopathie
Selbst wenn man unterstellt, Homöopathika seien wirksam, dann werden immer noch in verschiedenen Krankheitsbildern unterschiedliche Effektstärken auftreten. Dies wiederum kann zu einer Unsymmetrie des Funnel Plots führen (HAH_2013). Wenn die Forscher, warum auch immer, große Effektstärken erwartet haben, dann wurde mit einer kleinen Zahl von Probanden gearbeitet und umgekehrt. Dies ergibt eine Unsymmetrie des Funnel Plots dahingehend, dass kleine Studien größere Effekte zeigen (wenn sie erfolgreich durchgeführt wurden, heißt das). Das gleiche Bild zeigt sich aber im Funnel Plot, wenn man unterstellt, dass kleinere negative Studien dem Schubladenproblem anheimgefallen wären und mit zunehmender Studiengröße kleinere Effekte zu verzeichnen seien. Konsequenz: Man kann die beiden Fälle anhand der durchgeführten Analyse nicht unterscheiden. Eine wesentliches Beurteilungskriterium für das Ergebnis der Analyse kann somit nicht überprüft werden.

Vote Count

Die einfachste Form der Analyse ist der Vote count oder Box count. Das ist ein einfaches Abzählen der positiven und negativen Ergebnisse, wobei die statistische Signifikanz als Unterscheidungskriterium dient (CCH_2008 Kap. 9.4.11). In solch einer Analyse werden die Stichprobengrößen der einzelnen Studien nicht berücksichtigt. Studien mit wenigen Teilnehmern gehen genauso stark in das Gesamtergebnis ein wie Studien mit mehreren tausend Testpersonen. Die Effektstärke bleibt bei der Interpretation des Ergebnisses ebenfalls unbeachtet. Gleichgültig wie stark oder schwach der Effekt ist, es zählt nur positiv oder negativ. Damit können solche einfachen Betrachtungen ein verzerrtes Bild zeigen.

Fixed-Effect Models vs. Random-Effects Models

Es gibt sehr viele verschiedene Möglichkeiten, die gesammelten Daten auszuwerten. Hier sei auf die Fachliteratur verwiesen (CCH_2008 Kap. 9). Die Problematik der Inhomogenität indes scheint nicht lösbar.

Wenn die verschiedenen Studien nur Varianten der gleichen Grundgesamtheit sind, dann kann man unterstellen, dass sich die wahren Kenngrößen der Grundgesamtheit – bei kontinuierlichen Daten etwa Mittelwert und Streuung – aus den Studiendaten durch geeignete Mittelwertbildung errechnen lassen. Hierzu kann man größeren Studien, also Studien mit einer größeren Anzahl von Teilnehmern, ein höheres Gewicht geben, da diese nur in kleinerem Ausmaß vom wahren Wert abweichen werden. Diese Annahme wird fixed-effect model genannt.

Im Falle der Homöopathie-Reviews ist genau dies nicht möglich, denn selbst wenn die Homöopathie tatsächlich wirksam wäre, kann nicht unterstellt werden, dass dies bei allen Indikationen auch im gleichen Ausmaß der Fall wäre. Der Ausweg, ein Rechenverfahren anzuwenden, das dieses berücksichtigt – also ein random-effects model – wird aber in die Irre führen. Bei diesen Verfahren erhalten die kleineren Studien automatisch ein größeres Gewicht. Damit wird eine nach einem Random-Effects Model über alle Studien bestimmte Effektgröße nur dann zutreffend errechnet, wenn die kleinen Studien auch tatsächlich zufällig um diesen Wert verteilt sind. Aber genau das ist nicht der Fall, wie Hahn in seiner Kritik an den Metaanalysen ausführt (HAH_2013):

Normalerweise wird die Anzahl der Studienteilnehmer so festgelegt, dass eine bestimmte erwartete Effektstärke sicher entdeckt wird. Eine große Studie mit vielen Teilnehmern spräche dann dafür, dass die Autoren einen kleineren Effekt erwartet haben. Wenn stärkere Effekte erwartet werden, dann führt man die Studie mit weniger Teilnehmern durch.

Damit gibt es eine Tendenz, dass in großen Studien kleine Effekte auftreten, in kleinen Studien große, was eben nichts mit einer zufälligen Verteilung zu tun hat, sondern systematisch bedingt ist. Unter diesen Umständen verzerrt die Anwendung eines Random-Effects Model den errechneten Mittelwert in Richtung der kleineren Studien - also zu größeren Effekten. Im Cochrane Handbuch wird darauf hingewiesen, dass es hier vielleicht sinnvoll wäre, auf eine Metaanalyse ganz zu verzichten oder aber zumindest eine Empfindlichkeitsanalyse auszuführen(CCH_2008 S. 277). Schließlich entbehrt bei systematisch unterschiedlichen Effektstärken in den einzelnen Krankheitsbildern die Angabe einer mittleren Effektstärke auch jeden Sinnes.

Interpretation der Ergebnisse

Hierzu gehört die Beantwortung der anfangs aufgestellten Forschungsfrage. Dazu sollte es immer auch ein Kapitel „Diskussion“ geben, in dem unter anderem die Grenzen der Gültigkeit des Ergebnisses besprochen werden sowie eine Schlussfolgerung. Im Falle der Homöopathie ist vielleicht besonders darauf zu achten, dass die Ergebnisse nicht überinterpretiert werden und ob sie überhaupt sinnvoll sind. Eine Überinterpretation liegt dann vor, wenn Schlussfolgerungen gezogen werden, die von den Ergebnissen des Reviews nicht unterstützt werden.

Darstellung der Ergebnisse und Schlussfolgerung

Das Ergebnis einer Metaanalyse als Effektstärke ist eine recht abstrakte Größe. Wer sich nicht intensiv damit beschäftigt, kann beispielsweise mit einem Zahlenwert für ein Quotenverhältnis wenig anfangen. Auch Fachleute und Journalisten interpretieren diese Kennzahl gelegentlich falsch. Daher ist es eigentlich erforderlich, dass das Ergebnis in einer verständlichen Form kommuniziert wird. In Cochrane Reviews gibt es hierfür die 'Plain language summary', die Zusammenfassung in verständlicher Sprache (CCH_2008 Kap. 11.9).

Ausblick

Anhand dieser Zusammenstellung sollen die bekannten systematischen Reviews zur Homöopathie in einzelnen Artikeln besprochen werden, darunter

• Mathie (2014)
• Shang (2005)
• Linde (1997)

Quellen- und Literaturangaben

Anmerkungen und Originalzitate