Systematische Reviews zur Homöopathie - Mathie (2014)

__NOEDITSECTION__ [[Category:Studien]]
<!-- TXT:Methodik und Ergebnisse des indikationsübergreifenden Reviews zur individualisierten Homöopathie von Robert T. Mathie et al. (2014)@-->Das Ende 2014 veröffentlichte systematische Review zur Homöopathie einer Forschergruppe um Robert T. Mathie ist die bislang letzte Untersuchung dieser Art<ref name="MAT_2014"> Mathie RT, Lloyd SM, Legg LA, Clausen J, Moss S, Davidson JR, Ford I: Randomised placebo-controlled trials of individualised homeopathic treatment: systematic review and meta-analysis, Systematic Reviews 2014, 3:142 doi:10.1186/2046-4053-3-142, [http://systematicreviewsjournal.biomedcentral.com/articles/10.1186/2046-4053-3-142 Link]</ref>(Stand: März 2016). Die Arbeit ist Teil eines größeren Projekts der ''British Homeopathic Association (BHA)'', in dem die gesamten vorliegenden Forschungsergebnisse zur Homöopathie aufgearbeitet werden sollen. In diesem Review wird die klassische Homöopathie betrachtet, also die Königsdisziplin der Homöopathie, die mit individuell verordneten Einzelmitteln arbeitet und am wirksamsten sein soll. Der als Ergebnis gefundene kleine positive Effekt kommt allerdings nur dadurch zustande, dass die Autoren einige eher ungebräuchliche Methoden angewandt haben.

__TOC__

==Hintergrund==
Die BHA ist eine seit 1902 in England bestehende Organisation, die zum Ziel hat, die Homöopathie in der Medizin zu verbreiten und sicherzustellen, dass Homöopathie für alle verfügbar ist <ref> Webseite der BHA  [http://www.britishhomeopathic.org/bha-charity/about-us-2/ Link]</ref>. Damit verfolgt sie in etwa die gleichen Ziele wie die [[Artikel:Carstens-Stiftung|Carstens-Stiftung]] in Deutschland. Die BHA arbeitet eng mit der ''Faculty of Homoeopathy'' zusammen, die als Plattform für die homöopathischen Therapeuten dient und damit dem ''Deutschen Zentralverein homöopathischer Ärzte ([[Artikel:DZVhÄ|DZVhÄ]])'' vergleichbar ist.

Die BHA betreibt seit 2011 ein Projekt, in dem die gesamte Literatur zu kontrollierten und randomisierten klinischen Studien der Homöopathie aufgearbeitet werden soll.<ref name="BHA"> Mathie RT, Hacke D, Clausen J, Nikolai T, Riley DS, Fisher P: Randomised controlled trials of homeopathy in humans: characterising the research journal literature for systematic review, Homeopathy(2013) 102, 3-24, [https://www.researchgate.net/profile/David_Riley4/publication/234069485_Randomised_controlled_trials_of_homeopathy_in_humans_Characterising_the_research_journal_literature_for_systematic_review/links/02e7e53b846b87dbe4000000.pdf Link]</ref>

Robert T. Mathie selbst arbeitet als wissenschaftlicher Berater für die BHA und hat eine ganze Reihe wissenschaftlicher Artikel veröffentlicht, darunter auch systematische Reviews für die ''Cochrane Collaboration'', einer internationalen Organisation von Ärzten und Wissenschaftlern, die das Ziel verfolgt, dem behandelnden Arzt die bestmögliche Evidenz zu Therapien oder Medikamenten zur Verfügung zu stellen.<ref>Deutschsprachige Website der Cochrane Collaboration: http://www.cochrane.de/de/arbeitsgebiet</ref>.

Auch die anderen Autoren des Reviews arbeiten entweder für der Homöopathie nahestehende Organisationen oder sind nur an der statistischen Auswertung beteiligt.

Man kann also davon ausgehen, dass die Autoren nicht gegen die Homöopathie voreingenommen sind, ein Vorwurf, der beispielsweise den Autoren des Reviews von [[Artikel:Systematische Reviews zur Homöopathie - Shang(2005)|Shang et al.]] gemacht wurde.

==Vorbereitung==
Eine groß angelegte Sichtung des gesamten Literaturbestandes zu randomisierten Vergleichsstudien ging dem eigentlichen Review voraus<ref name="BHA"></ref>. Es wurden insgesamt 489 Datensätze gefunden, in denen über randomisierte klinische Studien berichtet wird. Davon erfüllten 41 die Kriterien für eine Betrachtung in dem hier besprochenen Review, nämlich:

* Kontrollgruppe erhielt Placebo
* Veröffentlichung in Fachzeitschriften mit Peer-Review
* Klassische Homöopathie mit individuell verordneten Einzelmitteln

Das Studienprotokoll wurde zwar nicht in einer Fachzeitschrift veröffentlicht, jedoch auf der Webseite der BHA zur Einsicht zur Verfügung gestellt <ref name="MAT_2013">Mathie RT, Legg LA, Clausen J, Davidson JRT, Lloyd SM, Ford I: Systematic review and meta-analysis of randomised, placebo controlled, trials of individualised homeopathic treatment: Study protocol, Version 1.0 (25.Januar 2013), [https://web.archive.org/web/20210704230015/http://www.britishhomeopathic.org/wp-content/uploads/2013/05/Study_protocol_for_systematic_review.pdf PDF(Archiv)]</ref>.

==Review==
Das Review wurde Ende 2014 in einem internet-basierten Journal veröffentlicht und ist allgemein zugänglich <ref name="MAT_2014"></ref>. Die Autoren bemühen sich ganz offensichtlich um äußerste Korrektheit, indem ganz exakt auf eventuelle Interessenkonflikte und auf die Finanzierung durch die homöopathische Klinik in Manchester hingewiesen wird. 

===Forschungsfrage===
Die zu klärende Forschungsfrage wird nur etwas unklar formuliert:
<blockquote> ''Wir überprüften die Hypothese, dass die Ergebnisse individualisierter homöopathischer Behandlungen unter Verwendung homöopathischer Arzneien von Placebos unterschieden werden können''<ref group="B"> Im Original: ''We tested the hypothesis that the outcome of an individualised homeopathic treatment approach using homeopathic medicines is distinguishable from that of placebos.''</ref>.</blockquote>

'''Kritik:'''
Schon in der Forschungsfrage klingt der Anspruch an, dass die Homöopathie als Ganzes überprüft werden sollte. Dies kann aber ein Review, das auf einer beschränkten Zahl an Arbeiten mit einer beschränkten Zahl an Krankheitsbildern basiert, nicht leisten. Siehe hier: [[Artikel:Systematische Reviews zur Homöopathie - Methodik#Aufstellen der Forschungsfrage|Aufstellen der Forschungsfrage]]. 

===Literaturrecherche===
Die vorab durchgeführte Literaturrecherche erbrachte 41 Arbeiten, die placebo-kontrollierte randomisierte Studien umfassten, die unter Peer-Review bis Ende 2011 veröffentlicht worden waren. Eine Aktualisierung während der Arbeiten erbrachte, dass bis Ende 2013 weitere 5 Studien veröffentlicht worden waren, die die bisherigen Einschlusskriterien erfüllten. Von diesen insgesamt 46 Einzelstudien erwiesen sich 15 als nur einfach verblindet und wurden daher ausgeschlossen. Eine Arbeit enthielt Daten von zwei Versuchsreihen, so dass 32 Studien aus 31 Veröffentlichungen in die Betrachtung eingeflossen sind.

===Studienbewertung===
Die Bewertung der in das Review eingeschlossenen Studien erfolgt, wie die Autoren angeben, nach dem von der Cochrane Collaboration vorgegebenen Schema der Bewertung des Risikos für einen Bias (siehe hier: [[Artikel:Systematische Reviews zur Homöopathie - Methodik#Bewertung der einzelnen Studien|Studienbewertung]]). Von diesen Vorgaben wird allerdings im Detail ganz erheblich abgewichen:

'''Einschluss von Pilotstudien'''<br>
Bei einem Anteil der betrachteten Arbeiten handelt es sich um sogenannte Pilotstudien. Dies sind Studien, die mit einer reduzierten Anzahl von Teilnehmern oder mit anderen Einschränkungen durchgeführt werden, um die Vorgehensweise einer nachfolgenden Hauptsudie zu erproben.<ref>Schäfer H, Berger J, Biebler KE et al.: Empfehlung für die Erstellung von Studienprotokollen (Studienplänen) für klinische Studien; Informatik ,Biometrie und Epidemiologie in Medizin und Biologie 3/ 1999, [http://gmds.de/fileadmin/user_upload/Publikationen/Empfehlungen_Veroeffentlichungen/empf_studienprotokolle.pdf Link]</ref> 
<blockquote>''Eine Pilot-Studie ist keine Haupt-Studie unter erleichterten Bedingungen. Daher können aus dem Ergebnis einer Pilot-Studie in aller Regel keine Konsequenzen für die medizinische Praxis gezogen werden.''</blockquote>
Die Cochrane Collaboration macht in ihrem sehr ausführlichen Handbuch keine Aussagen zur Behandlung von Pilotstudien in systematischen Reviews.<ref>Higgins JPT, Green S (ed.): Cochrane Handbook for Systematic Reviews of Interventions, Cochrane Bookseries (2008), [http://www.mri.gov.lk/assets/Uploads/Research/Cochrane-Hand-booktext.pdf Link]</ref> Offenbar ist dies aus ihrer Sicht so abwegig, dass sie Pilotstudien in diesem Kontext noch nicht einmal erwähnt. Die Einschlusskriterien für die Studien sahen indes nicht vor, dass Pilotstudien ausgeschlossen oder mit eingeschränktem Gewicht betrachtet werden sollten. Von den 32 im Review betrachteten Arbeiten handelt es sich in 10 Fällen um solche Pilotstudien, die per Definition nicht zum Nachweis der Wirksamkeit der verabreichten Präparate dienen können. Dennoch werden sie im weiteren Verlauf des Reviews als völlig gleichwertig behandelt.

'''Ungewöhnliche Bewertung'''<br>
Mathie et al. bewerten die Studien hinsichtlich des Risikos eines Bias. Es fällt aber auf, dass sie im Vergleich zu anderen vorliegenden Übersichtsarbeiten zu teilweise erheblich abweichenden Ergebnissen kommen.

Die [[Artikel:Münchner Kopfschmerzstudie|Münchner Kopfschmerzstudie]]<ref name=>Walach, Haeusler, Lowes, Mussbach, Schamell, Springer, Stritzl, Gaus and Haag:"Classical homeopathic treatment of chronic headaches"; Cephalalgia 1997; 17; 119-126. [https://www.researchgate.net/profile/Harald_Walach/publication/14080281_Classical_homeopathic_treatment_of_chronic_headaches/links/02bfe50e46b61d4d6f000000.pdf Link]</ref> wird von Mathie et al. extrem schlecht bewertet, sie weise ein hohes Risiko eines Bias auf. In zwei von sieben Kriterien wird sie nur in die schlechteste Kategorie eingestuft ('hohes Risiko'), in zwei weiteren nur in die mittlere (unklares Risiko), in nur vier Kategorien kam sie in die beste Kategorie (geringes Risiko). In Summe haftet somit der Studie ein hohes Risiko eines Bias an und landete im letzten Drittel der Studien.

Dies ist in völligem Widerspruch zu den Bewertungen, die diese Studie in anderen Übersichtsarbeiten erhalten hat:

* Linde (1998)<ref>Linde K, Melchart M:Randomized Controlled Trials of Individualized Homeopathy: A State-of-the-Art Review, The Journal of Alternative and Complementary Medicine 4.4 (1998): 371-388.
[https://www.ncbi.nlm.nih.gov/books/NBK67345/ Link]</ref>: 5 von 5 Punkten im Jadad Score, 6 von 6 Punkten in eigenem Schema
* Shang (2005)<ref>Shang A, Huwiler-Müntener K, Nartey L, Jüni P Döring S, Sterne JAC, Pewsner D Eger M: Are the clinical effects of homoeopathy placebo effects? Comparative study of placebo-controlled trials of homoeopathy and allopathy, Lancet 2005; 366: 726-32 [http://www.sld.cu/galerias/pdf/sitios/revsalud/are_the_clinical-effects-of-homoeopathy_placebo-effects.pdf Link] Nachlieferung der ausgewerteten Daten [http://www.ispm.unibe.ch/unibe/portal/fak_medizin/ber_vkhum/inst_smp/content/e93945/e93964/e180045/e467513/pane467545/e467549/1433.Study_characteristics_of_homoeopathy_studies_corrected_eng.pdf Link]</ref>: Hohe Qualität (zweistufige Skala)
* Dean (2004)<ref>Dean ME: The Trials of Homeopathy, KVC-Verlag, Essen, 2004, ISBN 3-93351-40-5</ref>: 91 von 100 Punkten auf Basis einer Bewertung von 23 Einzelpunkten. <br>

Leider werden bei Mathie et al. die Grundlagen für die Abwertung der Studie nicht angegeben, so dass nicht nachvollzogen werden kann, worauf sie beruht. 

Zum Vergleich sei eine andere Studie herangezogen, Jacobs(1994)<ref>Jacobs J, Jimenez M, Gloyd SS, Gale JL, Crothers D: 'Treatment of Acute Childhodd Diarrhea With Homeopathic Medicine: A Randomized Clinical Trial in Nicaragua', in: pediatrics (1994); 93: 719 - 725 [http://pediatrics.aappublications.org/content/93/5/719?variant=short&sso=1&sso_redirect_count=2&nfstatus=401&nftoken=00000000-0000-0000-0000-000000000000&nfstatusdescription=ERROR%3A%20No%20local%20token&nfstatus=401&nftoken=00000000-0000-0000-0000-000000000000&nfstatusdescription=ERROR%3a+No+local+token Link]</ref>, die in den gleichen Übersichtsarbeiten mit kleinen Abstrichen gegenüber der Kopfschmerzstudie ebenfalls sehr gut bewertet wurde. Bei Mathie erhält diese Studie zwar in einem Kriterium eine Abwertung auf ein unklares Risiko, aber dieses Kriterium - unvollständige Wiedergabe der Ergebnisse (''incomplete outcome reporting'') - wurde bei Shang und Linde nicht angewandt, bei Dean allerdings als voll erfüllt bewertet. Dass diese Studie außer in der früher nicht bewerteten Kategorie die gleichen Bewertungen erhalten hat wie bei den früheren Reviews, lässt darauf schließen, dass der Wechsel der Betrachtungsweise auf die Bewertung des Biasrisikos nicht als Ursache für die abweichende Bewertung in Frage kommt.

Ein ausführlicher Vergleich der beiden Studien und deren Bewertung findet sich hier.<ref>[http://www.beweisaufnahme-homoeopathie.de/?p=2299 Aust, N: Blogbeitrag zum Review von Mathie]</ref> Es zeigt sich, dass durchaus gleichwertige Angaben in beiden Studien unterschiedlich bewertet wurden, was durch einen möglichen Bias der Autoren des Reviews verursacht sein könnte.<br>

'''Nachträgliche Aufwertung'''<br>
Die Bewertung ergab, dass bei keiner der eingeschlossenen Studien nur mit einem geringen Risiko eines Bias zu rechnen ist. Bei zwölf Studien ergab sich ein mittleres, bei zwanzig ein hohes Risiko (darin die oben betrachtete Münchner Kopfschmerzstudie von Walach et al.). 
Dennoch wurden drei Studien zu ‚zuverlässigen Nachweisen‘ (''reliable evidence'') erklärt, die nur in nach Meinung der Autoren weniger bedeutsamen Kriterien ein mittleres Risiko zeigten. Dieser Schritt war im Studienprotokoll nicht vorgesehen und widerspricht auch den Richtlinien der Cochrane Collaboration. Diese Änderung ist demnach nachträglich, vermutlich erst nach Vorliegen der Bewertungsergebnisse beschlossen und ausgeführt worden. Auf jeden Fall hätte diese Abweichung vom Protokoll<ref name="MAT_2013"></ref> in der Arbeit erklärt werden müssen, was aber unterblieben ist.

===Extraktion der Daten===
Bei der Extraktion der Daten aus den Studien wenden Mathie et al. eine ungewöhnliche Methode an. Man verwendet nämlich nicht automatisch die von den Autoren festgelegten Bewertungskriterien (''main outcome measure''), für das sie normalerweise alle Einzelheiten berichten. Mathie et al. haben stattdessen ein eigenes Hierarchiesystem der Bewertungskriterien eingeführt, das der ICF-Klassifikation der WHO<ref group="B">ICF-Klassifikation der WHO: Internationale Klassifikation der Funktionsfähigkeit, Behinderung und Gesundheit der Weltgesundheitsorganisation</ref> folgt: 
<blockquote>''Wir werden dem WHO ICF-System folgen, gleichgültig, welches Kriterium die Autoren als ihr Hauptergebnis festgelegt haben''<ref name="MAT_2013"></ref><ref group="B"> Im Original: ''We shall follow the WHO ICF system regardless of what measure may have been identified by the investigators as their „primary outcome‟.''</ref></blockquote>
<blockquote>''Die Vorgehensweise der WHO ist eine international akzeptierte Methode, um sicherzustellen, dass ein gewähltes Ergebnis das bedeutendste für die Funktion und die Gesundheit des Patienten ist: Auf diese Weise ist die Durchgängigkeit unserer Auswahl der wichtigsten und objektivsten Resultate der Studien sichergestellt.''<ref name="MAT_2014"></ref><ref group="B">Im Original: ''The WHO approach is an internationally accepted method to ensure that a selected outcome is the most vital to the functioning and health of the patient: it thus ensured our consistent selection of the most important and objective outcome per trial.''</ref></blockquote>
Dies ist eine in dieser Form nicht vorgesehene Anwendung des ICF-Systems. Es handelt sich nämlich lediglich um ein systematisches und standardisiertes Erfassungs- und Berichtssystem, wie man auf der betreffenden Webseite feststellen kann<ref> Webseite des Deutschen instituts für Medizinische Dokumentation und Information (DIMDI): Beispieltext: [http://www.dimdi.de/dynamic/de/klassi/icf/kodesuche/onlinefassungen/icfhtml2005/component-s.htm Link]</ref>. Ähnlich wie in einem Telefonbuch die alphabetische Anordnung der Namen keine Hierarchie darstellt, ist die Gliederung des ICF keine Priorisierung und war nie als solche gedacht:
<blockquote>''Die ICF dient fach- und länderübergreifend als einheitliche und standardisierte Sprache zur Beschreibung des funktionalen Gesundheitszustandes, der Behinderung, der sozialen Beeinträchtigung und der relevanten Umgebungsfaktoren eines Menschen. Mit der ICF können die bio-psycho-sozialen Aspekte von Krankheitsfolgen unter Berücksichtigung der Kontextfaktoren systematisch erfasst werden.''<ref>Webseite des Deutschen instituts für Medizinische Dokumentation und Information (DIMDI): [http://www.dimdi.de/static/de/klassi/icf/ Link]</ref></blockquote>
Die Aufgabe des ICF ist eine international einheitliche Klassifikation zur Beschreibung eines Zustandes, nicht zur Bewertung in wichtigere oder weniger wichtige Kriterien. 

Da die Verwendung des ICF-Systems für die Festlegung von Beurteilungskriterien bei klinischen Studien nicht vorgesehen ist, haben sich die Autoren der Einzelstudien auch nicht daran orientiert. Daher ist bei diesem Vorgehen damit zu rechnen, dass es bei einigen Studien Lücken in den Daten gibt.  Die Folgen, die Mathie et al. für diesen Fall vorgesehen haben, sind:
<blockquote> ''Wenn die Originalarbeit nicht die angemessene Informationen enthält, um für das festgelegte Kriterium Mittelwert und/oder Standardabweichung zu entnehmen oder zu errechnen, werden wir das ausgewählte Hauptergebnis als „nicht abschätzbar“ bewerten.''
<ref group="B"> Im Original: ''If the original paper does not provide or inform adequate information on the selected „main outcome measure‟ to enable extraction or calculation of mean and/or SD, we shall describe the selected main outcome as „not estimable‟''</ref> <ref Name="MAT_2013"></ref></blockquote>
Was dazu führt, dass diese Arbeit nicht in die Metaanalyse eingeschlossen wird. 
<blockquote>''Nur veröffentlichte Daten kommen für die Auswertung in Frage. Die Autoren der originalen RCTs werden nicht angesprochen, um unklare oder fehlende Angaben zu Methoden oder Daten zu klären.''<ref Name="MAT_2013"></ref><ref group="B"> Im Original: ''Only published data will be eligible for analysis. Authors of the original RCT papers will not be approached for clarification on unclear or missing facets of any of their methods or results. ...''</ref></blockquote>
Effekt: Weil Mathie et al. das Hauptergebnis praktisch auf unvorhersehbare Weise festgelegt, bei den Autoren der Studien auch nicht nachgefragt haben, ob sie eventuell fehlende Daten vielleicht ergänzen könnten, sind mindestens zwei Studien wegen fehlender Daten nicht in die Metaanalyse eingeflossen: Die schon angesprochene Münchner Kopfschmerzstudie und eine Arbeit von White et al. zur homöopathischen Behandlung von Asthma bei Kindern<ref>White A, Slade P, Hunt C, Hart A, Ernst E: Individualised homeopathy as an adjunct in the treatment of childhood asthma: a randomised plcebo controlled trial. Thorax 2003; 58 (4) 317-321</ref>. Auch bei dieser Arbeit hätte es sich um eine qualitativ hochwertige Arbeit gehandelt, wie Mathie in einer Diskussion selbst einräumt:<blockquote>[An E. Ernst gerichtet, einen der Co-Autoren des fraglichen Papers:] '' Wie es sich gezeigt hat, wurden nur drei Studien alleine wegen des Kriteriums V [fehlende Daten] gesamthaft mit einem hohen Biasrisiko bewertet [...]; nur eine dieser drei Arbeiten (Ihre wie es sich ergab) wäre zu einem 'zuverlässigen Nachweis' geworden, wenn wir bereit gewesen wären, ein extrahierbares Ergebnis von geringerer klinischer Wichtigkeit zu akzeptieren.''<ref>Mathie RT: Diskussionsbeitrag auf dem Blog von Edzard Ernst [http://edzardernst.com/2014/12/homeopaty-proof-of-concept-or-proof-of-misconduct/#comment-63460 Link]</ref><ref group='B'>Im Original: ''As it worked out, only 3 of the trials with high risk of bias overall (and excluded from meta-analysis) were rated in that way solely because of domain V; only one of those 3 trials (yours, as it happened) would have become ‘reliable evidence’ if we had been prepared to accept an outcome of lesser clinical importance that was data-extractable.''</ref></blockquote>

Letztendlich hat die Bewertung der Studien dazu geführt, dass (mindestens) zwei Arbeiten mit anerkannter hoher Qualität und unvorteilhaftem Ausgang für die Homöopathie nicht in die Metaanalyse eingeflossen sind.

===Metaanalyse===
Als Ergebnis der Studienbewertung ergab sich, dass bei zehn Studien die angegebenen Daten nicht ausreichten, um eine statistische Analyse durchzuführen. Diese wurden folglich ausgesondert, so dass am Ende nur 22 Studien in die Metaanalyse und die weitere Betrachtung eingeflossen sind. Darin sind immer noch acht Pilotstudien enthalten, diese stellen mithin mehr als ein Drittel der Studien in der Metaanalyse. Die Metaanalyse umfasste folgende Krankheitsbilder:
:Fibromyalgie, leichte Gehirnerschütterungen, Ekzeme, akute Mittelohrentzündung, Menopause nach Brustkrebs, ADHS, prämenstruelles Syndrom, Ängstlichkeit, rheumatische Arthritis, Juckreiz infolge Urämie, Infektion der oberen Atemwege, Sepsis (Blutvergiftung), Durchfallerkrankungen bei Kindern, Warzen, HIV, zerebrale Bewegungsstörung bei Kindern, Migräne, chronische Müdigkeit.<br>
Es handelt sich also um Krankheitsbilder, die unterschiedlicher kaum sein können. Eine Betrachtung, ob es sinnvoll sein kann, diese alle zusammen einer gemeinsamen Auswertung zu unterziehen, wird nicht angegeben.  

Mittels eines [[Artikel:Systematische Reviews zur Homöopathie - Methodik#Funnel Plot|Funnelplots]] und eines weiteren statistischen Tests werden die Daten daraufhin geprüft, ob ein [[Artikel:Systematische Reviews zur Homöopathie - Methodik#Literaturrecherche|Publication Bias]] vorliegen könnte. Man kommt zu dem Ergebnis, dass dies nicht der Fall ist.<br>

Mittels einer Metaanalyse der verbliebenen 22 Studien findet man eine gesamte Effektstärke, die als [[Artikel:Effektstärke#Odds_Ratio_(OR)|Odds Ratio (OR)]] von 1,53 angegeben wird. Für die drei als zuverlässige Evidenz ausgewählten Studien ergibt sich sogar eine Odds Ratio von 1,98. Beide Ergebnisse sind statistisch signifikant. Damit hat dieses Review das Ziel erreicht, wie die Autoren in den Kommentaren auch unumwunden zugeben. Eine weitergehende Interpretation des Ergebnisses wird nicht gegeben.

Daneben gibt es noch einige Analysen von Untergruppen, auf die hier nicht eingegangen werden soll.

'''Was wäre wenn ...'''<br>
Mit Modellrechnungen kann man zeigen, dass die Effekte noch deutlich kleiner wären, würde man die Pilotstudien nicht berücksichtigen: OR = 1,40 (95% Vertrauensbereich = 1,07 - 1,84) anstelle OR = 1,53 (1,22 - 1,92). Würde man die beiden Studien von White und Walach in die Betrachtung mit einschließen, dann würde der Effekt fast vollständig verschwinden und die statistische Signifikanz wäre nicht mehr gegeben: OR = 1,24 (0,97 - 1,58). 

===Diskussion===
In der Diskussion weisen Mathie et al. durchaus zutreffend darauf hin, dass das zahlenmäßige Ergebnis über den bloßen Zahlenwert hinaus keine tiefere Bedeutung hat:
<blockquote>''[Wegen der Betrachtung vieler verschiedener Krankheitsbilder] hat der hier abgeschätzte Gesamteffekt keine klare zahlenmäßige oder klinische Bedeutung: Es ist ein zusammengefasstes Maß, das es erlaubt, statistische Signifikanz und eine mittlere Effektstärke zuzuordnen und bei einem Hypothesentest festzustellen, dass homöopathische Arzneien spezifische Effekte haben.''
<ref group="B">Im Original: ''Thus, a given pooled effects estimate here does not have a clear numerical meaning or relative clinical value: it is a summary measure that enables statistical significance and mean ‘effect size’ to be attributed and to be interpreted in testing an hypothesis that individually prescribed homeopathic medicines have specific effects.''</ref></blockquote>
Die Autoren betrachten es also als völlig ausreichend, positive Zahlen ermittelt zu haben, auch wenn man aus ihnen keine weiteren Rückschlüsse ziehen kann.
<blockquote>''Die Entdeckung eines kleinen aber signifikanten Gesamt-Quotenverhältnisses mit Blick darauf, dass nur ein paar wenige einzelne Studien signifikante statistische Effekte zeigten, bestätigt die Vermutung, dass die Wirkung einer individualisierten homöopathischen Verordnung möglicherweise nur schwierig im Zusammenhang mit einer placebo-kontrollierten Untersuchung festzustellen ist.''<ref group="B">Im Original: ''The detection of a small yet significant pooled OR, with the perspective that only a few single trials showed statistically significant effects, supports conjecture that the impact of an individualised homeopathic prescription may be difficult to observe readily in the context of any one particular placebocontrolled trial.''</ref></blockquote>
Die Möglichkeit, dass die Homöopathika sich einfach als unwirksam erwiesen haben könnten, wird nicht in Betracht gezogen.

===Zusammenfassung im Klartext===
Die Cochrane Collaboration, die als Autorität in Sachen systematischer Übersichtsarbeiten in der Medizin gilt (siehe Artikel zur [[Artikel:Systematische Reviews zur Homöopathie - Methodik|Review-Methodik]]), hält es für erforderlich, die Ergebnisse eines Reviews in einem gesonderten Kapitel allgemein verständlich zusammenzufassen (''plain language summary''). Ein solches Kapitel fehlt hier.
Mathie et al. schreiben in der Zusammenfassung der Arbeit lediglich: <blockquote>''Die in der Homöopathie individuell verschriebenen Mittel zeigen möglicherweise kleine spezifische Behandlungseffekte. [...] Die generell geringe oder zweifelhafte Qualität der Nachweise verlangt, diese Ergebnisse vorsichtig zu interpretieren. Weitere qualitativ hochwertige Forschung mittels RCTs [Randomisierte Kontrollierte Studien, Anm. d. Übers.] ist erforderlich, um zu einer klareren Aussage zu kommen''<ref group="B">Im Original: ''Medicines prescribed in individualised homeopathy may have small, specific treatment effects. Findings are consistent with sub-group data available in a previous ‘global’ systematic review. The low or unclear overall quality of the evidence prompts caution in interpreting the findings. New high-quality RCT research is necessary to enable more
decisive interpretation.''</ref></blockquote>

==Rezeption bei den Homöopathen==
Stellvertretend für viele Webseiten, die das Ergebnis dieses Reviews als Bestätigung ihrer Aussagen sehen, die folgenden Zitate:
<blockquote>''Es wird hier methodisch fundiert belegt, dass die bisherigen Studien zur individualisierenden Homöopathie einen Therapieeffekt aufweisen, der den sogenannten Placebo-Effekt übersteigt. Die Arbeit legt somit nahe, dass es eine spezifische Wirkung homöopathischer Arzneimittel gibt. Zwar weist diese im Vergleich zu Placebos nur einen kleinen zusätzlichen Effekt auf, dieser ist jedoch statistisch signifikant.''<ref>NN: Neue Metaanalyse: Individualisierte Homöopathie besser als Placebo, Blogbeitrag vom 8. Dezember 2014 auf ''Informationen zur Homöopathie''</ref></blockquote>
Wie erkennbar, wird die Einschränkung der Autoren des Reviews, die Ergebnisse seien wegen der minderen Qualität der Studien nur vorsichtig zu bewerten, nicht aufgenommen. Dazu wird auch eine Schlussfolgerung für die Homöopathie als Ganzes abgeleitet, was angesichts der Datengrundlage nicht gerechtfertigt erscheint.

Die Carstens-Stiftung formuliert deutlich zurückhaltender und weist auch im hier nicht wiedergegebenen Teil des Textes ausführlich auf die Problematik der mangelnden Qualität der Studien hin:
<blockquote>''Die Meta-Analyse liefert also keine sicheren Hinweise dafür, dass eine Behandlung nach Methode der klassischen Homöopathie '''bei einer bestimmten Indikation''' bessere Resultate liefert als Placebo. Sie deutet lediglich (basierend auf nur drei zuverlässigen Studien) an, dass die individuelle homöopathische Therapie '''möglicherweise''' ungleich Placebo '''sein könnte'''''. (Hervorhebungen im Original)<ref>NN: Homöopathie: Stand der klinischen Forschung (Teilaktualisierung 2014), webseite der Carl und Veronika Carstens Stiftung, abgerufen 31.3.2016</ref></blockquote>

Der DZVhÄ hingegen nicht:
<blockquote>''Eine von Robert Mathie und Kollegen Ende 2014 veröffentlichte Analyse zeigt, dass die individualisierte Homöopathie signifikant besser als Placebo ist.''<ref>NN: Studien belegen die Wirksamkeit der Homöopathie, Pressemeldung des DZVhÄ vom 17.3.2015, Homepage des DZVhÄ, abgerufen 31.März 2016</ref></blockquote>

Insgesamt überwiegt die unkritisch überinterpretierende Bewertung, es sei Mathie et al. ein Wirkungsnachweis für die Homöopathie als Ganzes gelungen.


==Kritik am Review==
Die Betrachtung des Reviews zeigte, dass in dem Review einige zumindest fragwürdige Methoden angewandt wurden. Diese bewirkten:
* Mindestens zwei sehr gute, aber für die Homöopathie negative Studien wurden ausgesondert.
* Mehr als ein Drittel der Arbeiten in der Metaanalyse sind reine Pilotstudien.
* Keine der drei als belastbare Evidenz eingestuften Studien hat ein geringes Risiko eines Bias.

Dennoch unterstützt das Studienergebnis eher die Thesen der Skeptiker zur Evidenzlage in der Homöopathie:
* Es gibt keine qualitativ guten Studien, die die Wirksamkeit homöopathischer Präparate über Placebo hinaus ergeben hätten, denn auch die besten positiven Studien zeigten ein unklares Risiko für einen Bias. Zwei dieser drei Studien sind sogar nur Pilotstudien.
* Qualitativ bessere Studien kommen zu ungünstigeren Ergebnissen für die Homöopathie, wie die ausgesonderten Arbeiten von Walach und White zeigen. Hätte man diese in die Spitzengruppe der zuverlässigen Evidenz aufgenommen, wäre das Ergebnis dort wesentlich schlechter ausgefallen als für die Gesamtheit der Studien.

Ein weiterer Gesichtspunkt ist das Ergebnis selbst. Die über alle Studien zusammenfassend festgestellte [[Artikel:Effektstärke#Odds_Ratio_(OR)|Odds Ratio]] lag bei 1,57. Diese Kennzahl lässt keine eindeutige Interpretation zu, da es sich um eine sogenannte relative Bewertung handelt; also um ein Verhältnis zwischen den Ergebnissen der Placebo- und der Homöopathie-Gruppe. Die Ergebnisse beziehen sich aber nicht auf die Anteile der geheilten Probanden pro Gruppe (Anzahl geheilt/Gesamtzahl), sondern auf die Heilungsquote (Anzahl geheilt/Anzahl nicht geheilt). Durch eine Simulationsrechnung lässt sich ein Bereich abschätzen, wie viel höher der Anteil der geheilten Patienten in der Homöopathiegruppe gegenüber der Placebogruppe war. Dies ist der Anteil der Patienten, denen die Behandlung tatsächlich nutzt: Die anderen wären entweder auch ohne homöopathisches Mittel genesen oder auch mit dem homöopathischen Mittel nicht. 

Für OR = 1,57 liegt dieser Bereich zwischen 0 und 11 % der Patienten, je nachdem wie hoch der Anteil der geheilten Patienten in der Placebogruppe war. Damit unterscheidet sich das Ergebnis der Metaanalyse nicht wesentlich von der Wahrscheinlichkeit eines sogenannten Alpha-Fehlers von 5 %, also eines Zufallsergebnisses, das so aussieht, als wäre es signifikant. Hätte man die Pilotstudien nicht einbezogen aber die beiden ausgesonderten Arbeiten von Walach und White, dann wäre das Ergebnis noch deutlich schlechter ausgefallen, nämlich bei maximal nur mehr 6 % der Patienten.

Dies stützt auch die dritte These der Skeptiker:
*Homöopathika sind insgesamt in ihrer Wirkung nicht deutlich von Placebo zu unterscheiden.

<br><br><!-------------------/ A r t i k e l t e x t ----------------------------------------------------------------------------->
{{HP-REFS|Quellen- und Literaturangaben}}<br>
{{HP-REFS-TYPE-B|Anmerkungen und Originalzitate}}
<br><br>