Studien, die statistisch signifikante Ergebnisse berichten, werden wahrscheinlicher publiziert, während Ergebnisse, mit welchen die Nullhypothese beibehalten wird, unpubliziert bleiben. Dieses Problem ist als Publication Bias bekannt. Da der Erfolg von Wissenschaftlern oft anhand der Anzahl ihrer Publikationen gemessen wird, werden Strategien angewandt, die die Wahrscheinlichkeit auf die Publikation einer Studie maximieren. Solche Strategien sind unter dem Begriff „Questionable Research Practices“ (QRPs) zusammengefasst und reichen von harmlosem Verhalten bis hin zu Betrug. Sowohl Publication Bias als auch QRPs bedrohen die Validität von empirischer Wissenschaft im Allgemeinen und von Meta-Analysen im Speziellen. Die beiden rezent entwickelten Methoden p-Curve und p-Uniform wollen mit diesen Problemen umgehen, indem sie nur statistisch signifikante p-Werte einbeziehen. In dieser Studie wurden beide Methoden auf reale Daten angewendet. Randomisierte, Placebo-kontrollierte klinische Studien mit individualisierter homöopathischer Behandlung wurden sowohl mittels p-Curve und p-Uniform als auch konventioneller Meta-Analyse untersucht. Die konventionelle Meta-Analyse ergab einen kleinen Effekt zugunsten der Homöopathie, während kein Effekt mit p-Wert basierten Methoden gefunden wurde. Kein Publication Bias wurde entdeckt, jedoch scheinen QRPs die Ergebnisse der konventionellen Meta-Analyse zu verzerren. Auf der Journalzugehörigkeit basierende Subsetanalysen zeigten verzerrende Charakteristiken von Studien, die in homöopathienahen Journals publiziert wurden. Bei der konventionallen Meta-Analyse führten diese zu einer signifikanten Überschätzung der Effektstärke. Anhand dieser Ergebnisse können zwei Schlussfolgerungen gezogen werden. Einerseits erbrachten p-Wert basierte Methoden miteinander konsistente Ergebnisse und sind eine relevante Alternative zu konventionellen Meta-Analysen. Andererseits gibt es keine Hinweise, dass individualisierte homöopathische Behandlungen einen über den Placeboeffekt hinausgehenden Effekt haben. Beobachtete Symptomreduktionen oder gesteigertes Wohlbefinden sind höchstwahrscheinlich dem Placeboeffekt geschuldet.

Studies reporting statistically significant results are more likely to get published while most null-hypothesis-confirming results remain unpublished. This problem is known as publication bias. Because the success of researchers is often measured by their number of publications, various strategies to maximize the chance of publishing a study are regularly applied. Such strategies are subsumed under the term “questionable research practices” (QRPs) and range from harmless behaviours to outright fraud. Both publication bias and QRPs threaten the validity of empirical research in general and meta-analyses in particular. Two recently developed methods, p-curve and p-uniform, aim to deal with these problems by only considering statistically significant p-values. Here, both methods were applied on real data. Randomized placebo-controlled clinical trials on individualized homeopathic treatments were subjected to p-curve and p-uniform as well as conventional meta-analysis. Conventional meta-analysis suggests a small effect in favour of homeopathy, while no effect was found with p-value-based methods. No publication bias was detected, however, questionable research practices seem to distort findings by conventional meta-analysis. Subset analysis based on journal affiliation with homeopathy revealed distorting characteristics of studies published in papers affiliated with homeopathy, leading to significant effect size overestimation when conducting conventional meta-analysis. From these results, two conclusions can be drawn. On the one hand, p-value based methods yielded consistent results with each other and are relevant alternatives to conventional meta-analyses. On the other hand, there is no evidence that individualized homeopathic treatments have an effect beyond the placebo effect. Observed symptom reduction in or increased well-being of patients are most likely due to a placebo effect.