Statistisch signifikante Resultate in Abstracts: wenig glaubhaft!
- Zusammenfassung: Renato L. Galeazzi
- infomed screen Jahrgang 10 (2006)
, Nummer 10
Publikationsdatum: 1. Oktober 2006 - PDF-Download dieses Artikels (automatisch generiert)
Es wird allgemein angenommen, dass vor allem Studien mit positiven Resultaten, d.h. mit einem p-Wert unter 0,05, publiziert werden. Da aber in den meisten Studien nicht nur statistisch signifikante Resultate erhoben werden und das Abstract der am meisten gelesene Teil einer Publikation ist, hat sich der Autor hier zum Ziel gesetzt, die Glaubwürdigkeit der im Abstract publizierten p-Werte zu untersuchen.
Er untersuchte 260 Abstracts von randomisiert-kontrollierten Studien und je 130 von Kohorten-Studien und Fall-Kontroll- Studien. Er fand signifikante Resultate in 70%, bzw. 84% und 84%. Das sind viel mehr als bei einer ausgeglichenen Hypothese erwartet würde. Besonders interessant war, dass in 5 Studien ein p-Wert unter 0,06 aber über 0,05 gefunden wurde und in 46 ein p-Wert unter 0,05 aber über 0,04. Von den letzteren konnten 23 nachkontrolliert werden, wobei nur 8 sicher unter 0,05 zu liegen schienen. Bei den Kohorten- und Fall-Kontroll-Studien war die Situation noch einseitiger: In allen 17 Studien, in denen sich ein p- Wert über 0,04, aber unter 0,06 fand, betrug der p-Wert weniger als 0,05 und war damit signifikant. In drei Fällen wurden die Vertrauensintervalle mit der Grenze 1,0 angegeben, was als signifikant angesehen wurde, obwohl zum Beispiel in einem Fall dieses Resultat das einzig «signfikante» war von sechs Vergleichen.
Es ist gefährlich, wenn man sich beim «Scannen» von Journals auf die Abstracts verlässt. Es scheint, dass hier noch mehr beschönigt und irgendwelche signifikanten Resultate als Blickfang verwendet werden als im nachfolgenden Volltext. Der häufigste Fehler dürfte wahrscheinlich die Unzahl von möglichen Vergleichen sein, die in Forschungsprotokollen jeweils vorgeschlagen werden. Selten liest man später von durchgeführten Korrekturen, obwohl diese absolut nötig sind, denn die offizielle Signifikanzgrenze ist nur für eine einmalige Untersuchung definiert. Sobald mehr als ein Vergleich gemacht wird, muss die Grenze viel tiefer gesetzt werden. Bei nicht Befolgen dieser Regel wird viel zu häufig etwas als evidenzbasiert angegeben, was diesen Namen in Wirklichkeit gar nicht verdient.
Zusammengefasst von Renato L. Galeazzi
Standpunkte und Meinungen
- Es gibt zu diesem Artikel keine Leserkommentare.
Copyright © 2025 Infomed-Verlags-AG
-
Jahrgang 2025
Jahrgang 2024
Jahrgang 2023
Jahrgang 2022
Jahrgang 2021
Jahrgang 2020
Jahrgang 2019
Jahrgang 2018
Jahrgang 2017
Jahrgang 2016
Jahrgang 2015
Jahrgang 2014
Jahrgang 2013
Jahrgang 2012
Jahrgang 2011
Jahrgang 2010
Jahrgang 2009
Jahrgang 2008
Jahrgang 2007
Jahrgang 2006
Jahrgang 2005
Jahrgang 2004
Jahrgang 2003
Jahrgang 2002
Jahrgang 2001
Jahrgang 2000
Jahrgang 1999
Jahrgang 1998
Jahrgang 1997