Studienziele

Metaanalysen können andere Ergebnisse hervorbringen als grosse kontrollierte Studien, die sich demselben Thema gewidmet haben - möglicherweise dadurch bedingt, dass in den Metaanalysen häufig auch kleine, methodologisch schlechtere Studien miteinbezogen werden. Anhand von Metaanalysen wurde untersucht, ob es bei den Studienresultaten Unterschiede gibt, wenn man die Studien nach Grösse und Qualität auftrennt und miteinander vergleicht.

Methoden

Als Grundlage dienten 14 Metaanalysen aus verschiedenen Gebieten. Sie umfassten insgesamt 190 kontrollierte Studien mit über 136'000 Personen. Studien mit mindestens 1'000 teilnehmenden Personen wurden als gross (n=23), solche mit weniger als 1'000 Personen als klein (n=167) bezeichnet. Als wichtige Kriterien für die Qualität der Studien wurde beurteilt, wie die Randomisierungsliste erstellt ("Allocation sequence generation ") und wie sie geheimgehalten wurde ("Allocation concealment"), wie das Doppelblindschema gewährleistet wurde ("Double blinding") und wie die Studienabbrüche dokumentiert wurden ("Follow-up").

Ergebnisse

Bei 81 Studien (43%) wurde das Erstellen der Randomisierungsliste als adäquat beurteilt, bei 68 (36%) ihre Geheimhaltung, bei 103 (54%) das Doppelblindschema und bei 133 (70%) das "Follow-up". Wenn ein Score angewendet wurde, mussten 3 von den grossen (11%) und 58 von den kleinen (36%) als Studien geringer Qualität bezeichnet werden. Verglichen mit Studien von guter Qualität wurde der Effekt einer Intervention in Studien von geringer Qualität um 40 bis 50% überschätzt. Insbesondere kleine Studien von geringer Qualität schätzten den Effekt einer Intervention um rund 50% höher ein als grosse Studien; bei den qualitativ guten kleinen Studien war dieser Unterschied nicht feststellbar. Das Erstellen der Randomisierungsliste, ihre Geheimhaltung und das Doppelblind- Verfahren hatten jedes für sich einen deutlichen Einfluss auf den gefundenen Effekt einer Intervention, nicht aber das "Follow-up".

Schlussfolgerungen.

Wenn Randomisierungslisten nicht mit adäquaten Methoden erstellt und geheimgehalten werden oder das Doppelblind- Verfahren ungeeignet ist, wird vor allem in kleinen Studien der Nutzen einer Intervention überschätzt. Qualitätsunterschiede in dieser Hinsicht könnten einen Teil der Diskrepanzen zwischen Resultaten grosser und kleiner randomisierter Studien in Metaanalysen erklären. (UM)

Diese Arbeit bestätigt einmal mehr die Wichtigkeit des «Allocation concealment» für die Qualität randomisierter Studien: die Zuordnung der Patientinnen und Patienten zu den Behandlungsgruppen sollte blind von einer unabhängigen Stelle durchgeführt werden. Dies ist im Gegensatz zur Verblindung der Kranken und betreuenden Ärztinnen und Ärzte immer möglich. Ein Beispiel: in Studien, die eine chirurgische mit einer konservativen Intervention vergleichen, kann nach erfolgter Zuordnung nicht verblindet werden, die Zuordnung selbst kann und soll jedoch ohne Kenntnis der Patientencharakteristika durchgeführt werden. «Blinding» und «Allocation concealment» müssen deshalb klar auseinandergehalten werden.1 Es ist seit langem bekannt, dass kleine Studien im Mittel mit ausgeprägteren Behandlungseffekten aufwarten als grosse, multizentrische Trials. Die Ergebnisse der vorliegenden Studie zeigen nun, dass dieser Unterschied zu einem guten Teil durch die oft mangelhafte Qualität kleiner Studien bedingt ist. Die methodologische Qualität könnte somit wichtiger sein als der oft zitierte Publikationsbias! Wie auch immer: die Durchführung von (zu) kleinen, methodologisch schlechten klinischen Studien ist ebenso verwerflich wie das Nichtpublizieren von «negativen» Studien.

Matthias Egger

1 Juni P, Altman DG, Egger M. Assessing the quality of controlled clinical trials. BMJ 2001 (7. Juli); 323: 42-6

Standpunkte und Meinungen

• Es gibt zu diesem Artikel keine Leserkommentare.