Die Tricks mit den Studien

Am Beispiel „Ivermectin“: Klinischen Studien lesen und einordnen.

Folgendes hatte sich ereignet: Die Chronik­redaktion von Fagnebenan fragnebenan.com ist ein soziales Netzwerk für vor allem Wiener Nachbarschaften veröffentlichte am 24. März einen Beitrag zu den derzeit gültigen Coronaregeln in Wien. Wenig überraschend folgte eine Impfdiskussion. Dabei fiel der oben schon zitierte Satz: „Man hätte wohl viele Leben retten können mit Ivermectin, (…) Statt dessen hat man sich auf eine fragwürdige mRNA Impfung versteift“.

Ich wandte ein, dass mittels medizinischer Studien die Wirksamkeit der Impfstoffe nachgewiesen sei und stellte die Frage, ob für Ivermectin ebensolche Studien vorgelegt werden könnten. Als Antwort bekam ich einen Link. Dieser verwies auf den Blog des mir bis dahin nicht geläufigen „Dr. Peter F. Mayer“. In dem Artikel, schreibt ein als Gastautor auftretender Herr Holz: „Ivermectin: Die Wahrheit kommt ans Licht.“

Die Wahrheit also?

Bemerkenswert ist schon der Titel. Wissenschaftler, welche „die Wahrheit“ verkünden, sind mit Vorsicht zu genießen. „Wissenschaft schafft Wissen und keine endgültigen Wahrheiten.“ →Richtig falsch gelogen

Diese „Wahrheit“ stellt sich dann als von einem britischen Youtuber inspirierte These heraus: Ivermectin sei in der Prophylaxe viel besser als die Impfungen, würde aber diskreditiert, weil sich mit letzteren mehr Geld machen ließe.

Die Itajaí-Studie

Als Beleg für seine These wird eine Ivermectin-Studie aus Brasilien angeführt. Er schreibt dazu: „handelt es sich um eine Untersuchung, die ‘gut gemacht’ ist. Sie sei sehr lesbar, man verstehe den Inhalt einfach.“ Am Ende verlinkt er die Studie dann auch mit den Worten des Youtubers: „Lassen Sie nicht andere Leute für sich denken, gehen (sic!) Sie auf die Studie und lesen Sie die Studie.“

Form der Veröffentlichung

Wer dem solcherart angepriesenen Link folgt, landet auf einer Seite des „Cureus Journal of Medical Science“. Es handelt sich dabei kurz gesagt um ein Online-Portal, bei dem medizinische Fach­publikationen sehr rasch publiziert und von jedermensch begutachtet werden können. Im Gegensatz zu herkömmlichen medizinischen Journalen wirken sich die Reviews aber nicht auf die Publikation aus. Dass heißt, die Autoren der Studie nehmen allfällige Kritik von Fachkollegen nicht zum Anlass, die Studie zu überarbeiten und korrigiert zu veröffentlichen, sondern die Kritik ist als Kommentar am Ende sichtbar. Die Studie selbst verbleibt unkorrigiert am Server für alle sichtbar - mit allen Fehlern, die die Reviewer gefunden haben. „Peer-Reviewed“ bedeutet bei diesem Journal folglich, dass man sich die Studie und die Kommentare darunter alle durchlesen muss, um von dem Review-Prozesse zu profitieren. Ein enormer Aufwand selbst für geübte Wissenschaftler.

Alles in allem ist die Vorgangsweise des Cureus auch ein unüblicher Prozess, der für den niedrigen Impact-Faktor Journal Impact Factor - eine bibliometrische Maßzahl, welche den Einflusses des jeweiligen wissen­schaftlichen Journals wiedergibt. „Cureus“ hat einen Impact Faktor von 1, hoch­rangige medizinische Journal wie z.B. „Lancet“ und „New England Journal of Medicine“ haben 79 beziehungsweise 91 Impact-Punkten. mitverantwortlich sein dürfte. Wir dürfen also davon ausgehen, dass zahlreiche hochwertigere Journale diese Studie zuvor abgelehnt hatten. Wissenschaftler versuchen immer zuerst, in einem Journal mit möglichst hohem Impact-Faktor zu publizieren, um die eigene Reputation und Karrierechancen zu verbessern.

Studieninhalte

Einem im Lesen solcher Studien bewanderten Menschen fallen dann relativ rasch auch eine Reihe von Schwachpunkten in der konkreten Studie auf:

• Die Auswahl der Zuteilung zu einer der Gruppen, deren Resultate verglichen werden sollen, erfolgte nicht randomisiert.
  Der Standard, um die Wirksamkeit eines Medikaments festzulegen, wäre eine randomisierte (im Idealfall doppelt verblindete, placebo-kontrollierte) Studie, bei der die Patienten per Zufallsprinzip einer Gruppe Meist sind dies zwei Gruppen. Die einen werden mit dem zu überprüfenden Medikament behandelt, die anderen mit einem Placebo oder einem alternativen Medikament. zugeteilt werden. Bei der gegenständlichen Studie haben es sich die Patienten jedoch selbst ausgesucht, ob sie behandelt werden oder nicht, beziehungsweise hat der behandelnde Arzt es ihnen nahegelegt oder davon abgeraten. Bei einer solchen Vorgangsweise fließen soviele subjektive Entscheidungen von Arzt und Patient ein, dass die erhobenen Ergebnisse verzerrt sein müssen.
• Die Zahlen sind höchst ungewöhnlich und deuten darauf hin, dass der Behandlungsversuch in einer Großstadt (223.000 Einwohner) mit einem Medikament, das in der Indikation „COVID-19 Prophylaxe“ nicht zugelassen ist, nachträglich als Studie verwertet wurde. Für die korrekte Durchführung einer Studie braucht es enorm viele Ressourcen an Personal, insbesondere an Ärzten, die damals im Sommer 2020 in Brasilien aber alle mit der Behandlung von COVID-19 Patienten bereits überlastet waren. Die Stadt Itajaí, in der die Studie durchgeführt wurde, hatte auch eine besonders hohe Zahl an Infektionen und Todesfällen, Health Feedback, „Ivermectin study in the city of Itajaí contains several methodological weaknesses, resulting in questionable conclusions“ was Zweifel an der Effektivität der Ivermectin-Behandlung aufkommen lässt.
• Die Studienautoren selbst geben zu, dass sie nicht genau nachvollziehen konnten, ob die Patienten, die verschriebenen Medikamente tatsächlich und wenn ja in der korrekten Dosierung genommen hatten. Auch konnten sie nicht ausschließen, dass Patienten, welche Ivermectin nicht verschrieben bekommen haben, sich die Medikamente dann nicht doch auf anderem Weg besorgt haben. Discussion, S13 Somit ergibt sich eine sehr ungenaue Datengrundlage.

Die Tricks

Mit Studien lässt sich scheint’s alles belegen – manche schließen daraus, dass Studien „eh nix bringen“ außer Verwirrung. Dem ist natürlich nicht so und es ist mit entsprechendem Aufwand auch für Laien durchaus möglich, den Durchblick im Wirrwarr sich scheinbar widersprechender Studien zu behalten. Leider sind es nicht nur die viel gescholtenen „Schwurbler“, welche mittels Studien tricksen, sondern auch etablierte Medien instrumentalisieren Studien, um einen bestimmten Spin zu stützen. Im Folgenden zwei exemplarische Beispiele.

Die unseriösen Tricks der Ivermectin-Anhänger

Der Trick des Herrn Holz besteht, wie wir oben gezeigt haben, darin, seine These mit einem Youtube-Video zu „belegen“, welches sich wiederum auf eine höchst fragwürdige Studie beruft. Dabei behauptet er frei erfunden, diese Studie sei „riesig“, „breit“ und habe eine „hohe Signifikanz“. Nichts davon ist richtig. Die hohe Zahl an Probanden ist – siehe oben – eher verdächtig. Die behauptete „Signifikanz“ somit durch nichts belegt. Das was Laien noch überprüfen könnten, ob die Zahlen, die er als Beleg für seine Thesen zitiert, mit denen in der Studie übereinstimmen, gibt er auch korrekt wieder. Auch das Journal, welches diese Studie veröffentlicht hat, ist trotz der geringen Impact-Punkte kein prinzipiell schlechtes. Das, was nur mit einschlägigem Hintergrundwissen zu erkennen ist, dass diese Form der Veröffentlichung auf schwere Mängel in der Studie hindeutet, das verschweigt er uns beabsichtigt oder weil er es selber auch nicht besser weiß.

Auch der Aufruf , die Studie bitte doch selber zu lesen, ist alles andere als seriös. Es ist von vornherein klar, dass Laien sich in einem solchen Dokument eher nicht zurecht finden werden. So ist offensichtlich dem konkreten fragnebenan-User entgangen, dass die Autoren der von ihm zitierten Studie höchstselbst, Ivermectin allenfalls als Ergänzung aber eben nicht als Ersatz für Impfstoffe betrachten. „we recommend that ivermectin be considered as a preventive strategy, (…) not as a substitute for COVID-19 vaccines“ (Final discussion, S14) Also selbst die von ihm als Beleg vorgewiesene Studie widerspricht dem, was er damit beweisen wollte. Das passiert, wenn mensch irgendwelchen „Querdenkern“ kritiklos einfach alles glaubt.

Die halbseriösen Tricks der Etablierten

Zum Vergleich eine andere Studie: Kürzlich ist im „New England Journal of Medicine“ die bisher größte randomisierte, doppel-verblindete Studie über die Effektivität von Ivermectin erschienen. Dabei zeigte sich, dass Ivermectin bei der Behandlung von COVID-19 unwirksam ist. Wer die mediale Berichterstattung dazu nicht sehr genau studiert, muss übersehen, dass es sich bei den untersuchten Wirkungen um unterschiedliche handelt: Die mangelhafte, in Itajaí durchgeführte und im „Cureus“-Journal veröffentlichte Studie untersuchte die präventive Gabe von Ivermectin, wohingegen die vor kurzem in „New England Journal of Medicine“ veröffentlichte Studie die Behandlung einer bereits erkrankten Person untersuchte. Das sind unterschiedliche Wirkungen, die da untersucht wurden. ⊕ Fakt ist, dass die Behandlung einer an COVID-19 erkrankten Person mit Ivermectin nach derzeitigem Wissenstand nicht sinnvoll ist und auf Grund der hohen Studienqualität, wird sich dieser Erkenntnisstand auch eher nicht mehr verändern.

Wenn nun Medien im Zusammenhang mit der neuen Studie verbreiten, das Medikament Ivermectin helfe definitiv nicht gegen COVID-19, so ist dies zwar korrekt. Unterschlagen wird dabei aber, dass eine allfällige präventive Wirkung durch diese neue Studie gar nicht untersucht wurde. Daraus folgend sind Twitternachrichten wie „Damit sollte dieses Thema mal abgehakt sein.“ oder „Kein Effekt des Medikamentes!“ der Komplexität des Themas nicht wirklich angemessen und werden somit zu Recht als irreführend empfunden. →Studie: Ivermectin unwirksam bei Covid-19 science.orf.at, 2. April 2022 Der Versuch, die zweifelsohne unseriösen Praktiken der Ivermectin-Gläubigen mit halbseriösen Kommunikations­tricks zu kontern, muss scheitern.

Checkliste Studienbewertung

Um solcherart nicht an der Nase herumgeführt zu werden, kannst du folgendes tun, wenn dir eine Studie als Beleg für eine These vorgelegt wird:

1. Schau dir die Studie an und beantworte für dich ehrlich, ob du diese sinnerfassend lesen und damit verstehen konntest. Ein gutes Kriterium ist auch, ob du den Text jemand anders vollständig und plausibel erklären könntest. Insbesondere ist wichtig, sich zu vergewissern, nicht nur jene Teile, welche die erhoffte Bestätigung erbringen sollen zu verstehen, sondern auch alle anderen Passagen.
2. Wenn dir ersteres nicht gelingt, suche dir einen im Lesen wissenschaftlicher Fachtexte – idealer Weise vom jeweiligen Fach – bewanderten Menschen deines Vertrauens und bitte ihn dir den Studientext zu erklären und einzuordnen. Wissenschaftsjournalisten wären an sich die Idealbesetzung dafür - mensch muss halt nur einmal einen finden, dem er auch vertrauen mag.
3. Videos und Podcasts sind als Quellen grundsätzlich ungeeignet – nicht umsonst werden Studien schriftlich verfasst und publiziert.
4. Überprüfe die Primärquelle auf deren Journal Impact Factor (JIF). Je mehr Impact-Punkte ein Journal hat, um so relevanter ist die Studien­aussage. Journale mit wenig Impact-Punkten sind nicht per se „schlecht“. Eine gut gemachte, aussage­kräftige Studie zu einem wenig relevanten Thema wird von einem Journal mit hohem Impact vielleicht nur deswegen abgelehnt, weil ihnen das Thema nicht interessant genug war. Die Studie kann trotzdem fachlich gut sein. (Das können wir im gegen­ständlichen Fall aber ausschließen - alles was mit COVID-19 zu tun hat ist natürlich hochrelevant.) Gute Journale geben diesen JIF auf ihrer Homepage an. Fehlt diese Angabe, würden wir von einem eher niedrigen JIF ausgehen. Dann lässt sich dieser aber oft noch über Seiten wie scopus.com recherchieren.
5. Achte darauf, was der Autor sonst so verfasst: Schlecht oder gar nicht recherchierte Nachrichten lassen sich sehr viel schneller und billiger verbreiten als gut recherchierte, ausge­wogene Beiträge. Der Verbreitung föderlich ist immer auch ein aufregendendes Thema, das dem Leser vermeintlich von den Mainstream-Medien vorenthalten wird. Die Autoren bekommen für Verschwörungs­themen schneller und leichter die erhoffte Aufmerksamkeit, was für diese ein permanente Verlockung darstellt. Nicht alle können dem widerstehen.

Synthese und Studienüberblick

Folgend nochmals die zwei im Artikel hier erwähnten Studien im Überblick.

Wir haben gesehen, dass Studien, welche eigentlich gemacht werden, um das Wissen der Menschheit zu vergrößern und daraus nützliche Erkenntnisse zu ziehen, im gesellschaftlichen Diskurs vor allem verwendet werden, um der eigenen Meinung den Anschein von „objektiv richtig“ zu geben. Dass dies teilweise auch von Medien, welche sich gerne als seriös bezeichnen, so gehandhabt wird, ist unerfreulich. Es wäre allerdings ein fataler Fehler, blindlings all jenen, welche sich als „Anti-Mainstream“ gebärden, eine auch nur irgendwie höhere Glaub­würdigkeit zukommen zu lassen.

Die Quellen, aus denen wir uns informieren, sollten wir sehr sorgsam auswählen, weil auch diese laufend kritisch hinterfragt werden müssen. Das bedeutet letztendlich viel Arbeit, die eben nur bei sorgfältiger Vorauswahl noch machbar ist.

Quellen

Gilmar Reis, M.D., Ph.D., Eduardo A.S.M. Silva, M.D., Ph.D., Daniela C.M. Silva, M.D., Ph.D., Lehana Thabane, Ph.D., Aline C. Milagres, R.N., Thiago S. Ferreira, M.D., Castilho V.Q. dos Santos, Vitoria H.S. Campos, Ana M.R. Nogueira, M.D., Ana P.F.G. de Almeida, M.D., Eduardo D. Callegari, M.D., Adhemar D.F. Neto, M.D., Ph.D., et al., for the TOGETHER Investigators. Effect of Early Treatment with Ivermectin among Patients with Covid-19 🌐

Waldo Holz. tkp.at. Ivermectin: Die Wahrheit kommt ans Licht 🌐

Erratum

In einer älteren Version dieses Artikel, hatten wir die Seite „www.citefactor.org“ zur Überprüfung des Impact-Factors wissenschaftlicher Journale empfohlen. Diese ist allerdings selbst höchst umstritten. →The story of fake impact factor companies and how we detected them Wir haben sie daher durch die seriösere, von der Med. Uni Wien auch verwendet https://www.scopus.com/sources ersetzt beziehungsweise in der Tabelle ergänzt. Derzeit (September 2022) wird das Cureus Journal übrigens auch von „www.citefactor.org“ nicht mehr gelistet.