Wenn identische Behauptungen auf identischen Daten basieren, wie kann eine Behauptung Mist sein und andere nicht?

Es waren einmal zwei Wissenschaftler. Sie waren eineiige Zwillinge. Niemand konnte sie auseinanderhalten. Eines Tages triffst du sie auf einer Konferenz im Posterraum. Dort stehen sie nebeneinander an ihren jeweiligen Plakaten. Sie haben beides durchgelesen. Sie machen genau dieselben Angaben und werden von denselben Daten gestützt. Sie sind in jeder Hinsicht gleich… bis auf eine, kleine Sache.

Identischer Zwilling A sammelte seine Daten, nachdem er seine Hypothese formuliert hatte. Identischer Zwilling B sammelte seine Daten und formulierte dann seine Hypothese. Die Zwillinge haben die gleichen Hypothesen, die gleichen Datensätze und behaupten, dass die Daten die gleichen Ergebnisse zeigen. Aber sie sind nicht dasselbe. Die Behauptung von Twin A ist stark. Twin B ist es nicht. Wie kann das sein?

Der Unterschied ist, dass Twin A seine Hypothese als Vorhersage behandelte. Twin B hingegen sah sich zuerst die Daten an. Seine Hypothese war eine Anpassung. Es spielt keine Rolle, dass die Daten und der Wortlaut der Hypothesen identisch sind - die Beziehungen zwischen den Daten und den Hypothesen sind sehr unterschiedlich.

Vorhersagen gelten im Allgemeinen als wissenschaftlicher als Akkommodationen. Als Edmond Halley die Hypothese aufstellte, dass die Kometen von 1531, 1607 und 1682 tatsächlich dieselben Kometen waren, waren die Menschen wirklich nicht so beeindruckend. Erst als er 1758 die Rückkehr des Kometen erfolgreich vorhersagte, wurde er ernst genommen (Lipton, 2005). Dies wirft die Frage auf, warum Vorhersagen wissenschaftlicher sind als Akkommodationen. Schauen wir uns noch einmal den Unterschied zwischen unseren Zwillingen an.

Twin A stellte zuerst seine Hypothese auf (möglicherweise basierend auf früheren Daten) und entwarf dann ein Experiment, um es zu testen. Dies stellte einen Test dar, dessen Vorhersage fehlschlagen konnte. Darüber hinaus würde das Experiment es ihm ermöglichen, nach fremden Faktoren zu suchen, die sich auf die resultierenden Daten auswirken und die Prüfung der fraglichen Hypothese „durcheinander bringen“ könnten.

Twin B sammelte zuerst seine Daten und maßgeschneiderte dann eine Hypothese, um sie zu erklären. Dies wird als Ad-hoc-Hypothese bezeichnet. Hier ist ein klassisches Beispiel: Daten stehen in Konflikt mit der Ansicht, dass die fünf bekannten Planeten Kreisbahnen haben. Anstatt diese Ansicht aufzugeben, setzen Sie die Existenz von Umlaufrädern voraus, um das Modell zu speichern. Die Daten (dass sich die Abstände der bekannten Planeten in Bezug auf die Erde ändern) sind daher kein Test für Ihre neue "Epizyklus" -Hypothese. Weit gefehlt - Ihre Hypothese berücksichtigt die Daten. Ihre Hypothese ist ein Versuch, die unbequemen und lästigen Daten weg zu erklären.

Dies ist übrigens der Grund, warum einige Wissenschaftler die Ad-hoc-Hypothese abwertend als "Hinzufügen von Epizyklen" bezeichnen. Zur weiteren Veranschaulichung nehmen wir an, Twin A und Twin B wussten nichts voneinander. Sie wurden bei der Geburt getrennt und haben sich nie getroffen. Sie treffen dann auf der Konferenz aufeinander und lernen die Arbeit des anderen kennen. Wie sollen ihre Reaktionen sein? (Lipton, 2005)

Ich würde argumentieren, dass Twin B sein Selbstvertrauen stärken sollte, Twin A jedoch nicht. Zwilling B hatte keine Möglichkeit zu wissen, ob seine Daten Verwirrungen enthielten und wenig Grund zu der Annahme, dass dies nicht der Fall war. Eine „Verwirrung“ ist eine andere Variable als die hypothetische, die unberücksichtigt und unkontrolliert war, die jedoch möglicherweise die wahre Erklärung für das in den Daten beobachtete Muster darstellt. Es ist einfacher, mit Beispielen zu veranschaulichen. So…

Beispiel 1: Nach Überprüfung der Ergebnisse gelangten die Forscher zu dem Schluss, dass Kinder, die mit eingeschaltetem Licht schlafen, eher kurzsichtig werden. Beispiel 2: Eine alte Studie ergab, dass Menschen mit Asbest im Trinkwasser eine erhöhte Rate an Lungenkrebs haben. Die Forscher gingen davon aus, dass das Trinken von Asbest auch Lungenkrebs verursachen kann. Beispiel 3: Untersuchungen haben ergeben, dass mäßige Trinker insgesamt gesünder sind als Menschen mit schwerem Alkoholkonsum, was zu Forschern führte, die argumentierten, dass mäßiges Trinken gesundheitliche Vorteile haben könnte.

Pause. Können Sie an irgendwelche der vorhandenen Durcheinander denken? Im ersten Fall haben kurzsichtige Eltern eher kurzsichtige Kinder. Es ist auch wahrscheinlicher, dass sie das Licht anlassen. Im zweiten Fall haben arme Menschen eher Asbest im Wasser und rauchen auch häufiger. (Dies ist wie das alte Beispiel "Eis verursacht Verbrechen" - es ist das heiße Wetter.) Das dritte Beispiel ist in letzter Zeit in den Nachrichten erschienen. Untersuchungen, bei denen mäßige Trinker mit Menschen mit schwachen Trinkern verglichen werden, sind verwechselt mit der Tatsache, dass Menschen frei trinken können, weil sie gesund sind, im Vergleich zu Menschen, die aufgrund bestehender gesundheitlicher Probleme nicht trinken können. (Neuere Forschungen, die sich mit solchen Verwirrungen befassen, haben ergeben, dass keine Menge Alkohol jemals gesund ist.)

Die Kernfrage hat damit zu tun, was eine gute kausale Folgerung ausmacht. Interessanterweise ist dies eine falsche Aussage, obwohl es mittlerweile allgemein bekannt ist, dass „Korrelation keine Kausalität bedeutet“! Korrelation ist eine Analysemethode, keine experimentelle Methode. Für die kausale Schlussfolgerung ist das Design von Bedeutung, ob es experimentell oder passiv-beobachtend ist, und nicht, ob die Ergebnisse mit einer ANOVA oder einer Regression (die im Wesentlichen sowieso dasselbe sind) analysiert werden.

Ein echtes Experiment erfordert drei Dinge: 1) zufällige Zuordnung von Probanden zu Ebenen; 2) Manipulation der Ebenen von mindestens einer unabhängigen Variablen (wenn Sie eine Variable nicht manipulieren, können Sie den Ebenen keine zufälligen Themen zuweisen); und 3) Kontrolle von Fremdvariablen (Tabachnick & Fidell, 2019). Dies hilft Ihnen bei der Kontrolle von Verwechslungen.

Sie können ein echtes Experiment durchführen und die Ergebnisse mit einer Regression (mit Korrelationen) analysieren. Es ist nicht die Korrelation, die das Problem darstellt. Zurück zu unseren Zwillingen, dies ist das Hauptproblem bei Bs Arbeit: Wenn Ihre Hypothese selbst eine Akkommodation ist, kontrollieren Sie nicht auf Verwirrung. Sie haben wenig Grund anzunehmen, dass Sie nicht nur erzählen, eine gute Geschichte weben und sich dabei etwas vormachen. Im Allgemeinen kann nicht gesagt werden, dass die Daten, die eine Hypothese generiert haben, einen Test für diese Hypothese darstellen.

Verweise

Lipton, P. (2005). Testhypothesen: Vorhersage und Vorurteile. Science, Bd. 307, 219–221.

Tabachnick, B. & amp; Fidell, L. (2019). Verwenden multivariater Statistiken. NY: Pearson.