Lesebeispiel Teil II - Meta-Analysen in der Hattie-Studie

Ein Faktor bei Hattie setzt sich aus unterschiedlichen Meta-Analysen zusammen. Jede Meta-Analyse wiederum setzt sich aus mehreren Primärstudien zusammen (s. Abbildung 3).

Im Teil I (Berechnung der Effektstärken in der Hattie-Studie - Lesebeispiel Teil I) zeigten wir anhand eines fiktiven Lesebeispiels, wie John Hattie die Effektstärke (d) der Faktoren durch Mittelwertbildung aus mehreren Meta-Analysen berechnet. Wir gehen nunmehr einen Schritt in die Tiefe und schauen uns an, wie die für die Berechnung der Effektstärke relevanten Daten in die einzelnen Meta-Analysen gelangen.



Auf dieser Ebene gelangt man zu den ursprünglichen Studien, den sogenannten Primärstudien. Deren Effektstärken sind teils in den zugehörigen Berichten ausgewiesen, teils müssen sie von denjenigen, die eine Meta-Analyse vornehmen, nachberechnet werden. Betrachten wir als Beispiel die fiktive Meta-Analyse 4, welche in Abbildung 1 unter der Lupe zu sehen ist, in Abbildung 2 genauer. Sie umfasst fünf Primärstudien. Diese Anzahl ist für die Veranschaulichung willkürlich gewählt. In Lernen sichtbar machen (Hattie, 2015) variiert die Zahl der Primärstudien, welche in eine einzelne Meta-Analyse einfliessen, von zwei bis zu mehreren hundert.



Schaut man sich die fünf Primärstudien an, ergibt sich ein differenziertes Bild mit unterschiedlichen d-Werten. Jede Säule in Abbildung 2 steht für eine Primärstudie, welche in die Berechnung der Effektstärke der Meta-Analyse 4 eingeflossen ist. Diese Berechnung kann je nach Qualität der Daten aus den Primärstudien auf unterschiedliche Weise erfolgen (vgl. Wagner & Weiß, 2014).
Es ist erforderlich, genau zu analysieren, was in den Primärstudien unter welchen Bedingungen untersucht wurde. Eine wichtige Rolle dabei spielt, inwiefern sich relevante Ausseneinflüsse (Moderatorvariablen) zwischen den Primärstudien unterscheiden, z. B. das Alter der beteiligen Schülerinnen und Schüler oder ihr sozioökonomischer Hintergrund.
Solche in den einzelnen Meta-Analysen enthaltenen Differenzen sind bei den Effektstärken der Hattie-Faktoren auf den ersten Blick nicht erkennbar. Einen Anhaltspunkt gibt der „Standardfehler“, der für jeden Faktor ausgewiesen ist (vgl. Faktoren-Tabelle).



In Abbildung 3 ist das Vorgehen am Beispiel der oben aufgeführten Meta-Analyse 4 zusammengefasst: In die Meta-Analyse 4 fliessen fünf Primärstudien ein. Meta-Analyse 4 wird mit drei weiteren Meta-Analysen zusammengefasst, und daraus wird die Effektstärke des Faktors (hier: d = 0,45) errechnet.

Quellen

• Hattie, John A. C. (2015). Lernen sichtbar machen. Überarbeitete deutschsprachige Ausgabe von „Visible learning“, besorgt von Wolfgang Beywl und Klaus Zierer (3. Aufl.). Baltmannsweiler: Schneider Hohengehren.
• Wagner, Michael & Weiß, Bernd (2014). Meta-Analyse. In: Baur, Nina & Blasius, Jörg (Hg.): Handbuch Methoden der empirischen Sozialforschung. Springer Fachmedien Wiesbaden, S. 1117-1126.