Interpretationshilfe zum Robustheitsindex

Robustheitsindex

Kennzahl zu jedem der von John Hattie ausgewiesenen Einflussfaktoren (2023 neu eingeführt). Auf einer ganzzahligen Skala von 1 (sehr volatil/veränderlich) bis 5 (sehr robust/dauerhaft) ist ablesbar, wie stabil die ausgewiesene Effektstärke über die kommenden Jahre bzw. bei neu hinzukommenden Forschungen zu diesem Einfluss auf Lernleistungen voraussichtlich bleiben wird.
Der Robustheitsindex ist ein gewichteter Durchschnitt von fünf Hauptindikatoren für Stabilität:

• Anzahl der vorliegenden Meta-Analysen,
• Anzahl der darin verarbeiteten Studien,
• (geschätzte) Gesamtzahl der Schülerinnen und Schüler, die in diese Studien einbezogen sind
• Anzahl der ausgewiesenen Effekte für diesen Einfluss
• die nach Verfahren von Rosenthal (1979) und Orwin (1983) geschätzte Anzahl minimal künftig neu hinzukommenden Studien, die zu einer deutlichen Veränderung der Effektstärke führen würde (je weniger, desto veränderlicher). = fehlschlussvermeidenden Anzahl von unveröffentlichten Studien / fail-safe studies.

Die Robustheitsindizes von 3, 4 und 5 sind aufsteigend zuverlässiger, hingegen schwanken solche mit Werten von 1 oder 2 eventuelle, wenn im Laufe der Zeit mehr Studien zu diesem Faktor dazu kommen. Für den Faktor «Reziprokes Lehren» ist der Durchschnitt über die Quintile der fünf Indikatoren R=5, was auf eine hohe Robustheit hinweist.

Quellen

• Hattie, John A. C. (2023): Visible Learning: The Sequel. A Synthesis of Over 2,100 Meta-Analyses Relating to Achievement. New York: Routledge.
• Orwin, Robert G. (1983). A fail-safe N for effect size in meta-analysis. Journal of Educational Statistics, 8(2), 157-159.
• Rosenthal, Robert (1979). The ‘file drawer problem’ and tolerance for null results. Psychological Bulletin, 86, 638–641.