Ein Vergleich verschiedener Ansätze zur Schätzung von Mehrebenenstrukturgleichungsmodellen

Dr. Steffen Zitzmann, Juniorprofessor HIB

Die empirische Bildungsforschung und pädagogische Psychologie versucht die Zusammenhänge und Wirkmechanismen zwischen Determinanten erfolgreichen Lernens und dem Lernerfolg zu identifizieren und basierend darauf Lernprozesse zu optimieren. Die zu diesem Zweck erhobenen Datensätze weisen nicht selten eine Mehrebenenstruktur auf, in der Schüler*innen in Schulklassen geschachtelt sind. Unter den Determinanten erfolgreichen Lernens spielen Kontextmerkmale (z. B. Unterrichtsqualität) eine wichtige Rolle. Ein beliebtes Vorgehen zur Erfassung des Effekts eines Kontextmerkmals besteht darin, zunächst Schülervariablen auf eine höhere Analyseebene zu aggregieren. Beispielsweise werden Schüler*innen mittels verschiedener Items zur Unterrichtsqualität befragt und ihre Urteile sowohl über die Items als auch über die Schüler*innen einer Schulklasse gemittelt. Anschließend wird der Klassenmittelwert als zusätzlicher Prädiktor mit in die Mehrebenenanalyse zur Vorhersage des Lernerfolgs aufgenommen.

In meiner Dissertation habe ich dargelegt, dass diese Aggregation im Allgemeinen ein unreliables Maß ergibt, das zu einer stark verzerrten Schätzung (Bias) des Effekts des Kontextmerkmals auf eine abhängige Variable (z. B. Lernerfolg) führen kann, wenn es zur Vorhersage der abhängigen Variablen eingesetzt wird. Eine Möglichkeit zur Lösung des Bias-Problems ist die Verwendung eines Mehrebenenstrukturgleichungsmodells (ML-SEM). ML-SEMs erfreuen sich in der Lehr- und Lernforschung großer Beliebtheit. Es wurde allerdings an vielen Stellen darauf hingewiesen, dass diese Modelle vergleichsweise hohe Anforderungen an die Daten stellen, und dass es zu einer ungenauen Schätzung des Kontexteffekts führen kann, wenn diese Anforderungen nicht erfüllt sind. Mit anderen Worten: das Ergebnis einer einzelnen Studie kann zu falschen Schlussfolgerungen bezüglich der Richtung oder der Stärke des Effekts des Unterrichtsmerkmals auf den Lernerfolg führen. Um eine genauere Schätzung zu erhalten habe ich in meiner Dissertation einen Ansatz entwickelt, der auf einer geeigneten Gewichtung der (geschätzten) Varianz des Kontextmerkmals beruht. Dieser Ansatz wurde mit verschiedenen Verfahren zur Schätzung von ML-SEMs kombiniert. Darunter befinden sich die mehrschrittigen Verfahren wie die Faktorwerte-Regression mit regularisierter Varianz, das Bayes-Verfahren mit einer geeigneten Prior-Verteilung für die Varianz sowie das Maximum-Likelihood-Verfahren mit einer geeigneten unteren Grenze für die Varianz. Die Grenzen des Maximum-Likelihood-Verfahrens zur Schätzung von ML-SEMs wurden in mehreren Simulationen mit in der Forschungspraxis zwar auftretenden, für das traditionelle Maximum-Likelihood-Verfahren aber herausfordernden Bedingungen „ausgelotet“ und mit dem neu entwickelten Ansatzes anhand von Simulationen verglichen. Der Hauptbefund lässt sich wie folgt zusammenfassen. Der neu entwickelte Ansatz kann zu einem deutlichen Genauigkeitsgewinn bei der Schätzung des Effekts des Unterrichtsmerkmals auf den Lernerfolg führen.

Aus meiner Dissertation lassen sich drei Take-Home-Messages für die Forschungspraxis ableiten. Es wurde erstens argumentiert, dass ein unreliables Maß (Mittelwert über Items und Schüler einer Schulklasse) zu einer stark verzerrten Schätzung des Effekts des Kontextmerkmals auf eine abhängige Variable (z. B. Lernerfolg) führen kann. Es sollte deshalb ein weniger verzerrtes Verfahren (z. B. ML-SEM) zur Schätzung von Kontexteffekten eingesetzt werden. Zweitens wurde darauf hingewiesen, dass die Verwendung eines ML-SEMs mit einer geringen Genauigkeit der Schätzung (d.h. hoher RMSE) einhergehen kann, wenn das Maximum-Likelihood-Verfahren verwendet wird. Zur Reduktion des RMSEs sollte deshalb ein Ansatz eingesetzt werden, der auf einer geeigneten Gewichtung der (geschätzten) Varianz des Kontextmerkmals beruht. Diese Dinge gilt es in der Lehr- und Lernforschung vor allem dann zu berücksichtigen, wenn auf der Grundlage der Ergebnisse einzelner Studien Schlüsse gezogen werden, die politisch relevante Entscheidungen nach sich ziehen.

Referenz: Zitzmann, S. (2017). Ein Vergleich verschiedener Ansätze zur Schätzung von Mehrebenenstrukturgleichungsmodellen [A comparison of different approaches for estimating multilevel structural equation models]. Dissertationsschrift.

Betreuer: Prof. Dr. Oliver Lüdtke