Nationale Ergänzungsstudie zu Moduseffekten in PISA 2018
Federführung: DIPF
Kooperation mit: IPN, TUM
Mit PISA 2015 erfolgte eine wichtige Änderung für die Testteilnehmer*innen: Die Umstellung von papier- auf computerbasiertes Testen. Dabei wurde von den deutlich größeren Möglichkeiten der Test- und Aufgabengestaltung am Computer Gebrauch gemacht. In diesem Zusammenhang kamen jedoch auch zahlreiche Fragen zur Vergleichbarkeit der beiden Testformen auf, die innerhalb einer nationalen Ergänzungsstudie zu PISA 2018 näher in Augenschein genommen werden.
Einerseits geht es darum zu prüfen, ob sich das Antwortverhalten bei der Bearbeitung von Aufgaben auf Papier zu dem am Computer unterscheidet. Die Testaufgaben für die Bearbeitung am Computer unterscheiden sich in ihrer Gestaltung zum Teil deutlich von denen auf Papier. Dies lässt die Fragen aufkommen, ob dadurch andere Anforderungen an die Teilnehmer*innen gestellt werden und sich somit Veränderungen hinsichtlich der jeweils gemessenen Kompetenz zeigen (Moduseffekt auf Konstruktinterpretation), die Aufgaben in gleicher Weise zwischen mehr oder weniger kompetenten Schüler*innen unterscheiden können (Moduseffekt auf Itemdiskrimination) und darüber hinaus, ob sich die Schwierigkeit der Aufgaben für alle Personen bzw. Gruppen gleich stark ändert (moderierter Moduseffekt auf Schwierigkeit). Dabei gilt es auch zu untersuchen, ob sich Moduseffekte zwischen Schulen unterscheiden und durch welche Schulmerkmale (z. B. Computerausstattung oder Einsatz von Computern im Unterricht) diese erklärt werden können.
Andererseits geht es um die Vergleichbarkeit der Studienergebnisse bisheriger PISA-Durchgänge. Neben der Beschreibung der Ergebnisse der jeweils aktuellen PISA-Studie wird im nationalen PISA-Berichtband immer auch ihre Entwicklung (Trend) analysiert und interpretiert. Mit der Umstellung auf computerbasiertes Testen ist ein Vergleich nicht mehr ohne weiteres möglich. Bei Analysen und Vergleichen müssen die Moduseffekte stets mitberücksichtigt werden. Mit dieser Ergänzungsstudie wird daher erforscht, wie stark solche Moduseffekte ausgeprägt sind und inwiefern sich diese auf die Vergleichbarkeit auswirken, um auch zukünftig verlässliche Aussagen über nationale Trends treffen zu können.
Informationen des DIPF zur nationalen Ergänzungsstudie (Moduseffekte in PISA 2018) finden Sie in
Goldhammer, F., Harrison, S., Bürger, S., Kroehne, U., Lüdtke, O., Robitzsch, A., Köller, O., Heine, J.-H & Mang, M. (2019). Vertiefende Analysen zur Umstellung des Modus von Papier auf Computer. In K. Reiss, M. Weis, E. Klieme & O. Köller (Hrsg.), PISA 2018 Grundbildung im internationalen Vergleich (S. 163-186). Münster: Waxmann.