Nationale Ergänzungsstudie zu
Moduseffekten in PISA 2018

Federführung: DIPF
Kooperation mit: IPN, TUM

 

Mit PISA 2015 erfolgte eine wichtige Änderung für die Testteilnehmerinnen und Testteilnehmer: Die Umstellung von papier- auf computerbasiertes Testen. Dabei wurde von den deutlich größeren Möglichkeiten der Test- und Aufgabengestaltung am Computer Gebrauch gemacht. In diesem Zusammenhang kamen jedoch auch zahlreiche Fragen zur Vergleichbarkeit der beiden Testformen auf, die innerhalb einer nationalen Ergänzungsstudie zu PISA 2018 näher in Augenschein genommen werden.

Einerseits geht es darum zu prüfen, ob sich das Antwortverhalten bei der Bearbeitung von Aufgaben auf Papier zu dem am Computer unterscheidet. Die Testaufgaben für die Bearbeitung am Computer unterscheiden sich in ihrer Gestaltung zum Teil deutlich von denen auf Papier. Dies lässt die Fragen aufkommen, ob dadurch andere Anforderungen an die Teilnehmerinnen und Teilnehmer gestellt werden und sich somit Veränderungen hinsichtlich der jeweils gemessenen Kompetenz zeigen (Moduseffekt auf Konstruktinterpretation), die Aufgaben in gleicher Weise zwischen mehr oder weniger kompetenten Schülerinnen und Schülern unterscheiden können (Moduseffekt auf Itemdiskrimination) und darüber hinaus, ob sich die Schwierigkeit der Aufgaben für alle Personen bzw. Gruppen gleich stark ändert (moderierter Moduseffekt auf Schwierigkeit). Dabei gilt es auch zu untersuchen, ob sich Moduseffekte zwischen Schulen unterscheiden und durch welche Schulmerkmale (z. B. Computerausstattung oder Einsatz von Computern im Unterricht) diese erklärt werden können.

Andererseits geht es um die Vergleichbarkeit der Studienergebnisse bisheriger PISA-Durchgänge. Neben der Beschreibung der Ergebnisse der jeweils aktuellen PISA-Studie wird im nationalen PISA-Berichtband immer auch ihre Entwicklung (Trend) analysiert und interpretiert. Mit der Umstellung auf computerbasiertes Testen ist ein Vergleich nicht mehr ohne weiteres möglich. Bei Analysen und Vergleichen müssen die Moduseffekte stets mitberücksichtigt werden. Mit dieser Ergänzungsstudie wird daher erforscht, wie stark solche Moduseffekte ausgeprägt sind und inwiefern sich diese auf die Vergleichbarkeit auswirken, um auch zukünftig verlässliche Aussagen über nationale Trends treffen zu können.

Informationen des DIPF zur nationalen Ergänzungsstudie (Moduseffekte in PISA 2018) finden Sie in

Goldhammer, F., Harrison, S., Bürger, S., Kroehne, U., Lüdtke, O., Robitzsch, A., Köller, O., Heine, J.-H & Mang, M. (2019). Vertiefende Analysen zur Umstellung des Modus von Papier auf Computer. In K. Reiss, M. Weis, E. Klieme & O. Köller (Hrsg.), PISA 2018 Grundbildung im internationalen Vergleich (S. 163-186). Münster: Waxmann.

Schülerinnen und Schüler bearbeiten innerhalb der nationalen Ergänzungsstudie zu Moduseffekten an einem zweiten Testtag Testhefte in Papierform. © iStock.com

© 2012 Zentrum für internationale Bildungsvergleichsstudien

» Webdesign