Untersuchung von Modus- und Setting-Effekten unter Berücksichtigung des Bearbeitungsprozess anhand von Log- und Prozessdaten

Dr. Ulf Kröhne, ZIB-assoziierter wissenschaftlicher Mitarbeiter DIPF

Das Habilitationsprojekt beschäftigt sich mit der Gestaltung computerbasierter Testung in Large-Scale Assessments (LSAs) vor dem Hintergrund der Beibehaltung von Testwertinterpretationen in Trenddesigns (am Beispiel PISA) und im Längsschnitt (am Beispiel des Nationalen Bildungspanels, NEPS). Mit Hilfe einer im Rahmen dieses Projekts entwickelten Technik zur Erfassung von Log-Daten aus papierbasiert administrierten LSAs mit Hilfe von digitalen Kugelschreibern werden in den Vergleich zwischen Administrationsformen auch Prozessindikatoren der Aufgabenbearbeitung einbezogen.

Theoretischer Hintergrund: In Abgrenzung von anderen Invarianzfragestellungen wie bspw. Differential Item Functioning (DIF) lassen sich Modus-Effekte (Kroehne & Martens, 2011) und Settings-Effekte (Kroehne, Gnambs & Goldhammer, 2019) mit Hilfe experimenteller Zuweisung von Personen zu Administrationsbedingungen identifizieren. Eine Beibehaltung der Testwertinterpretation nach einem Modus-Wechsel ist deshalb auch bei Vorliegen nur partieller Invarianz möglich (Buerger, Kroehne, & Goldhammer 2016).

Methodenentwicklung: Für die Analyse von Log- und Prozessdaten wurde ein methodischer Rahmen basierend auf der Rekonstruktion von Testbearbeitungsprozessen mit Hilfe von finiten Zustandsautomaten entwickelt (Kroehne & Goldhammer, 2018) und in einem R-Paket implementiert (LogFSM). Dieser methodische Rahmen erlaubt den Vergleich von Low-Level Features und daraus abgeleiteten Prozessindikatoren auch bei Vorliegen unterschiedlicher Log-Ereignisse, wie es beispielsweise für den Vergleich papierbasierter Testung mit digitalen Kugelschreibern und computerbasierter Testung der Fall ist.

Ausgewählte Ergebnisse: Beispielhaft für die Domäne Lesen konnte für PISA gezeigt werden, dass die Annahme von Konstruktäquivalenz als Voraussetzung der Beibehaltung der Testwertinterpretation einem Falsifikationsversuch standhält (Kroehne, Hahnel & Goldhammer, 2019). In diesen Analysen der nationalen Ergänzungsstudie zu PISA zeigt sich eine Erhöhung der Aufgabenschwierigkeit computerbasierter Aufgaben, welche sich aber unter Rückgriff auf die Log- und Prozessdaten über Unterschiede in der selbstgewählten Testbearbeitungsgeschwindigkeit erklären lassen (Kroehne, Hahnel & Goldhammer, 2019). Die in nationalen Untersuchungen zu PISA 2015 gefundenen Zusammenhänge von Modus und Trend (Robitzsch, Lüdtke, Goldhammer, Kroehne & Köller, 2020) müssen deshalb auch vor dem Hintergrund von möglichen Mediatoren, z. B. der Bearbeitungsgeschwindigkeit interpretiert werden. Insbesondere für Kurztextantworten äußert sich der Moduswechsel auch in qualitativen Eigenschaften der Antworten (Zehner, Kroehne, Hahnel & Goldhammer (2020). Schließlich konnte an Hand von Daten eines experimentellen Vergleichs im Rahmen des NEPS gezeigt werden, dass sich Modus- und Settingseffekte auch in Unterschieden bezüglich des schnellen Ratens widerspiegeln, welche als Maß für niedrige Testmotivation interpretiert werden kann (Kroehne, Deribo & Goldhammer, 2020). Computerisiertes Testen unter standardisierten Bedingungen kann anhand dieser Befunde zumindest für eine der zwei untersuchten Domänen zu einer Testbearbeitung mit weniger schnellem Raten führen.

 

Referenzen:

Buerger, S., Kroehne, U., & Goldhammer, F. (2016). The transition to computer-based testing in large-scale assessments: Investigating (partial) measurement invariance between modes. Psychological Test and Assessment Modeling, 58(4), 597–616. [online verfügbar➚]

Kroehne, U., Buerger, S., Hahnel, C., & Goldhammer, F. (2019). Construct Equivalence of PISA Reading Comprehension Measured with Paper‐Based and Computer‐Based Assessments. Educational Measurement: Issues and Practice, 38 (3), 97–111. https://doi.org/10.1111/emip.12280➚

Kroehne, U., Deribo, T., & Goldhammer, F. (2020). Rapid Guessing Rates Across Administration Mode and Test Setting. Psychological Test and Assessment Modeling, 62 (2), 147–177. [online verfügbar➚]

Kroehne, U., & Goldhammer, F. (2018). How to conceptualize, represent, and analyze log data from technology-based assessments? A generic framework and an application to questionnaire items. Behaviormetrika, 45, 527–563. https://doi.org/10.1007/s41237-018-0063-y➚

Kroehne, U., & Martens, T. (2011). Computer-based competence tests in the national educational panel study: The challenge of mode effects. Zeitschrift Für Erziehungswissenschaft, 14(S2), 169–186. https://doi.org/10.1007/s11618-011-0185-4➚

Kroehne, U., Gnambs, T., & Goldhammer, F. (2019). Disentangling Setting and Mode Effects for Online Competence Assessment. In H.-P. Blossfeld & H.-G. Roßbach, Education as a Lifelong Process (pp. 171–193). https://doi.org/10.1007/978-3-658-23162-0_10➚

Kroehne, U., Hahnel, C., & Goldhammer, F. (2019). Invariance of the Response Processes Between Gender and Modes in an Assessment of Reading. Frontiers in Applied Mathematics and Statistics, 5, 2. https://doi.org/10.3389/fams.2019.00002➚

Robitzsch, A., Lüdtke, O., Goldhammer, F., Kroehne, U., & Köller, O. (2020). Reanalysis of the German PISA data: A comparison of different approaches for trend estimation with a particular emphasis on mode effects. Frontiers in Psychology, 11(884). http://dx.doi.org/10.3389/fpsyg.2020.00884➚

Zehner, F., Kroehne, U., Hahnel, C., & Goldhammer, F. (2020). PISA Reading: Mode Effects Unveiled in Short Text Responses. Psychological Test and Assessment Modeling. 62 (1), 85-105. [online verfügbar➚]

 

Mentor: Prof. Dr. Frank Goldhammer