Testbearbeitungsverhalten in Leistungstests:
Modellierung von Testabbruch und Leistungsabfall

Dr. Marit Kristine List, Wissenschaftliche Mitarbeiterin DIPF

In nahezu allen Large-Scale-Assessments bearbeiten nicht alle Testteilnehmenden den Test bis zum Ende mit maximaler Leistung. Testteilnehmende können den Test abbrechen, was sich in der Anzahl der Not-Reached-Items zeigt, oder sie können einen Leistungsabfall zeigen, sodass die Lösungswahrscheinlichkeit am Testende geringer ausfällt. Beide Phänomene stellen eine Veränderung des Testbearbeitungsverhaltens dar. In der Literatur wurden verschiedene Modelle vorgeschlagen, um diese beiden Phänomene im Zusammenhang mit der Testleistung zu untersuchen und das Ausmaß der Veränderung des Testbearbeitungsverhaltens zu schätzen.

In meiner Dissertation habe ich mich mit der Behandlung fehlender Werte in hierarchischen Daten auseinandergesetzt. Ein besonderes Augenmerk lag hierbei auf der MI, da deren Nutzung in hierarchischen Daten es erfordert, dass die hierarchische Datenstruktur und die geplanten Mehrebenenanalysen angemessen berücksichtigt werden. Wie genau diese Aspekte bei der MI zu berücksichtigen sind, ist jedoch eine noch kaum untersuchte Fragestellung. Daher habe ich in meiner Dissertation und in Form mehrerer Studien untersucht, wie fehlende Werte in verschiedenen Arten von Mehrebenanalysen angemessen behandelt werden können, zum Beispiel in Analysen mit festen, zufälligen und nichtlinearen Effekten sowie mit fehlenden Werten in kontinuierlichen und kategorialen Variablen oder auf verschiedenen Ebenen.

Diese Dissertation beschäftigt sich mit der Modellierung der Veränderung des Testbearbeitungsverhaltens. Dabei liegt der Fokus auf der Analyse von Gruppenunterschieden in der Veränderung des Testbearbeitungsverhaltens bei gleichzeitiger Kontrolle von Fähigkeitsunterschieden. Ziel dieser Dissertation ist, bestehende Modelle zu erweitern, um restriktive Annahmen zu lockern und um die Schätzung differentieller Effekte, das heißt Gruppenunterschiede in der Anzahl der Not-Reached-Items beziehungsweise im Ausmaß des Leistungsabfalls, zu ermöglichen. Im Vordergrund steht die Bewertung der Performanz der Modelle anhand empirischer Datensätze.

Im Rahmen der Dissertation wurden zwei Studien durchgeführt, die sich jeweils mit einem der beiden Aspekte der Veränderung des Testbearbeitungsverhaltens (Not-Reached-Items oder Leistungsabfall) beschäftigen. Die erste Studie beschäftigt sich mit der Modellierung der Not-Reached-Items. Es wird ein Modell entwickelt, das den Ansatz von Glas & Pimentel (2008) erweitert, um die Analyse von Gruppenunterschieden zu ermöglichen und um komplexe, nichtlineare Beziehungen zwischen Not-Reached-Items und Kovariaten schätzen zu können. Die zweite Studie befasst sich mit dem Leistungsabfall als einer anderen Form der Veränderung des Testbearbeitungsverhaltens: In der Literatur wurden verschiedene Modelle vorgeschlagen, um Heterogenität im Ausmaß des Leistungsabfalls innerhalb einer Stichprobe abzubilden. In der zweiten Studie werden drei Mischverteilungsmodelle von Bolt, Cohen und Wollack (2002), Jin und Wang (2014) und Yamamoto (1995) zur Modellierung von Leistungsabfall näher untersucht. Die Modelle werden zudem erweitert, um Gruppenunterschiede im Testbearbeitungsverhalten schätzen zu können. Es werden Performanz und Implikationen der drei resultierenden Mehrgruppenmodelle miteinander verglichen.

Die Analysen dieser Dissertation zeigen exemplarisch, wie die vorgestellten Modelle im Rahmen von Sensitivitätsanalysen eingesetzt werden können, um abzuschätzen, wie sehr die Ergebnisse variieren, wenn bestimmte Annahmen zum Testbearbeitungsverhalten modelliert beziehungsweise ignoriert werden.

Referenz: List, M. K. (2018). Testbearbeitungsverhalten in Leistungstests: Modellierung von Testabbruch und Leistungsabfall. Dissertation: Christian-Albrechts-Universität zu Kiel. Verfügbar unter: https://macau.uni-kiel.de/servlets/MCRFileNodeServlet/dissertation_derivate_00007735/diss_mk_list_testbearbeitungsverhalten_in_leistungstests.pdf ➚

Betreuer: Prof. Dr. Gabriel Nagy, Prof. Dr. Olaf Köller