Steigerung der Messeffizienz und Validität computerbasierter Tests unter Nutzung von Vorinformationen und Prozessdaten im Nationalen Bildungspanel (NEPS)

Tobias Deribo, ZIB-assoziierter Wissenschaftlicher Mitarbeiter DIPF

Das Promotionsprojekt untersucht wie Vorinformationen und Prozessdaten aus computerbasierten Assessments (CBA) des Nationalen Bildungspanels (NEPS)➚ genutzt werden können, um die Validität der Inferenzen auf Grundlage der Testscores zu steigern und eine höhere Messeffizienz innerhalb des Spannungsfeldes aus Testinhalt und Testlänge zu erreichen. Dabei scheint es durch die gestiegene Verbreitung von CBA und die dadurch generierten Prozessdaten möglich, mehr über eine Testperson zu erfahren, als es nur auf Grundlage ihrer abgegebenen (oder nicht-abgegebenen) Antworten erreichbar wäre.

Das ist bedeutsam, da jede Testung sowohl eine zeitliche als auch psychische Belastung der Testpersonen sowie eine ökonomische Belastung für die Testdurchführenden darstellt.

Hinsichtlich der ersten Zielsetzung, der Steigerung der Validität, soll dabei untersucht werden, wie die durch das CBA gewonnenen Prozessdaten genutzt werden können um konstrukt-irrelevante Varianz zu reduzieren. Der Fokus liegt hierbei insbesondere auf dem Erkennen und Behandeln von unmotivierten Bearbeitungsverhalten auf Grundlage von Prozessdaten. Hierbei wird insbesondere der Frage nachgegangen, ob sich Testpersonen tatsächlich mit den Items auseinander setzen oder eine Antwort nur versuchen zu erraten (z.B., Kroehne, Deribo, & Goldhammer, 2020). Bezüglich der zweiten Zielsetzung, der Steigerung der Messeffizienz, soll ein Vergleich unterschiedlicher Verfahren der Testzusammenstellung vorgenommen werden. Dieser Vergleich soll es ermöglichen zu prüfen, ob und in wie weit durch den Einbezug von Prozessinformationen, innerhalb der Testzusammenstellung, eine Reduktion der Testlänge bei gleichbleibender Messgenauigkeit möglich ist.

Das Ziel des geplanten Promotionsprojektes besteht darin, Anwendungsmöglichkeiten aufzuzeigen, in denen die zusätzlichen Informationen aus CBA zu einen Mehrwert für Skalierung und Testdesign führen können. Die Ergebnisse des Promotionsprojektes sind dabei sowohl für messtheoretische Forschung als auch die Bildungspraxis gleichermaßen von Interesse.

Referenzen:

Kroehne, U., Deribo, T., & Goldhammer, F. (2020). Rapid Guessing Rates Across Administration Mode and Test Setting. Psychological Test and Assessment Modeling, 62 (2), 147–177. [online verfügbar➚]

Betreuer: Prof. Dr. Frank Goldhammer