Identifikation von Itemabnutzung und Merkeffekten und Erprobung simulationsbasierter Items in der computerbasierten Kompetenzdiagnostik unter High-Stakes-Bedingungen – Entwicklung einer Analysemethode für Prozessdaten aus dem MYSKILLS-Testverfahren
Lothar Persic-Beck, ZIB-assoziierter Wissenschaftlicher Mitarbeiter DIPF
Das Dissertationsvorhaben befasst sich mit methodischen Herausforderungen im Rahmen des MYSKILLS-Testverfahrens. MYSKILLS➚ hat zum Ziel, nicht-formal erworbene berufliche Kenntnisse von Geflüchteten und Geringqualifizierten mit computerbasierte Kompetenztests besser zu erfassen.
In der ersten Studie wird untersucht, ob mit Hilfe eines Finite State Models (Kroehne & Goldhammer, 2018) konstruktirrelevante Faktoren identifiziert werden können, um Prozessindikatoren aus den Logdaten des MYSKILLS-Testverfahren zu ermitteln. Es wird geprüft, ob sich aussagekräftige Merkmale ableiten lassen, die den Antwortprozess beschreiben und auf bestimmte Verhaltensmuster der Teilnehmer*innen hinweisen. Darüber hinaus werden Log-Daten verwendet, um Item-Antworten zu identifizieren, die nicht zur Messung des Konstrukts beitragen, das durch den Test abgedeckt werden soll.
In der zweiten Studie wird die Sensitivität und Spezifität bestehender datenforensischer Methoden zur Erkennung von Itemvorkenntnissen untersucht und mit einer neu entwickelten Methode mit Daten aus dem MYSKILLS-Testverfahren verglichen. Zu diesem Zweck wird ein Experiment durchgeführt. Vier Items, die nicht für das finale Testverfahren ausgewählt wurden, werden in das Testverfahren aufgenommen. Die Teilnehmer*innen werden in zwei Gruppen eingeteilt. In jeder Gruppe erhalten sie die richtigen Antworten auf zwei der vier zusätzlichen Items, während die anderen als Kontroll-Items dienen. Für die Logdaten wird erwartet, dass sich bei den präsentierten Items Gedächtniseffekte zeigen, die mit den Gedächtniseffekten im Sinne einer Itemvorkenntnis vergleichbar sind. Mit diesem Datensatz ist es möglich, die falsch-positiven und falsch-negativen Erkennungsraten von Analysemethoden für die Itemexposition und damit ihre Anwendbarkeit für das MYSKILLS-Testverfahren zu bestimmen.
In der dritten Studie wird analysiert, ob simulationsbasierte Items robuster sind, um irrelevante Verhaltensweisen wie das Vorwissen über Items zu konstruieren. Für diese Studie wird ein neuer Satz simulationsbasierter Items aus dem MYSKILLS-Testverfahren für den Fachinformatiker-Test entwickelt. Die Items werden aus kleinen Aufgaben bestehen, bei denen die Teilnehmer*innen Code mit Hilfe eines Skriptblocks schreiben und ausführen oder googleTM's blockly verwenden müssen, um eine Programmieraufgabe zu erfüllen. Die Items können auf unterschiedliche Weise angegangen werden, und die Auswertung von Logdaten ermöglicht es, das Lösungsverhalten zu verfolgen. Es ist daher zu erwarten, dass Lösungen schwieriger zu merken sind und exponierte Lösungen leichter identifiziert werden können. Um diese Hypothese zu testen, wird ein Teil der Lösungen in einer experimentellen Bedingung bekannt gegeben.
Literatur
Kroehne, U., & Goldhammer, F. (2018). How to conceptualize, represent, and analyze log data from technology-based assessments? A generic framework and an application to questionnaire items. Behaviormetrika. https://doi.org/10.1007/s41237-018-0063-y➚
Betreuer: Prof. Dr. Frank Goldhammer