Untersuchung von Bewertungs- und Verstehensprozessen durch die Rekonstruktion individueller Handlungen im Aufgabenbearbeitungsprozess

Dr. Carolin Hahnel, Wissenschaftliche Mitarbeiterin DIPF

Technologiebasierte Assessments eröffnen viele Perspektiven, um die Durchführung eines Assessments selbst oder die Interpretierbarkeit seiner Daten zu verbessern. Dazu kann unter anderem die Untersuchung von Verhaltensdaten beitragen, die über den Verlauf einer Testsitzung gesammelt werden können. Beispielsweise soll es durch das Aufzeichnen von Logdaten (Klicks der Maus, Anschläge der Tastatur, usw.) möglich sein, konstruktrelevante Teilprozesse abzubilden um Anhaltspunkte über erfolgreiche Lösungsstrategien zu gewinnen oder auch Probleme, die jemand während der Bearbeitung einer Aufgabe erfahren hat. Die Verwendung von Prozessindikatoren aus Logdaten kann aber auch Schwierigkeiten mit sich bringen. Bestimmte Prozessmaße können unter Umständen mehrdeutige Interpretationen zulassen (z. B. Hat eine Person eine kurze Bearbeitungszeit, weil sie sehr effizient oder unmotiviert war?). Dementsprechend sollten Rückschlüsse auf nicht direkt beobachtbare kognitive oder motivationale Prozesse gut begründet sein.

Das Habilitationsprojekt befasst sich mit Fragen der Kontextualisierung von Logdaten und der Interpretierbarkeit der aus ihnen abgeleiteten Prozessindikatoren. Dabei soll untersucht werden, inwiefern aufgezeichnete Handlungen von Personen in einen Zusammenhang mit theoretischen Annahmen zu untersuchten Fähigkeiten gebracht werden können. Dadurch sollen Mehrdeutigkeiten in der Interpretation von Prozessindikatoren reduziert und Prozesse der Informationsverarbeitung von Personen tiefergehend ergründet werden. Im Speziellen werden hierbei verschiedene Lesesituationen untersucht, in denen sich Personen mit mehreren Dokumenten oder Internetseiten auseinandersetzen müssen. In solchen Situationen können ihnen sich wiederholende, einander ergänzende oder sich sogar widersprechende Informationen begegnen, da verschiedene Autor*innen in ihren Texten bestimmte Schwerpunkte setzen oder ihre eigene Sichtweise vertreten. Die Prozesse, die sich hierbei durch das Bewerten, Integrieren und Verstehen der gelesenen Informationen ergeben, sollen anhand von Log- und Prozessdaten abgebildet und eingehend untersucht werden.

Referenzen:

Hahnel, C., Kroehne, U., Goldhammer, F., Schoor, C., Mahlow, N., & Artelt, C. (2019). Validating process variables of sourcing in an assessment of multiple document comprehension. British Journal of Educational Psychology, 89, 524–537. https://doi.org/10.1111/bjep.12278➚

Schoor, C., Hahnel, C., Artelt, C., Reimann, D., Kröhne, U., & Goldhammer, F. (2020). Entwicklung und Skalierung eines Tests zur Erfassung des Verständnisses multipler Dokumente von Studierenden. Diagnostica, 66(2), 123–135. https://doi.org/10.1026/0012-1924/a000231➚

 

Mentor: Prof. Dr. Frank Goldhammer