Semi-automatische Kodierung von Textantworten in Large-Scale Assessments

Nico Andersen, ZIB-assoziierter Wissenschaftlicher Mitarbeiter DIPF

Bei Leistungsmessungen mit einer großen Stichprobe ist die Auswertung von offenen Textantworten mit großem Aufwand verbunden. Im Rahmen der Qualifikationsarbeit wird eine Methode erarbeitet, um diesen Aufwand zu minimieren. Durch die mathematische Repräsentation von Textsemantik in einem n-dimensionalen Raum können Ähnlichkeiten von Texten berechnet werden. Durch das Gruppieren von semantisch ähnlichen Textantworten können prototypische Antworten erkannt und von menschlichen Kodierer*innen bewertet werden. Unter der Annahme, dass semantisch ähnliche Antworten auch ähnliche Kodierzuweisungen erhalten, unterstützt das System die Kodierer*innen bei der Arbeit, indem es ähnliche Texte (unter der Berücksichtigung statistischer Unsicherheit) im Hintergrund automatisch kodiert. Dadurch muss lediglich ein Teil der Antworten manuell ausgewertet werden. Die Performanz der Methode wird auf Basis von Textantworten zu Items aus der Erfassung der Lesekompetenz aus dem Programme for International Student Assessment (PISA) 2012 und 2015 simuliert.

Weitere Arbeiten

Im Rahmen der Dissertation sind weitere Arbeiten geplant, die sich der Frage anschließen, wie menschliche Kodierer*innen bei der Auswertung von Textantworten unterstützt werden können oder wie der Prozess der automatischen Kodierung verbessert werden kann.

Betreuer: Prof. Dr. Frank Goldhammer