Nationale Begleitstudie zum computerbasierten Assessment (CBA) in PISA 2012

Federführung: DIPF

Computer prägen das Alltags- und Berufsleben, sodass es sinnvoll ist Wissen und Fertigkeiten auch mit Hilfe des Computers zu erfassen. Eine computerbasierte Testumsetzung reduziert dabei nicht nur die Kosten und den Aufwand, die mit einer papierbasierten Testung einhergehen, sondern erlaubt auch neue Darstellungs- und Aufgabenformate. Die deutsche Begleitstudie zu PISA 2012 versuchte daher, Fragen zu Verwendungsmöglichkeiten von Computern v. a. zur Erfassung des Leseverständnisses zu beantworten. Am DIPF wurden dabei vorrangig Fragestellungen zu zwei zentralen Bereichen forschungsorientiert beantwortet:

1. Computerbasierte Messung des Lesens von Hypertext (Digital Reading)

Im Gegensatz zum „traditionellen“ linearen Textformat weist Hypertext spezifische Merkmale auf, die besondere Anforderungen stellen: das Lesen einer typischen Webseite bedeutet nicht nur fortlaufend Textpassagen zu lesen, sondern auch darüber zu entscheiden, welche weiteren Webseiten in welcher Reihenfolge über Links angesteuert werden. Bei dieser Auswahl sollten zusätzliche Kriterien wie z. B. die Relevanz und Vertrauenswürdigkeit der Webseiten berücksichtigt werden. Computer sind bei der Erfassung des Lesens digitaler Texte also nicht nur ein Ausgabemedium, sondern ermöglichen vielmehr erst das Lesen solcher Texte. Im Rahmen der nationalen Begleitstudie wird daher empirisch untersucht, ob sich eine Hypertextlesekompetenz von der üblicherweise in PISA gemessenen Lesekompetenz unterscheidet und inwieweit sich Unterschiede durch Personenmerkmale, z. B. wie gut jemand mit dem Computer umgehen kann, erklären lassen.

2. Untersuchungen des Administrationsmodus (Papier versus Computer)

Weitere Fragestellungen, die durch die PISA-Begleitforschung beantwortet werden sollen, betrafen Effekte, die durch die Übertragung von (linearen) Papiertexten auf den Computer entstehen können. Um das Lesen von Texten zwischen den verschiedenen Modi (d. h. Papier vs. Computer) vergleichbar zu halten, wurde auf eine möglichst große Übereinstimmung zwischen der papier- und der computerbasierten Form geachtet. Neben der technischen Übertragbarkeit an sich war vor allem von Interesse, ob sich die psychometrischen Eigenschaften der Aufgaben (z. B. ihre Lösungsschwierigkeit) mit dem Moduswechsel ändern und wie gegebenenfalls auftretende Unterschiede erklärt werden können. Im Mittelpunkt steht u. a. die Frage, inwiefern solche Moduseffekte vom jeweiligen Antwortformat (z. B. Freitextschreiben oder Multiple Choice) der Leseaufgaben abhängen.

Methodisches Vorgehen

Die Datenerhebung der CBA-Begleitforschung fand im Rahmen eines nationalen zweiten Testtags der PISA 2012 Haupterhebung in Deutschland statt. Für die Teilnahme an der Begleitforschung konnten 77 der 212 PISA-Schulen gewonnen werden, sodass die Daten von fast 900 Schüler*innen für die Auswertung vorlagen. Die Schüler*innen bearbeiteten während einer Testung überwiegend Aufgaben am Computer. Neben einer Testbatterie, in der ihre Computerfähigkeiten, Arbeitsgedächtniskapazität und grundlegende Lesefähigkeiten geprüft wurden, bearbeiteten sie auch Leseverständnisaufgaben und Fragen, die ihre Einstellung zu diesen Aufgaben erfassten. Einige Schüler*innen bearbeiteten auch Aufgaben in einem Testheft (d. h. in Papierform). Zur Beantwortung der Forschungsfragen wurden zusätzlich auch Ergebnisse aus dem Lesekompetenz-Assessment einbezogen worden, die bereits am ersten Testtag im Rahmen von PISA computerbasiert getestet wurden.

Projektbezogene Publikationen

Hahnel, C., Goldhammer, F., Kröhne, U., & Naumann, J. (2017). Reading digital text involves working memory updating based on task characteristics and reader behavior. Learning and Individual Differences, 59, 149–157. https://doi.org/10.1016/j.lindif.2017.09.001➚

Hahnel, C., Goldhammer, F., Kröhne, U., & Naumann, J. (2018). The role of reading skills in the evaluation of online information gathered from search engine environments. Computers in Human Behavior, 78, 223–234. https://doi.org/10.1016/j.chb.2017.10.004➚

Hahnel, C., Goldhammer, F., Naumann, J., & Kröhne, U. (2016). Effects of linear reading, basic computer skills, evaluating online information, and navigation on reading digital text. Computers in Human Behavior, 55, 486–500. https://doi.org/10.1016/j.chb.2015.09.042➚

Kroehne, U., Buerger, S., Hahnel, C., & Goldhammer, F. (2019). Construct Equivalence of PISA Reading Comprehension Measured With Paper‐Based and Computer‐Based Assessments. Educational Measurement: Issues and Practice, 38(3), 97–111. https://doi.org/10.1111/emip.12280➚

Kroehne, U., Hahnel, C., & Goldhammer, F. (2019). Invariance of the Response Processes Between Gender and Modes in an Assessment of Reading. Frontiers in Applied Mathematics and Statistics, 5, 1–16. https://doi.org/10.3389/fams.2019.00002➚

Zehner, F., Kroehne, U., Hahnel, C., & Goldhammer, F. (2020). PISA reading: Mode effects unveiled in short text responses. Psychological Test and Assessment Modeling, 62(1), 85–105.