PISA-Ergebnisse: Kein harter Beweis, dass KI Leseverständnis verschlechtert

Am 8. September veröffentlichte die Organisation für wirtschaftliche Zusammenarbeit und Entwicklung (OECD) die Ergebnisse der neunten Durchführung des Programms zur internationalen Schülerbewertung (PISA). Die Untersuchung umfasste mehr als 760.000 Schüler im Alter von 15 Jahren in 91 Ländern und Gebieten.

Die Ergebnisse sind nicht ermutigend: Die durchschnittlichen OECD-Werte in allen drei Fächern – Lesen, Mathematik und Naturwissenschaften – sind die niedrigsten seit PISAs Start im Jahr 2000. Der Anteil der Schüler, die in allen drei Bereichen nicht das grundlegende Niveau erreichen, ist im Vergleich zur vorherigen Bewertung (2022) von 16% auf 20% gestiegen. Das bedeutet, jeder fünfte Schüler.

In der OECD-PISA-Bewertung ist das 'grundlegende Niveau' (entspricht Stufe 2) wichtig, weil es die Mindestkompetenz ist, die ein 15-Jähriger erreichen muss, um weiter lernen und arbeiten zu können. Stufe 2 entspricht etwa 420 Punkten in Mathematik, 407 Punkten im Lesen und 410 Punkten in Naturwissenschaften.

Im Lesen war der größte Rückgang bei Aufgaben zu beobachten, die das Lesen langer Texte, die Bewertung der Zuverlässigkeit von Informationen und die Verbindung von Daten aus verschiedenen Quellen erfordern. Im Gegensatz dazu blieben einfachere Aufgaben wie das Finden eines Details im Test nahezu unverändert.

Ein weiterer bemerkenswerter Punkt ist der Rückgang, der bereits am Anfang des Lesetests in der Gruppe der Fragen zur Messung der Leseflüssigkeit sichtbar wird. Hier mussten die Schüler nur kurze Sätze lesen und beurteilen, ob sie sinnvoll sind. Zur Analyse dieses Teils verwendet OECD den Begriff 'nachlässiger Leser', der Schüler beschreibt, die sehr schnell antworten, aber viele Fehler machen. Diese Quote hat sich nahezu verdoppelt – von 6,6% im Jahr 2018 auf 11,4% im Jahr 2025. Laut dem OECD-Bericht spiegelt dieser Trend nicht nur schwächere Leseleistung wider, sondern hängt auch mit der Fähigkeit zusammen, sich über längere Zeit auf Aufgaben zu konzentrieren, die Aufmerksamkeit erfordern.

Viele Faktoren beeinflussen den Zusammenhang zwischen KI-Nutzung und niedrigen Ergebnissen

Die Entdeckung, die jedoch die meiste Aufmerksamkeit der Öffentlichkeit erregte, liegt in der Umfrage zur Nutzung von künstlicher Intelligenz durch Schüler. Laut dem PISA 2025-Bericht verwenden etwa 46% der Schüler im OECD-Bereich KI-Chatbot mindestens einmal pro Woche zur Unterstützung des Lernens. Schüler, die KI verwenden, um Texte zusammenzufassen, Aufsätze zu verfassen oder nach Informationen zu suchen, haben in Naturwissenschaften etwa 20 Punkte weniger als die Gruppe, die sie nicht nutzt, nach Berücksichtigung sozioökonomischer Unterschiede. Dieser Unterschied ist am größten bei der Gruppe, die täglich KI zum Verfassen von Aufsätzen nutzt: 481 Punkte gegenüber 509 Punkten der Gruppe, die dies nie oder fast nie tut.

Der Bericht weist jedoch darauf hin, dass der Zusammenhang zwischen KI-Nutzung und niedrigen Ergebnissen nicht ausreicht, um zu schließen, dass KI die Lernleistung negativ beeinflusst. Dieser Zusammenhang kann von vielen Faktoren beeinflusst werden, darunter die Merkmale der nutzenden Schüler und die Art und Weise, wie sie KI einsetzen. Dies ist ein wichtiger Hinweis für eine querschnittliche Studie wie PISA: Es gibt keine Kontrollgruppe und keine Messung desselben Kindes vor und nach der Nutzung eines Chatbots.

Das Zeitproblem erschwert auch Schlussfolgerungen über die Wirkung von KI. ChatGPT wurde Ende November 2022 veröffentlicht. Die Gruppe der Schüler, die PISA 2025 absolvierten, wurde etwa 2009–2010 geboren. Mit anderen Worten: Als Chatbots populär wurden, waren sie bereits 12–13 Jahre alt, und ihr Leseverständnis war durch 6–7 Jahre vorherigen Lernens geformt. Zudem ist der durchschnittliche OECD-Lesewert bereits seit dem Höhepunkt 2012, also zehn Jahre vor der Popularisierung von Chatbots, gesunken. Allein zwischen den Bewertungen 2018 und 2022, als Chatbots noch nicht weit verbreitet waren, fielen die Lesewerte um etwa 11 Punkte.

Im Teil zum Lesen stellt die OECD auch klar, dass die PISA-Daten nicht ausreichen, um zu bestimmen, ob dieser Rückgang mit dem Aufkommen und der Verbreitung von Large Language Models (LLM) zusammenhängt. Es wäre ein Fehler, Korrelation und Kausalität zu verwechseln, wenn man voreilig schlussfolgert, dass KI zum Abbau des Leseverständnisses beiträgt.

Fairerweise war der PISA-Rückgang in der letzten Bewertung größer als in früheren und fiel mit der Verbreitung von generativer KI zusammen. Deshalb ist die KI-Hypothese verlockend. Aber dieser Bewertungszyklus fiel auch mit der Post-COVID-19-Phase, dem Aufstieg kurzer Videos und der zunehmend häufigeren Nutzung von Smartphones zusammen. PISA-Daten erlauben es nicht, die Wirkung jedes einzelnen Faktors zu trennen. Daher können wir die Wirkung von KI zwar nicht vollständig bestreiten, aber auch nicht zuverschlussfolgern, dass KI die Hauptursache ist.

Der Bericht vermerkt auch, dass Schüler, die KI nicht für Hausaufgaben nutzen, eher aktiv Lehrer und Freunde fragen, was darauf hindeutet, dass Lerngewohnheiten, nicht nur Werkzeuge, zum Ergebnis beitragen können.

Schließlich, was viele Artikel über PISA 2025 übersehen, ist, dass die Beziehung zwischen KI und Ergebnissen nicht einfach einseitig verläuft. In der Gruppe der Schüler, die Chatbots verwenden, um den Unterricht zu verstehen, erreichten diejenigen, die dies mäßig machten, etwa einmal pro Woche, in Naturwissenschaften etwa 500 Punkte – mehr als die täglichen Nutzer und die Nichtnutzer. Laut OECD kann die moderate und zweckgebundene Nutzung von KI für das Lernen mit positiven Ergebnissen verbunden sein.

Bemerkenswert ist, dass selbst in der täglichen Nutzergruppe diejenigen, die von ihren Lehrern häufig dazu angeregt wurden, KI-generierte Inhalte zu hinterfragen, in Naturwissenschaften etwa 13 Punkte mehr erreichten als diejenigen, die dies nicht übten.

Herr Andreas Schleicher, Direktor der OECD-Bildungsabteilung, verglich es damit, dass man nicht stärker wird, indem man zusieht, wie andere trainieren.