Generative Machine-Learning-Systeme überfordern uns alle

Bei meiner Keynote an der PH Zürich Anfangs 2024 zum Thema generative Maschine-Learning-Systeme (GMLS) in der Bildung und insbesondere in der Lehrer:innen-Bildung hatte ich Empfehlungen formuliert, was angesichts von GMLS zu tun sei. Die erste Empfehlung lautete: Sie dürfen überfordert sein, der Referent ist es auch.

Das war nicht (nur) eine Anbiederung ans Publikum, das war ernst gemeint. Erstmals in meinem Berufsleben ist mit der Veröffentlichung von ChatGPT der Strom an News und Fragen massiv grösser als meine Verarbeitungskapazität (trotz ausgefeilter Werkzeuge wie einem Biblionetz, Wikis etc.). Vor ChatGPT hatte ich das Gefühl, nur dann ein Referat zu geben, wenn ich sattelfest im Thema war und wusste, dass die Gefahr sehr gering war, dass jemand im Publikum aufstreckt und mir komplett neue Gedanken, Publikationen oder Entwicklungen im Themengebiet meines Vortrags präsentieren würde. Seit ChatGPT hat das spürbar geändert. Weder kann ich die grossen Fragen beantworten noch habe ich den Überblick über alle Entwicklungen.

Ich fand es deshalb bemerkenswert, dass der vielfache Buchautor und Experte für Wissensmanagement Tom Davenport (Biblionetz:p00374) in seiner gestrigen Kolumne (Biblionetz:t32566) schrieb:

Da steht ein weltbekannter Experte hin und sagt: "Ich habe keine Ahnung, wie das weitergehen wird."

Dieses Zugeben des Nichtwissens scheint mir bedeutsam. Wir sollten öfters hinstehen und sagen «Wir wissen es (noch) nicht.»

Im Umkehrschluss sollten wir dann aber auch (vor-)schnelle Antworten auf grosse Fragen entsprechend kritisieren. Konkret im Wissenschaftsbereich betrifft dies z.B. die beiden Metastudien, die bezüglich Lernförderlichkeit von GMLS publiziert und in den sozialen Medien anfänglich unkritisch geteilt und bejubelt, dann aber methodisch heftigst kritisiert worden sind (es ist ein Symptom dieser Überforderung, dass ich die beiden Studien und die methodische Kritik daran noch nicht im Biblionetz erfasst habe,,,(Update siehe unten)). (Stichworte: slow science - fast science Wir sollten darauf hinweisen, dass es methodisch gar nicht möglich ist, in so kurzer Zeit saubere Metastudien zu produzieren und dass sowohl die technische Entwicklung als auch der Umgang der Menschheit sich mit GMLS derzeit noch so rasch entwickelt, dass jegliche Studien nur Momentaufnahmen sind, die bei der Publikation bereits von der technischen und gesellschaftlichen Entwicklung überholt worden sind.

In meiner überholten traditionellen Arbeitsweise versuche ich diese Entwicklung für mich zu fassen, indem ich ihr ein Biblionetzobjekt mit dazu gehörendem Permalink verpasse: Generative Machine-Learning-Systeme überfordern derzeit alle (Biblionetz:a01568)

* 25.05.25 Hier Verweise zu den erwähnten Metastudien und der Kritik an ihnen:

• Biblionetz:t32349 Deng, R. et al. (2024) Does ChatGPT enhance student learning?
  • Biblionetz:t32459 Weidlich, J. et al. (2025) ChatGPT in education: An effect in search of a cause
• Biblionetz:t32540 Wang, J. & Fan, W. (2025) The effect of ChatGPT on students’ learning performance, learning perception, and higher-order thinking
  • Biblionetz:t32541 Bergenholtz, C. (2025) Comment to the Wang & Fan metatudy on ChatGPT
  • Biblionetz:t32568 Bartoš, F; Martinková,, P & Wagenmakers, E. J. (2025) Adjusting for Publication Bias Reveals No Evidence for the Effect of ChatGPT on Students’ Learning Performance, Learning Perception, and Higher-Order Thinking