Gaslaternen-Forschung

Die wachsende Bedeutung der digitalen Transformation für die Bildung aber auch die Corona-Pandemie führen dazu, dass in meiner Wahrnehmung derzeit wieder vermehrt Evaluationen der Nutzung digitaler Medien in der Schule durchgeführt werden. In den meisten Fällen werden dazu Fragebogen für Schüler:innen und Lehrpersonen zu deren Selbsteinschätzung von digitaler Kompetenz und Nutzung digitaler Medien zu Lehr- und Lernzwecken verwendet.

In jüngerer Vergangenheit sind mir dabei mehrere Fälle begegnet, bei denen in meiner Einschätzung veraltete Fragen und/oder Skalen verwendet worden sind. Zwei Beispiele.

Beispiel 1: Erhebungsinstrument von 2010

In einer 2021 veröffentlichten Publikation (Biblionetz:t28997) wird zur Erhebung der verfügbaren IT-Infrastruktur ein Erhebungsinstrument aus dem Jahr 2010 verwendet:

Die Verwendung eines über 10 Jahre alten Erhebungsinstruments zur Selbsteinschätzung der IT-Infrastruktur ist für mich hoch problematisch, da die IT-Infrastruktur zu denjenigen Aspekten der digitalen Transformation gehört, die sich rasch entwickeln. Konkret: Während dieses Instrument im Jahr 2010 eventuell die damals wünschenswerte Vielfalt abbilden konnte, passt es nicht mehr zur heutigen Zeit. Wer verwendet heute noch «Aufnahmegeräte» (gemeint sind vermutlich Diktiergeräte) mit Schülerinnen und Schülern deren Audiodateien zur Weiterverarbeitung danach mühsam mit Kabel oder Speicherkarten auf moderne Geräte (Tablets, Smartphones) übertragen werden sollten (die weder über die dafür notwendigen Speicherkartenleser oder Kabelanschlüsse verfügen), wenn leistungsfähige Tablets und Smartphones zur Verfügung stehen? Im Extremfall einer Schule mit einer 1:1-Tablet-Ausstattung kann das Erhebungsinstrument von Breiter et al. von 2010 den Wert 0 ergeben, da die Schule weder über Computerräume, Computer- oder Tablet-Klassensätze noch über analoge oder digitale Kameras, Diktiergeräte oder interaktive Whiteboards verfügt.

Egal was und mit welchen statistischen Methoden mit einem auf dies Art und Weise erhobenen Wert gerechnet und letztendlich geschlussfolgert wird: Es ist problematisch – oder wie Informatiker:innen sagen würden: GIGO: Garbage in – Garbage out. Es hilft übrigens nichts, wenn in solchen Fällen errechnet und geschlussfolgert wird, dass die IT-Ausstattung keinen Einfluss auf andere untersuchte Variablen habe und damit der IT-Ausstattung eigentlich keine grosse Bedeutung zukomme. Auch diese Aussage steht auf sehr wackligen Füssen.

Beispiel 2: Veraltete, abgeschnittene Antwortskala

Aktuell befragt das Institut für Erziehungswissenschaft der UZH zusammen mit der eidgenössischen Hochschule für Berufsbildung (EHB) Lehrpersonen der Sekundarstufe II in der Schweiz zur Nutzung digitaler Medien im Unterricht. Dabei wird u.a. folgende Frage gestellt:

Betrachtet man die zur Verfügung gestellte Antwortskala dieser Frage, so fällt auf, dass sie weder vollständig noch ausbalanciert ist. So ist es zwar möglich, mit «nie» zu antworten, nicht aber mit «jede Unterrichtsstunde». Mehrere Lehrpersonen haben sich bei mir gemeldet, dass sie diese Fragen teilweise gar nicht wahrheitsgemäss ausfüllen könnten…

Gaslaternen-Forschung

In Anlehnung an den Begriff der Strassenlaternen-Forschung (Biblionetz:w03285), welcher die Tendenz beschreibt, dort zu forschen, wo die Daten am leichtesten verfügbar sind, nenne ich solche Forschung künftig Gaslaternen-Forschung (Biblionetz:w03362). Damit beschreibe ich das Phänomen, in sich wandelnden Untersuchungsfeldern veraltete Evaluationsinstrumente und -skalen zu verwenden, weil diese bereits validiert und publiziert sind.

Probleme von Gaslaternen-Forschung

Gaslaternen-Forschung hat für mich zwei Probleme. Das offensichtliche – Garbage in / Garbage Out – habe ich bereits angesprochen. Es ist frustrierend zu sehen, wie oft mit viel Statistik versucht wird, aus veralteten Erhebungsinstrumenten valide Erkenntnisse zu gewinnen.

Auf einer Meta-Ebene ist für mich Gaslaternenforschung aber auch über das konkrete Forschungsvorhaben problematisch, weil sie meiner Meinung nach das Vertrauen in entsprechende Forschung untergräbt. Wer aufgefordert wird, Fragebogen mit solch veralteten Auswahlmöglichkeiten zu beantworten, verliert das Vertrauen in die Aussagekraft entsprechender Forschungsergebnisse und wird deshalb künftig (noch) weniger (oder nicht mit der notwendigen Ernsthaftigkeit) an entsprechenden Befragungen teilnehmen

Warum entsteht Gaslaternen-Forschung?

Angesichts der offensichtlichen Probleme von veralteten Erhebungsinstrumenten: Warum tun Forschende so etwas? Sie sind ja nicht blöd (oder mindestens nicht alle davon). Ich habe zwei Erklärungsansätze. Beide beruhen auf der Grundaussage: «Dazu existiert bereits ein publiziertes Erhebungsinstrument».

• Fehlende Kompetenz im entsprechenden Thema: In meiner Wahrnehmung werden solche Erhebungsinstrumente oft von Forschenden verwendet, die zwar forschungsmethodisch kompetent sind, sich aber mit dem konkreten Aspekt des problematischen Erhebungsinstruments nicht auskennen und damit die Problematik des Instruments gar nicht erkennen.
• Effizienz / Vergleichbarkeit / Publizierbarkeit der eigenen Untersuchung: Daneben gibt es auch Forschende, denen die Problematik veralteter Erhebungsinstrumente durchaus bekannt ist, sich aber trotzdem bewusst für deren Verwendung entscheiden. Dahinter stecken mehrere Begründungen, die sich letztendlich alle auf die Maxime Publish or Perish in der Wissenschaft zurückführen lassen:
  • Effizienz: Es ist effizienter, ein bestehendes Erhebungsinstrument zu verwenden, als ein eigenes zu entwickeln.
  • Vergleichbarkeit: Wird ein bestehendes Erhebungsinstrument verwendet, so lassen sich die Daten der eigenen Erhebung mit derjenigen früherer Erhebungen vergleichen. Damit sind unter Umständen interessante längsschnittliche Aussagen machbar.
  • Publizierbarkeit: Sowohl die Verwendung etablierter Erhebungsinstrumente als auch längsschnittliche Vergleiche erhöhen die Wahrscheinlichkeit, dass eine entsprechende Publikation akzeptiert wird, da dies zeigt, dass die Autor:innen sich mit der bereits publizierten Forschung beschäftigt haben (nein, diese Hypothese habe ich nicht empirisch geprüft).

---

Zum Kommentieren ist eine Registration notwendig.

Kategorien: IsaBlog