1.3 Lernverlaufsdiagnostik als Variante formativer Evaluation

1.3.1 Wiederholte Messung ein und derselben Kompetenz

Soll der Lernverlauf und damit die Entwicklung einer Kompetenz über einen längeren Zeitraum hinweg erfasst werden, etwa über ein ganzes Schuljahr hinweg, so wird kein Weg daran vorbeigehen, die fragliche Kompetenz immer wieder zu testen, um die Leistungsentwicklung zu dokumentieren . Normalerweise würde man hierzu Paralleltests einsetzen . Wollte man aber jede Woche einen solchen Test erheben, so wären 40 Paralleltests erforderlich, da es in der Regel 40 Wochen pro Schuljahr gibt . Und wollte man Tests nur alle 14 Tage erheben, so wären immer noch 20 Paralleltests vonnöten . Tatsächlich hat Walter (2010a) in seinem Lesetest 28 Paralleltest zur Verfügung gestellt, während Souvignier und Förster (2011) in ihrer experimentellen Studie zum Effekt ihrer Lernverlaufsdiagnostik Lesen 4 × 2 Paralleltests heranzogen . Aber in vielen anderen Bereichen ist es zumindest unüblich, so viele Paralleltests im Vorhinein zu entwickeln und auf ihre Eignung hin zu überprüfen . Allerdings bietet sich oft die Möglichkeit, das Lehrziel und damit auch die fragliche Kompetenz durch die Aufgabenmenge zu definieren, zu der die Kompetenz qualifiziert . Ist dies geschehen, so kann man aus der Aufgabenmenge repräsentative Stichproben ziehen . Dieses Vorgehen ist im Einzelnen relativ komplex, aber in der Tradition lehrzielorientierter oder kriteriumsorientierter Tests differenziert belegt und erprobt (Klauer, 1987) . Beispiele für dieses Vorgehen im Bereich Mathematik Grundschule findet man in dem Beitrag von Strathmann (in diesem Band) . Die dort vorgestellte Prozedur der zufallsgesteuerten Generierung von Aufgabenstichproben konnte erst im Zeitalter des PC konsequent realisiert werden, hat aber, wie unten erläutert, bemerkenswerte testtheoretische Vorteile, die in der Tradition des CBM kaum genutzt werden konnten .

Dieses letztere Vorgehen ist jedoch mit einer Bedingung verknüpft, die auf den ersten Blick befremdlich erscheint: Man muss dann etwa das ganze Schuljahr hindurch Aufgabenstichproben vorlegen, die zwar repräsentativ sind für die Kompetenz, die am Ende des Schuljahres beherrscht sein soll, wohingegen die Kompetenz aber erst im Laufe des Schuljahres erworben wird . Die Probanden erhalten dann immer wieder Tests, von denen klar ist, dass sie noch nicht alle Aufgaben lösen können, aber dass sie im Laufe des Schuljahres imstande werden, mehr und mehr der Aufgaben zu lösen . Das ist nicht nur in der Mathematik so, sondern in nahezu allen anderen Sachfächern wie in Geschichte, Erdkunde, Biologie, Physik und dergleichen mehr . Man wird also den Kindern klar und deutlich sagen müssen, dass sie noch nicht alle Aufgaben erfolgreich bearbeiten können und deshalb die zu schweren Aufgaben unbesorgt auslassen dürfen .

Möglicherweise kann diese Problematik mit spezielleren testtheoretischen Ansätzen gelöst werden . Solange dies nicht der Fall ist, sollte man in der beschrieben Weise vorgehen .

1.3.2 Homogene Testschwierigkeiten

Ein für Lernverlaufsdiagnostik entscheidender Punkt betrifft die Schwierigkeit der einzelnen Tests . Angenommen, man würde unbeabsichtigt heute einen relativ schweren und morgen einen relativ leichten Test zur gleichen Thematik erheben, so würde vermutlich eine deutliche Leistungsverbesserung zu verzeichnen sein, ohne dass sich die Leistung tatsächlich verbessert haben müsste . Eine Lernverlaufsdiagnostik muss gewährleisten, dass die einzelnen Tests, die da gegeben werden, (erstens) dasselbe erfassen und (zweitens) auch stets gleich schwer sind . Es wäre natürlich keine Lösung, denselben Test mehrfach später wiederholt zu erheben: Er würde alleine schon wegen der Testwiederholung leichter werden, also zu besseren Ergebnissen führen, und es ist fraglich, ob er auch immer noch dasselbe messen würde . Man wird also jeweils neue Tests geben müssen, die stets dasselbe Leistungsspektrum abdecken sollen und immer gleich schwierig sein müssen . Die Homogenität der Testschwierigkeit ist also für jede Art von Lernverlaufsdiagnostik und Veränderungsmessung von zentraler Bedeutung . Gerade dieser Aspekt wurde bislang nicht hinreichend berücksichtigt, ja oft gar nicht thematisiert . Vielfach wurde unterstellt, die einzelnen Tests seien alle gleich schwer .

Bei dem Versuch, die Lernverlaufsdiagnostik zur Entwicklung der Rechtschreibkompetenz in der Grundschule einzusetzen, konnten Strathmann und Klauer (2008) auf einen definierten Grundwortschatz zurückgreifen, um daraus durch einen Zufallsgenerator Stichproben von jeweils 20 Wörtern zu ziehen . Auf diese Weise sollte gewährleistet werden, dass die Diktate immer die gleiche Kompetenz erfassen . Über längere Zeit hinweg wurden nun Grundschülern solche Wortstichproben vorgelegt . Es stellte sich aber heraus, dass die Wortstichproben mal schwerer und mal leichter waren, so dass sie sich für eine Lernverlaufsdiagnostik nicht besonders gut eigneten . Zu einem entsprechenden Ergebnis kamen auch Strathmann, Klauer und Greisbach (2010) in einer weiteren und verbesserten Studie zur Rechtschreibung . Die Autoren schlossen daraus, dass auch der bei Grundschuldidaktikern eingesetzte Grundwortschatz nicht homogen genug ist, so dass selbst Zufallsstichproben von Items nicht gleich schwere Anforderungen stellen: Man könnte entweder die Anzahl der zufällig zu ziehenden Items deutlich erhöhen oder aber den Grundwortschatz in schwierigkeitshomogenere Teilmengen zerlegen und die Teilmengen bei der Stichprobenziehung in zuvor festgelegten Proportionen berücksichtigen . Dieses letztere Verfahren wurde bei der Lernverlaufsdiagnostik Mathematik von Strathmann und Klauer (2012) erfolgreich eingesetzt (siehe den Beitrag von Strathmann, in diesem Band) .

Ein weiteres Problem stellt sich, wenn es darum geht, die Homogenität der Schwierigkeit aufeinander folgender Tests nachzuweisen . In der Praxis rechnen wir ja damit, dass die Kinder im Laufe der Zeit etwas lernen, sich also verbessern . Gibt man dann aber Tests mit stets den objektiv gleichen Schwierigkeiten, so müssen die Tests von Mal zu Mal leichter werden – eben in dem Ausmaß, in dem sich die Kinder verbessern . Der Schwierigkeitsgrad nimmt theoretisch also im Fall des Lernens kontinuierlich ab . Strathmann und Klauer (2008, 2010, 2012) haben in dieser Situation den Ausweg gewählt, immer nur zwei direkt aufeinander folgende Tests auf homogene Schwierigkeit zu testen . Dabei muss man allerdings unterstellen, dass der Lernzuwachs in dieser Zeit vergleichsweise gering ist . Tatsächlich hat sich dieses Vorgehen bewährt .

1.3.3 Änderungssensibilität

Effektive Lernverlaufsdiagnostik setzt allerdings weiterhin voraus, dass die Verfahren in der Lage sind, Kompetenzzuwächse wie Kompetenzverluste sensibel zu erfassen . Das gilt auch für Tests, die im Rahmen der „Response to Intervention“ eingesetzt werden . Veränderungsmessung spielt traditionell in anderen Bereichen der Psychologie eine große Rolle, so in der Klinischen Psychologie . Da es sich bei Erziehung und Unterricht um langfristige Interventionen handelt, sollte man annehmen, dass Veränderungsmessung in der Pädagogischen Psychologie besonders stark vertreten sei . Das ist aber keineswegs der Fall, hauptsächlich weil es noch an hierzu geeigneten Testverfahren mangelt . Lernverlaufsdiagnostik sollte jedenfalls in der Lage sein, Zuwächse in der Kompetenzentwicklung, aber auch etwaige Lernverluste zuverlässig zu erfassen, wenn das Verfahren in regelmäßigen Abständen eingesetzt wird . Es sollte also änderungssensibel sein, ein Aspekt