Qualität von Multiple-Choice-Fragen

Weshalb sollte eine Lehrperson auf Multiple-Choice-Fragen (MCF) zurückgreifen? Zumindest mag es schwer fallen sämtliche Lernziele der Bloomschen Taxonomie zu erfüllen. Doch sollte dies der Anspruch an Multiple-Choice-Fragen sein, sämtliche Lernziele abzudecken?  - Ich denke eher Nein. Vielmehr sollten Sie passgenau an den Stellen eingesetzt werden, an denen Sie ihre Stärken haben. - Aus einem Artikel der Leibniz Universität in Hannover (Deutschland) werden vier Lernziele aufgeführt, welche auf diesem Weg erfüllt werden können:

• Reproduktion
• Reorganisation
• Transfer
• Problemlösendes Denken

Peter Vontobel ergänzt hier und verweist darauf, dass "Denkprozesse höherer Ordnung" via MCF durchaus ausgelöst werden können, wenn er sagt:

"MCF sind nicht nur geeignet für die Überprüfung von Gedächtnisleistungen, sondern können auch Denkprozesse höherer Ordnung auslösen (z.B. Verstehen, Anwendung, Analyse, Synthese, Bewertung, vgl. Lernzieltaxonomie nach Bloom2). Eine im Stamm erfolgende Denkaufforderung löst beim Lernenden komplexere Denkprozesse

aus als eine reine Wissensabfrage."   Vgl. Peter Vontobel (27. Oktober 2003; Pädagogische Hochschule Zürich)

Elemente einer Multiple-Choice-Frage:

Vgl. Peter Vontobel (27. Oktober 2003; Pädagogische Hochschule Zürich)

Nun, wie sollten Multiple-Choice-Fragen gestaltet sein? Peter Vontobel (27. Oktober 2003; Pädagogische Hochschule Zürich) setzte sich mit der Frage nach einer effektiven und effizienten Ausgestaltung von Multiple-Choice-Fragen auseinander. Er formulierte Regeln, nach denen sie zu gestalten sind:

Regeln zur Gestaltung von Multiple-Choice-Fragen

" [...]

1. Der Stamm sollte eine genaue Umschreibung eines mit Bedeutungsgehalt ausgestatteten Problems darstellen [...].

2. Die Distraktoren (die falschen Alternativen) sollten plausibel sein. Plausibilität kann erreicht werden, indem die Aussagen vertraut, vernünftig, relevant erscheinen. Es darf nicht sein, dass offensichtlich eine oder mehrere Antworten nichts mit dem Thema zu tun haben.

3. Anzahl der Antwort-Alternativen: [...] Distraktoren: ab 3 – 4 Alternativen entsteht eine richtige Auswahl. Minimal können zwei Alternativen gewählt werden, z.B. auch als «Ja/Nein» oder «Richtig/falsch». Mehr als fünf Alternativen erscheinen mir zuviel [...]. Und: Es ist durchaus sinnvoll, die Anzahl der Alternativen zu variieren; dies vermindert eine Routinebildung.

4. Es ist besser, im Stamm eine Frage zu stellen, als einen Satz zu beginnen, der beendet werden muss. [...]

5. Die richtige Antwort sollte nicht länger sein als die falschen. Man neigt dazu, die richtige Antwort ausführlicher zu formulieren, damit sie den richtigen Sachverhalt präzise erfasst.

6. Die richtige Antwort darf nicht immer an der gleichen Stelle stehen! Unbewusste Lokalisierungstendenzen sollten entschärft werden, indem man bewusst auf allen Stellen in etwa die gleiche Anzahl richtiger Antworten platziert.

7. Es darf nur eine – und wirklich nur eine! – Antwort geben, die von Expertinnen und Experten als richtig bezeichnet würde! Es darf keine falsche Antwort geben, die auch noch «ein bisschen» richtig ist.   [...]"

Vontobel verweist in seinen Ausführungen darauf, dass die Lernenden bei der Lösung von MCF ein bestimmtes Verhaltensmuster an den Tag legen. Dieses Verhaltensmuster gilt es zu berücksichtigen und ist jeweils mit einer Gegenstrategie zu beantworten. Dabei zitiert er Dewey und seine "Faustregeln".

MCF-Gestaltung unter Berücksichtigung der Lösestrategien von Studierenden

" [...]

• «Wähle die längste Antwort» - Gegenstrategie: Stelle sicher, dass die längste Antwort nur in etwa 25% der Fälle richtig ist (bei durchschnittlich 4 Antwort-Alternativen).

• «Wähle immer die gleiche Antwortposition» - Gegenstrategie: Stelle sicher, dass die richtige Antwort auf alle Positionen verteilt ist, in zufälliger Abfolge.

• «Wähle nie eine Antwort mit den Wörtern „immer“ und „nie“» - Gegenstrategie: Stelle sicher, dass Sätze mit den Wörtern «immer» und «nie» in einem Viertel der richtigen Antworten vorkommen (bei durchschnittlich 4 Antwort-Alternativen).

• «Wenn zwei Antwort-Alternativen zwei gegensätzliche Positionen vertreten: Wähle eine von diesen und ignoriere die anderen Möglichkeiten» - Gegenstrategie: Offeriere manchmal Gegenpositionen, von denen keine richtig ist.

• «Wenn du unsicher bist: rate» - Gegenstrategie: Vergrössere die Anzahl der Antwort-Alternativen.

• «Wähle die wissenschaftlich klingende Antwort» - Gegenstrategie: Benutze auch eine wissenschaftlich klingende Sprache bei den Distraktoren.

• «Wähle keine Antwort, die einfach oder offensichtlich erscheint» - Gegenstrategie: Manchmal soll auch die richtige Antwort einfach oder offensichtlich erscheinen.

• «Wähle eine Antwort, die einen Begriff enthält, von dem du weisst, dass er zum Thema gehört»  - Gegenstrategie: Auch die falschen Antworten enthalten Begriffe zum Thema, aber in einem falschen Kontext.   [...]"

Fragestrategien

Je nach Lernziele und Lerninhalte lassen sich verschiedene Fragestrategien anwenden. Die Leibniz Universität in Hannover (Deutschland) zählt exemplarisch dazu drei Beispiele auf:

• Abfragen von Voraussetzungen und Konsequenzen
• Bilden von Analogien
• Formulieren von kleine Fallstudie

Zur Abfrage von Voraussetzungen und Konsequenzen ist im Stamm eine gegebene Situation darzustellen und mit einer dazugehörenden Frage zu ergänzen. Die Lernenden sollen in eine Situation hineinversetzt werden, in der sie den richtigen Schluss zu ziehen haben. Die Leibniz Universität in Hannover (Deutschland) nennt führt dazu ein Beispiel auf:

"Der Proteinkomplex ATP-Synthease auf den Membranen von Mitochondrien versorgt die Zelle
mit dem universellen Energieträger ATP, wenn Sauerstoff vorhanden ist. Stellen Sie sich ein
Stoffwechselgift vor, das die Funktion der mitochondrialen ATP-Synthease spezifisch und
vollständig hemmt.

Welchen der folgenden Effekte würden Sie erwarten?
a) Der ph-Unterschied beiderseits der inneren Mitochondrienmembran nimmt ab.
b) Der ph-Unterschied beiderseits der inneren Mitochondrienmembran nimmt zu. (richtig)
c) Es gibt keine Veränderung im ph-Unterschied beiderseits der inneren Mitochondrienmembran.
d) Der Sauerstoffverbrauch an den Mitochondrienmembranen hört auf.
e) Die Atmungskette pumpt keine Protonen mehr aus der Matrix."

Bei der Bildung von Analogien kommt der Befragte in eine Situation, in der er Relationen erfassen muss. Beispiel:

"Zwei Begriffe A und B stehen in einem bestimmten Verhältnis zueinander. Gesucht ist ein
Begriff D, der zu einem Begriff C im gleichen Verhältnis steht wie B zu A.
Beispiel:
Ein Quadrat verhält sich zu einem Würfel wie ein Kreis zu:
a) einer Pyramide
b) einem Kegel
c) einer Kugel (richtig)" (vgl. Leibniz Universität in Hannover (Deutschland))

Die Idee daraus ist, ein Verständnis abzufragen. Wie stehen die Sachverhalte zueinander? - Wie stehen alternative Problem-Lösungsansätze zueinander?

Als eine weitere Strategie nennt die Leibniz Universität in Hannover (Deutschland) die Beschreibung und Kreation kleiner Fallbeispiele. Hier lassen sich in der Tat auch höhere Lernziel-Formen nach Bloom in die Tat umsetzen. Der besondere Vorteil liegt darin, dass als eine Einführung ein zentraler Fall beschrieben wird. Im Anschluss daran schliessen sich verscheidene Fragen an mit den jeweiligen alternativen Lösungsansätzen, welche Bezug auf den zu Beginn eröffneten Fall nehmen. Ein Fall kann so aus verschiedenen Blickwinkeln betrachtet werden.

Vontobel thematisiert in seine Ausführungen das "Vorgehen beim Gestalten von MCF zu einem Thema". Grundsätzlich schlägt er vor, die MCF ohne Lehrbuch / Skript zu schreiben, um Fragen auszuschliessen, welche sich auf kleinste Details aus dem Text beziehen und den Lernenden das Lösen dieser Aufgabe erschwert wird bzw. sie sie nur lösen können, wenn sie über ein fotografisches Gedächtnis verfügen. Er stellt zugleich voran, dass das Schreiben von MCF darauf Rücksicht nimmt, dass Eindeutigkeit gewährleistet wird.

Einsatz systemischer Fragen im Lehrer-Schüler-Gespräch

Der Einsatz "systemischer Fragen" habe ich aus dem Coaching übernommen und wende sie während des Unterrichts nunmehr nicht nur in den Einzel- und Gruppenaufträgen an, sondern auch im Lehrer-Schüler-Gespräch. Damit verbunden ist die Vorstellung, dass jegliche Inputs einer Lehrkraft zugleich weiterführende Annahmen und Argumente bei den Schülern provozieren sollten. In jeder Phase des Schulunterrichts hat die Lehrperson die Chance, die Lernenden in den innersten Zirkel des Entdeckens einzuschliessen und sie zu konfrontieren. Dies kann mittels Zielfragen, Skalierungsfragen, Zirkuläre Fragen oder Fragen nach Ausnahmen / Ressourcen geschehen.


Möglichkeiten: Auf diese Weise könnten so Annahmen, Szenarien oder gar utopische Situationen vorangestellt werden und die Lernenden für anschliessende Einzel- oder Gruppenarbeiten vorsensibilisieren. - Darüber hinaus besteht so auch die Möglichkeit, in eine Diskussion im Klassenplenum oder in eine Debatte innerhalb der Klasse einzuleiten. - Letztlich können gelesene Texte so nochmals repetiert und mit Annahmen vertieft werden.


Umsetzung: Im Rahmen des Wirtschafts- und Staatskundeunterrichts könnten die Fragen wie folgt umgesetzt werden:

a) Zielfragen: 

Wunderfrage: "Stell Dir vor, über Nacht wären die Schulden der EURO-Staaten verschwunden und wären ersetzt worden durch einen Überschuss an Steuergeldern. - Stell Dir vor, niemand hätte Dir davon erzählt, dass dies so ist. - Woran könntest Du dies erkennen? - Woran würden die Menschen in Griechenland dies merken?"

b) Skalierungsfragen:
"Stellen Sie sich vor, Sie sind Wirtschaftswissenschaftler und müssten die wirtschaftliche Situation in Griechenland beschreiben und beurteilen. Dabei hätten Sie eine Skala von 1 bis 10. "1" bedeutet, dass die Wirtschaft in Griechenland so schlecht ist, dass die Menschen auf die Strassen gehen und bürgerkriegsähnliche Situationen vorherrschen, in denen jeder seine Existenz sichern möchte. "10" bedeutet hingegen, dass Griechenland ein Land ist ohne Armut und ohne Arbeitslosigkeit ist; wir hätten Wohlstand für alle und alle Menschen wären zufrieden. - Auf welcher Stufe setzten Sie Griechenland im Moment? - Was müsste passiert sein, dass Griechenland sich um eine Stufe verschlechtert? - Was müsste Geschehen, dass sich Griechenland um eine Stufe verbessert?"

c) Zirkuläre Fragen:
"Angenommen die Direktdemokratie wäre in der Schweiz in kürzester Zeit abgeschafft worden. - Wer würde am meisten davon profitieren? - Wer am wenigsten?"

"Angenommen wir hätten in der Wirtschaft innerhalb von einer Nacht kein Geld, es wäre einfach abgeschafft worden. - Wer würde zuerst seine Verhaltensweise verändern und wie würde er es tun? - Wer wäre in dieser Situation am ehesten froh und warum wäre dies so?"

d) Fragen nach Ausnahmen / Ressourcen: 
"Gab es in den letzten 20 Jahren in der Schweiz Situationen, in denen die Inflation stärker anstieg als 2%? - Was hat die Nationalbank in dieser Situation anders gemacht? - In welchen Situationen reagierten andere Nationalbanken in Europa oder den USA ähnlich? - Welche Erfolge konnten Sie damit vorweisen?

Strukturierung von Lerninhalten

Der Erfolg eines handlungsorientierten Schulunterrichts liegt letztlich darin, inwiefern es gelingt die eigenen Denkprozesse und Ergebnisse zu strukturieren und zu ordnen. Dies wird umso notwendiger, je komplexer die Problemstellungen sind. Das Eidgenössisches Hochschulinstitut für Berufsbildung (EHB) (Vonlanthen 9.01.06 / 17.11.07) setzte sich mit den Zielen, den Methoden und den Einsatzmöglichkeiten von Strukturierungstechniken im Schulkontext auseinander.

1. Ziele

Ausgangspunkt sind komplexe Sachverhalte, bei denen es darum geht, sie nach bestimmten Kriterien und Beziehungsgesichtspunkten zu strukturieren sowie "exemplarisch darzustellen". Damit - so die Verfasser des Textes - werden folgende Ziele verfolgt:

• Didaktische „Aufbereitung“ von Inhalten
• Inhalte für die Lernenden besser fassbar machen, da eine Reduktion erfolgt
• Ordnung
• Zusammenhänge und Gesetzmässigkeiten aufzeigen

2. Methoden der Strukturierung

Zwei Mapping-Verfahren werden vorangestellt:

• Mind Map  
• Concept Map (Begriffsnetz oder Sachstruktur)  

(A) Mind Map

Hier geht es um eine übersichtliche grafische Anordnung von Begriffe, Ideen, Gedanken mittels Zweigdiagramm (mit Haupt- und Nebenäste).

Als Regeln zum Verfassen eines Mind Maps geben die Autoren an:

• leeres Blatt im Querformat nehmen
• zentralen Begriff, das Thema, in die Mitte notieren
• um den zentralen Begriff die Hauptäste (Hauptgedanken) notieren
• die Hauptäste erweitern um die Nebenästen (Nebengedanken)
• Zu Haupt- und Nebenästen Notizen, Bilder, Grafiken hinzufügen

Nachfolgend ein Beispiel: 

 

Abbildung: Mind Map zum Thema Mind Map (Quelle: Müller, 2001)

(B) Begriffsnetz (Concept-Map oder Sachstruktur)

Als wesentlicher Unterschied zum Mind Map wird hier angegeben, dass nicht ein zentraler Begriff in der Mitte steht, sondern dass mehrere zentrale Begriffe miteinander in Beziehung stehen und sich gegenseitig beeinflussen.

Zudem werden die Beziehungen nicht durch eine Liniendarstellung ausgedrückt. Es werden vielmehr mittels Pfeilen Kausalitätsrichtungen vorgegeben, wie nachfolgendes Beispiel zeigt:

Als Regeln zum Verfassen eines Begriffsnetzes geben die Autoren an:

• einzelne Begriffe, werden in einen "sinnvollen Zusammenhang" gestellt. 
• "Begriffe, die eng miteinander verbunden sind, sollten recht nahe beieinander liegen."
• Begriffe, welche nicht in das Netz passen, werden beiseite gelegt.
• Begriffe nur einmal verwenden
• Begriffe, zwischen denen eine Beziehung besteht, miteinander mit einem Pfeil verbinden
• "Relationen bilden: Schreiben Sie an jeden Pfeil, inwiefern Begriffe miteinander zu tun haben. dabei spielt auch die Richtung der Beziehung (die Pfeilrichtung) eine wesentliche Rolle. Die Relationen können verschiedenen Charakter haben, z.B. [a] zuordnen (hat, ist ein, braucht, ...), [b] werten (schont, schädigt, ...), [c] eine Handlung charakterisieren (wandelt um, zeigt, liefert, verursacht, ...), usw."

Wichtig:

• Es gibt zahllose richtige Verbindungen / Netze. 
• Komplexität nimmt mit der Anzahl Begriffe zu: "Es empfiehlt sich die Zahl der zu verwendenden Begriffe zu beschränken. Realistische Grössenordnung: 6 – 12 Begriffe." 
• Zusätzliche Möglichkeit für den Unterrichtseinsatz: Gebrauch sog. „Referenznetze“ (etwa für die Prüfungsvorbereitung). => Wirkung: Orientierung und Verbindlichkeit.

(C) Links und Anschauungs-Beispiel

• Sammlung von Begriffsnetzen: http://www.mvo.ehb-schweiz2.ch/Sachstruktur.htm
• Unterscheidung von Mind Map und Concept Map: http://www.learn-line.nrw.de/angebote/selma/foyer/projekte/hammproj4/difference.htm

Möglicher Klassen-Auftrag (Beispiel 1): ein Mind Map und ein Begriffnetz zu einem vorgegebenen Lehrbuchtext entwickeln.

• "Zeitaufwand: Mind Map und Begriffsnetz entwickeln etwa 1 h 

[...]

• 1. Entwickeln Sie zu diesem Text ein Mind Map.
• 2. In einem nächsten Schritt verfassen sie dazu auch ein Begriffsnetz. 
• Zur Vereinfachung verwenden Sie die Schlüsselbegriffe aus dem Text: ...

[...]

• Sie können natürlich auch noch zusätzliche Begriffe in ihr Begriffsnetz einbauen.

[...]

• Falls Sie das Mind Map und das Begriffsnetz mit dem Computer zeichnen möchten finden Sie ebenfalls im Anhang unter den Internetlinks Angaben zu download-Möglichkeiten von zwei nützlichen Programmen (Mind Map: MindManager Smart; Begriffsnetz: SMART Ideas)."

3. Einsatzmöglichkeiten von Begriffsnetzen im Fachunterricht

Das EHB sieht den Nutzen zusammengefasst in folgenden Punkten:

• Darstellung von Sequenzierungen und zeitlichen Abfolgen (z.B. von Lernzielen)
• Übersicht von Beziehungen und Plausibilität von Abfolgen und Kausalitäten mit der Wirkung der Unterstützen von Lernprozessen 
• Darstellung eines schrittweisen Aufbaus 
• Abbild eines Lernprozesses
• Darstellung und Verständnisentwicklung einer Sachstruktur 
• Darstellung eines „Referenznetzes“: Orientierungshilfe und Wiedergabe einer verbindlichen Wissensstruktur => "Begriffsnetze lassen sich auch zur formalen Bewertung von Lernleistungen verwenden. Zu diesem Zweck müssen jedoch klare Kriterien festgelegt werden, gemäss derer man die fertigen Netze mit bestimmten Punktzahlen belegen will. Mögliche Bewertungskriterien sind:
  1. die Anzahl der einbezogenen Teil-Begriffe 
  2. die Anzahl der richtigen Verknüpfungen im Begriffsnetz 
  3. die „Beweglichkeit“, mit der sich jemand in diesem Netz zurechtfindet, d.h. die Verknüpfungen in beliebiger Reihenfolge und Richtung gedanklich durchschreiten kann. Vergleichen Sie dazu http://www.math-edu.de/Concept_Mapping/Unterricht_CM.html"

Für das Vorgehen schlägt das EHB vor:

1. Begriffskarten werden von der Lehrperson vorbereitet und von den Lernenden sortiert. Unbekannte Begriffen können weggelegt werden. 
2. Begriffskarten werden auf eine Papierunterlage gelegt und je nach kausaler Nähe zueinander geordnet. 
3. Pfeile werden eingezeichnet und beschriftet. 
4. Fertiges Begriffsnetz wird von der Gruppe präsentiert.

4. Eigene Lerninhalte strukturieren 

Möglicher Klassen-Auftrag (Beispiel 2): Um einen Lerninhalt aus dem eigenen Fach zu strukturieren schlägt das EHB vor:

"Zeitaufwand: Text auswählen und Begriffsnetz entwickeln etwa 1 h, Auswerten und Rückmelden etwa 1 h

1. Wählen Sie einen Text aus ihrem Lehrbuch zu einem Thema, das Sie aktuell im Unterricht behandeln oder einen Begriff oder Sachverhalt aus Ihrem Lehrplan.

2. Entwickeln Sie dazu ein Begriffsnetz

3. Tauschen Sie Ihren Text (falls er als Grundlage diente) und Ihr Begriffsnetz mit einem Kollegen oder einer Kollegin aus der Studiengruppe aus. 

4. Beurteilen Sie das Begriffsnetz und verfassen Sie eine Rückmeldung:

• Erster Eindruck: Ist das Netz übersichtlich? Finden sich die Lernenden zurecht? 

• Entspricht das Netz den formalen Anforderungen (Anzahl verwendeter Begriffe, keine Mehrfachverwendung von Begriffen, Beschriftung der Pfeile, Pfeilrichtung)? 

• Werden im Begriffsnetz die wesentlichen fachlichen Schlüsselbegriffe verwendet? Ist das Netz inhaltlich korrekt, ist es verständlich? Für welche Lernschritte ist das Netz hilfreich?

5. Tauschen Sie ihre Rückmeldungen wieder aus."