Didaktische Anregungen und Tipps

• Kernanliegen
  • Lernziele und Constructive Alignment
  • Lernförderlichkeit und Validität
  • Fairness und Transparenz
  • Kompetenzorientierung
• Aufgabengestaltung
  • Verständnis statt Wissen prüfen
  • Wissen in Anwendung prüfen
  • Tiefes Verständnis mithilfe neuer Lernressourcen prüfen:
  • Ressourcenreich prüfen
  • Kollaborativ prüfen und/oder Peer-Feedback
  • Kombinierte Leistungskontrollen
  • Aufgabentypen für Prüfungen in Moodle
    • Freitext
    • Multiple Choice
    • Weitere (teil)automatisch korrigierbare Aufgabenformate in Moodle
• Prüfungsformate
  • Prüfungen mit Drittapplikationen
  • Open-Book Prüfungen
• Weitere Materialien
   

Kernanliegen

Lernziele und Constructive Alignment

Leistungskontrollen sollen eine Überprüfung der in den Lernzielen festgehaltenen Kompetenzen ermöglichen. Sind Sie sich in der Gestaltung Ihrer Leistungskontrolle unsicher, lohnt es sich, sich prioritär an den Lernzielen zu orientieren: Inwiefern ermöglicht die gewählte Methode eine valide Einschätzung des Erreichens der gewünschten Lernziele? Neben Alignment mit den Lernzielen ist auch das Alignment der Leistungskontrolle mit den Lernaktivitäten der Lerneinheit wichtig (Constructive Alignment).

Lernförderlichkeit und Validität

Leistungskontrollen (und Prüfungen) sollen zwei Hauptanliegen gewährleisten. Erstens, sie sollen lernförderlich sein; das heisst, eine Leistungskontrolle soll so gestaltet sein, dass eine optimale Vorbereitung auf sie sowie die Arbeit während der Leistungskontrolle selbst zugleich auch zu einem optimalen Erwerb der eigentlichen Lernziele führt. Zweitens, sie sollen valide sein, das heisst das Erreichen der Lernziele auf geeignete Weise prüfen. Eine gute didaktische Gestaltung von Leistungskontrollen verbessert häufig sowohl Validität als auch Lernförderlichkeit. Dennoch müssen meist auch Kompromisse zwischen diesen beiden Kernanliegen gefunden werden. Dabei lohnt es sich, die Lernförderlichkeit prioritär zu behandeln; es sei denn, die Leistungskontrolle hat eine wichtige Selektions- oder Zertifizierungsfunktion zu erfüllen (wie z.B. in Basisprüfungen).

Fairness und Transparenz

Fairness und Gleichbehandlung sind ein wichtiges Grundprinzip in Leistungskontrollen. Durch ihre Selektionsfunktion ist es die Aufgabe von Leistungskontrollen, zwischen Studierenden, welche die Lernziele in unterschiedlichem Ausmass erreicht haben, zu unterscheiden. Andere Diskriminierungen sind nicht erwünscht. Gute Validität und Lernförderlichkeit sind Grundvoraussetzungen für eine faire Prüfung. Darüber hinaus muss den Studierenden transparent und klar verständlich kommuniziert werden, was von Ihnen in der Prüfung erwartet wird und was sie in der Prüfung erwartet. Die Bewertungskriterien müssen klar und für alle Studierenden identisch sein. 

Kompetenzorientierung

Kompetenz wird, nach Weinert (2001, S.27f) definiert als "die bei Individuen verfügbaren oder durch sie erlernten kognitiven Fähigkeiten und Fertigkeiten, um bestimmte Probleme zu lösen, sowie die damit verbundenen [...] Bereitschaften und Fähigkeiten, um die Problemlösungen in variablen Situationen erfolgreich und verantwortungsvoll nutzen zu können". Ein kompetenzorientiertes Prüfen bedingt deshalb einen Fokus auf die erfolgreiche Anwendung der in den Lernzielen vorgegebenen Kompetenzen in unterschiedlichem Grade neuartigen Problemstellungen sowie in möglichst authentischen fachlichen Arbeitssituationen.

Aufgabengestaltung

Verständnis statt Wissen prüfen

Sogenannte 'W'-Fragen (wie, weshalb, warum, wofür, womit etc.) sind ein einfacher und häufig zielführender Weg, konvergente Wissensfragen in offenere Aufgabenstellungen umzuformulieren. Solche Aufgaben bedingen neben Faktenwissen auch, dass dieses Wissen verstanden wird; sie sind deshalb durch blosses Auswendiglernen oder Nachschlagen möglicher Antworten nur schwer zu lösen.

Wissen in Anwendung prüfen

Wissen, welches wir zwar korrekt wiedergeben, aber nicht in konkreten und neuen Problemstellungen zur Anwendung bringen können ist inert. Eine gute Möglichkeit, Wissen in Anwendung zu prüfen stellen Fallstudien und Fallbeispiele sowie Projekte mit konkreten Problem- bzw. Aufgabenstellungen dar. Wissen, welches wir zur Anwendung bringen (müssen), wird viel tiefer verarbeitet und fördert langanhaltendes und transferierbares Lernen. Umgekehrt ermöglichen Leistungskontrollen, die auf Arbeiten basieren, die das zur Anwendung bringen von Wissen voraussetzen, eine Einschätzung, inwiefern sich Studierende tiefes, transferierbares Wissen erarbeitet haben. 

Tiefes Verständnis mithilfe neuer Lernressourcen prüfen

Tiefes Verständnis und transferierbares Lernen kann man auch als 'Vorbereitung für zukünftiges Lernen' ("Preparation for Future Learning", PFL) begreifen. Ein Schachmeister wird auch eine völlig neuartige Spielstrategie schneller lernen und tiefer verstehen als ein Novize. Dies kann man sich in Leistungskontrollen zunutze machen: Studierende erhalten als Teil einer Aufgabenstellung Lernressourcen (z.B. wissenschaftliche Fachartikel, eine neue stoffnahe statistische Methode etc.). Dabei ist wichtig, dass die Studierenden die Aufgabe mithilfe des bisher Gelernten allein nicht lösen können, sondern sie müssen zur Lösung der Aufgabe die Lernressource erfolgreich nutzen und von ihr lernen können.

Ressourcenreich prüfen

Statt Lernressourcen kann man Studierenden auch Arbeitsressourcen zur Verfügung stellen. Dies kann ein zu bearbeitender (z.B. historischer) Text, fachspezifische Software (z.B. Programmierumgebung), ein Datensatz, eine akademische Datenbank usw. sein. In den meisten Fachdisziplinen wird das Anwenden von Wissen über die Verwendung fachspezifischer Ressourcen und Werkzeuge vermittelt (z.B: Programmieren, Literaturrecherche, Design, Laborarbeit). Das erfolgreiche Anwenden von Wissen durch die Koordination mit solchen fachspezifischen Ressourcen setzt tiefes, internalisiertes und meist auch transferierbares (Fach)Wissen voraus.

Kollaborativ prüfen und/oder Peer-Feedback

Eine Möglichkeit, um grosse Studierendengruppen mithilfe von offenen Aufgaben zu prüfen, bieten Gruppenarbeiten (z.B. zweier bis fünfer Gruppen). Dies kann die Zunahme der Korrekturarbeit im Rahmen halten - insbesondere wenn keine Einzelnoten, sondern pass/fail oder Gruppennoten vergeben werden. Ähnliche Überlegungen gelten auch für den Einsatz von Peer-Feedback und Peer-Review. In einem ersten Schritt bewerten die Studierenden die Arbeiten ihrer Kommilitonen und geben Feedback. Die Examinatoren haben anschliessend die Möglichkeit, Feedback und Bewertung abzusegnen und zu übernehmen, zu ergänzen oder zu korrigieren. Die Moodle-Aktivität externe Seite Gegenseitige Beurteilung unterstützt den gesamten Prozess für Aufgaben mit Peer Feedback. Ein grosser Vorteil von kollaborativem Prüfen sowie von Peer-Feedback sind ihre ausgeprägte Lernförderlichkeit.

Kombinierte Leistungskontrollen

Durch Kombination verschiedener (alternativer) Formen von Leistungskontrollen können Schwächen einzelner Formate abgemildert werden. So kann es z.B. Sinn machen, eine Gruppenarbeit durch mündliche Kurzprüfungen zu ergänzen, um individuelle Noten festlegen zu können

Aufgabentypen für Prüfungen in Moodle

Freitext

Dieser Fragetyp erlaubt es Antworten frei und selbstständig zu formulieren. Da die Studierenden am Computer ihre Antworten einfach redigieren und deshalb prägnanter formulieren können, sind falsche oder schlechte Antworten häufig einfacher als solche zu identifizieren. Gleichzeitig bieten Freitextaufgaben am Computer den Vorteil leserlicher Texte, was die Korrekturzeit im Vergleich zu Papierprüfungen um bis zu 50% reduzieren kann. Zudem berichten zahlreiche Examinatoren, dass die Antworten am Computer umfangreicher und inhaltlich besser würden. Das Freitextformat eignet sich gut für divergente Aufgaben mit einer Vielzahl denkbarer Lösungsmöglichkeiten, wenig strukturierte Probleme oder qualitative Fragestellungen. Reine Wissensfragen hingegen passen in der Regel besser zu geschlossenen (z.B. Multiple Choice) oder halb-offenen (z.B. Kurzantwort) Aufgabenformaten.

Der Freitextfragetyp wird ausserdem eingesetzt, wenn Dateien während einer Prüfung hochgeladen werden müssen. Das wird bei Prüfungen mit Drittapplikationen benötigt, wenn mithilfe einer Software Dateien erstellt werden, die zur Bewertung eingereicht werden müssen.

Multiple Choice

Multiple Choice Aufgaben ermöglichen ein effizientes Prüfen konvergenter Fragestellungen. Dazu wählen Studierende zu einer Fragestellung aus einer Auswahl vorgegebener Antwortmöglichkeiten die passenden. An der ETH gibt es hierfür drei Fragtypen, die sich durch die Anzahl der Antwortmöglichkeiten bzw. der möglichen Anzahl der korrekten Antworten unterscheiden:

• SC(ETH): Wie in der Bezeichnung "Single Choice" zum Ausdruck kommt, muss bei diesem Fragetyp genau eine der Antwortmöglichkeiten als richtig ausgewählt werden. Es wird immer empfohlen, nach der "besten" Antwort und nicht nach der "einzig richtigen" Antwort zu fragen. Das heißt, dass nicht jede Option für sich genommen richtig oder falsch sein muss, sondern dass eine der Optionen eindeutig die beste Antwort sein muss. Dies erleichtert die Entwicklung von differenzierteren Fragen, bei denen die Studierenden nicht nur auswendig gelerntes Faktenwissen, sondern auch ein tieferes Verständnis von Konzepten unter Beweis stellen müssen.
  Wenn nicht nach der besten Antwort, sondern nach der einzig richtigen Antwort gefragt wird und jede der Optionen für sich genommen strikt richtig oder falsch ist, dann ist das Single-Choice-Format nicht zu empfehlen, da die Schülerinnen und Schüler die Optionen durch ein Ausschlussverfahren als richtig (oder falsch) identifizieren könnten. Stattdessen wird die Verwendung des MTF- oder Kprime-Formats empfohlen, wenn jede Option für sich genommen strikt richtig oder falsch ist.
  

• MTF(ETH): Beim ‘Multiple True-False’ Fragetypen müssen mehrere Antwortoptionen je als entweder richtig oder falsch bewertet werden (oder eine andere dichotome Kategorie, z. B. blau/rot, Säugetier/Vogel usw.). Die Anzahl der Antwortoptionen ist dabei nicht limitiert. Um eine Übersichtlichkeit zu gewährleisten, ist es jedoch zu empfehlen nur so viele Antwortoptionen zu benutzen, die auf einer Seite angezeigt werden können (ohne dass ein Scrollen notwendig ist). Dieser Fragetyp wird eingesetzt, wenn bei einer Fragestellung mehrere unabhängige Aspekte berücksichtigt werden müssen.
• Kprim: Der ‘Kprim’ Fragetyp ist ein Spezialfall des MTF (s.o.) Fragetypen. Bei diesem Fragtypen gibt es immer genau vier Antwortmöglichkeiten. Ein weiterer Unterschied zu MTF(ETH) Fragen sind die Bewertungsmethoden für diesen Fragetypen. Standardmässig wird die Bewertung „Kprim“ gesetzt. Dabei erhält man die volle Punktzahl, wenn alle Antworten richtig sind, die halbe Punktzahl bei drei korrekten Anworten und ansonsten null Punkte.

Weitere (teil)automatisch korrigierbare Aufgabenformate in Moodle

• Kurzantwort: Dieser Fragetyp ermöglicht es kurze Textantworten einzugeben, die automatisch bewertet werden (Welcher Fluss fliesst durch Zürich? ‘Limmat’). Es ist jedoch Vorsicht geboten, da durch kleine Abweichungen von der Musterlösung auch Antworten als falsch bewertet werden, die inhaltlich korrekt wären (z.B. ‘Limatt’). Aus diesem Grund müssen alle Antworten zu Kurzantwortfragen, welche Moodle als falsch bewertet hat, manuell nachkontrolliert und gegebenenfalls neu bewertet werden. Es ist ausserdem zu empfehlen die Antwort so kurz wie möglich zu halten, um möglichen Fehlern vorzubeugen.

• Drag-and-drop Fragen:
  • Drag-and-drop Zuordnung: Beim Fragetyp "Drag-and-drop Zuordnung" können Begriffe oder Bilder einer ersten Liste per drag-and-drop zu Begriffen einer zweiten Liste zugeordnet werden. Es können mehr Antwortmöglichkeiten als tatsächlich benötigte Antworten definiert werden.
  • Drag-and-drop auf Text: Mit diesem Fragetypen können fehlende Wörter in einem Lückentext ergänzt werden. Hierbei ist es möglich mehr Antworten als tatsächlich vorhandene Lücken zu definieren.
  • Drag-and-drop auf Bild: Dieser Fragetyp ermöglicht das Positionieren von Text oder Bildern auf vordefinierten Stellen in
    einem Bild. Dies eignet sich z.B. gut für das Beschriften von Modellen. Es können mehr Antwortmöglichkeiten als Dropzonen im Bild definiert werden.

• Lückentext (Cloze): Lückentextfragen erlauben es, dass innerhalb einer Frage mehrere Fragetypen kombiniert zum Einsatz kommen (Kurzantwort, numerische Frage und Multiple Choice). Zur Erstellung einer Clozefrage, muss man der vorgegebenen externe Seite Syntax folgen. Eine Altenative stellt der Editor dar, der einem die Erstellung erleichtert. Da die Möglichkeiten der Single-Choice/ Multiple Choice Fragen in diesem Fragetypen limitiert sind, empfehlen wir primär die Fragetypen SC(ETH), MTF(ETH) und Kprim einzusetzen, wenn eine Multiple Choice Frage eingesetzt werden soll.

Prüfungsformate

Prüfungen mit Drittapplikationen (On Campus Online-Prüfung)

On Campus Online-Prüfungen an der ETH finden in einer abgesicherten Umgebung z.B. unter Einsatz des Safe Exam Browsers (SEB) statt. SEB besteht aus einer Browser- und einer Kioskkomponente. Diese sichert den Rechner während der Prüfung in einem sogenannten „Kioskmodus“ ab. In diesem Modus ist der Zugriff auf unerwünschte Systemfunktionen, Programme, Webseiten (ausser Moodle) und weitere Ressourcen unterbunden. Ist ein Zugriff auf bestimmte elektronische Ressourcen und Programme während der Prüfung explizit erwünscht (z.B. Software, Files, Webseiten), kommt ein fortgeschrittenes Setup mit einer Kombination aus Safe Exam Browser, virtueller Desktop Infrastruktur („VDI“) und Moodle zum Einsatz, in welchem die erwünschten elektronischen Ressourcen gezielt freigegeben werden. Auf diese Weise können kompetenzorientierte Prüfungen mit Software (z.B. Jupyter Notebook, R-Studio) sowie Open-Book Prüfungen angeboten werden, deren Aufgaben sich eng an der jeweiligen fachlichen Praxis orientieren. Das Setup wird zu Beginn des Semesters festgelegt und den Studierenden mitgeteilt, damit sie sich mit der eingesetzten Software vertraut machen, bzw. auf das Prüfungsformat „open-book“ vorbereiten können.

Open-Book Prüfungen

In Open-Book Prüfungen ist die Verwendung von bspw. (handschriftlichen) Notizen, Vorlesungsunterlagen, fachlichen Textbüchern, Übungsserien aus dem Semester oder Online-Datenbanken explizit erlaubt. Da Notizen häufig digital abgespeichtert werden, können die Notizen bei einer On Campus Online-Prüfung auch in digitaler Form verfügbar gemacht werden. Open-Book Prüfungen haben an der ETH eine grosse Tradition: Bei circa jeder zweiten schriftlichen Prüfung an der ETH handelt es ich um eine Variante einer Open-Book Prüfung. 

Das Open-Book Format ermöglicht deutlich tiefergreifendere und anspruchsvollere Fragestellungen in einer Prüfung zu stellen. Beinhalten sie umfangreiche Informationsressourcen, welche den Studierenden noch nicht oder nur teilweise bekannt sind und welche zur erfolgreichen Bearbeitung von Aufgaben beigezogen werden müssen, sind sie zudem geeignet, um Informationskompetenz und kritisches Denken im fachlichen Kontext zu prüfen.

Für die erfolgreiche Vorbereitung auf eine Open-Book Prüfung ist es deshalb notwendig die Inhalte verstehen, anwenden und kritisch hinterfragen zu können. Damit fördern Open-Book Prüfungen auch ein tiefergreifendes Lernen während der Prüfungsvorbereitung anstelle blinden Memorisierens unhinterfragten Faktenwissens. Die Komplexität von Open-Book Prüfungen ist dadurch deutlich erhöht und es ist zu beachten, dass mehr Zeit zur Beantwortung der Fragen gewährt werden muss. Um Studierende optimal auf eine Open-Book Prüfung vorzubereiten, ist es wichtig die Studierenden frühzeitig über die Prüfungsform zu informieren und in Lernaktivitäten während des Semesters an sie heranzuführen.

Weitere Materialien

• Tipps zur Prüfungsentwicklung
• Leitfaden für das Planen, Durchführen und Auswerten von Prüfungen an der ETHZ
• Leitfaden zur Notengebung bei schriftlichen Prüfungen
• externe Seite "Fifty tips for replacements for time-constrained, invigilated on-site exams" (Brown & Sambell)
• externe Seite "Academic integrity, assessment security and digital assessment" (CRADLE)