Interview: Wie ChatGPT die Lehre und das Prüfen verändert

Was ist neu an ChatGPT?
Kortemeyer: Das Thema ist nicht neu. An den Technologien, die dahinterstecken, hat die ETH selbst mitgearbeitet. Neu ist aber, dass eine solche Anwendung öffentlich zugänglich ist. Und neu ist auch das Datenvolumen, mit dem die Modelle trainiert wurden. In Forschungsprojekten für KI erreicht man kaum Volumina wie bei einem solchen kommerziellen Produkt.

Was kann ChatGPT und wo hat es Schwächen?
Kortemeyer: GPT-3, die Vorgängerversion des derzeit aktuellen GPT-4, hatte nachweislich Probleme mit symbolischen und numerischen Grundrechenarten. Das Modell rechnete nicht zuverlässig. GPT-4 ist etwas besser, hat aber immer noch nicht das Niveau eines durchschnittlichen Studierenden an der ETH. Aber Achtung: Trotz dieser Schwächen habe ich in einem Experiment zeigen können, dass GPT-3 einen an US-Colleges üblichen Physikkurs mit den dazugehörigen Übungen, Quizzen und Prüfungen haarscharf bestehen würde – mit rund der Hälfte der erreichbaren Punkte.

Sudau: Wir diskutieren hier jetzt über Stärken und Schwächen eines Status Quo, respektive über eine bereits veraltete Version von ChatGPT. Aber was bringt die Zukunft? Die Entwicklung lässt sich nicht aufhalten. Wir sollten uns besser damit befassen, wie wir mit Sprachmodellen und anderen KI-gestützten Werkzeugen umgehen werden, die noch weit besser sind. KI-Anwendungen werden schon bald allgegenwärtig sein, in quasi allen Bereichen des Lebens.

Rund um Prüfungen scheint es aktuell am meisten Fragen zu geben. Was raten Sie den Dozierenden?
Kortemeyer: KI ist ein Werkzeug. Genauso wie zum Beispiel Rechtschreibkorrektur, Taschenrechner, Literatursuchmaschinen und Statistikprogramme Werkzeuge sind. Als solches könnte es auch in Prüfungen integriert werden. Ein Ansatz könnte sein, Studierende KI-Antworten oder -Erzeugnisse beurteilen zu lassen. Denn genau diese Fähigkeit wird künftig stärker gefragt sein.

Das heisst, Prüfungen wären dann öfter Open-Book, respektive Open-KI?
Kortemeyer: Natürlich nicht nur. Es wird immer grundlegende Aufgaben geben, die Studierende ohne jegliche Hilfe von aussen, weder menschlich noch künstlich, erledigen können müssen. Eine Lösung könnten zwei- oder mehrphasige Prüfungen sein, bei denen die Studierenden zuerst Aufgaben ohne Zugang zu KI und anderen Werkzeugen lösen und dann weitere mit Zugang zu diesen Werkzeugen. Die eine Phase für unentbehrliche Grundlagen, die andere für authentische Arbeitsweisen. Für solche mehrphasige Online-Prüfungen boten wir an der ETH schon vor dem Aufkommen von ChatGPT technische Lösungen und Support.

Welche Vorteile bringt ChatGPT für die Lehre?
Kortemeyer: Das wird sich zeigen. Aber wenn KIs Studierenden in Übungen und Prüfungen gewisse Arbeiten abnehmen, öffnet das vielleicht auch Raum für Neues. Als Studierende ihre Aufgaben noch ohne Taschenrechner lösen mussten, brauchten sie viel Zeit fürs reine Rechnen. Danach wurde diese Zeit plötzlich frei und man konnte sie für das eigentliche Lösen der Probleme einsetzen. Wir können uns auch heute fragen, ob wir durch die Integration von KI gewisse Dinge anspruchsvoller machen können. Und auch, welches die typischen menschlichen Fähigkeiten sind, die geprüft werden sollen.

Zum Beispiel?
Kortemeyer: Kreativität. Sprachmodelle mögen manchmal zwar kreativ wirken, sie sind es aber nicht. Und sie haben keine Visionen. Vielleicht können andere Modelle dies eines Tages, aber ein Sprachmodell kann das nicht. ETH-Ingenieur:innen müssen das aber können. Dazu kommt die Fähigkeit, kritisch zu denken. Studierende sollten sich fragen, ob ein Ergebnis wirklich so sein muss, ob es so Sinn macht?

Nebst den Prüfungen: Wo hat ChatGPT noch Konsequenzen für ETH-Dozierende?
Sudau: Zum Beispiel in der Curriculumsentwicklung. Wir müssen uns überlegen, was wir künftig lehren wollen. Was zu den Grundlagen gehört und welche überfachlichen Kompetenzen ETH-Absolvent:innen benötigen. Schliesslich müssen sie in der zukünftigen Berufswelt mit solchen Werkzeugen umgehen und arbeiten und sich auch unbekannten Herausforderungen des Arbeitsmarktes anpassen können. Die dazu nötigen Kompetenzen müssen wir unterrichten mit unseren Studierenden üben.

Kortemeyer: Das geschieht auch schon. Mit Dozierenden des Departements Informatik zum Beispiel diskutieren wir bereits darüber, welche Folgen ChatGPT für Kurse zur Programmiersprache Python haben könnte. Was die Studierenden lernen müssen, damit sie KI-generierten Python-Code testen können. Genau solche Gedanken sollte man sich jetzt machen, damit man später bereit ist dafür, das Werkzeug in die Lehre zu integrieren.

Wissen wir eigentlich, wie die Studierenden ChatGPT heute nutzen?
Sudau: Wir wissen noch relativ wenig. Eine kleine, nicht repräsentative Umfrage von meinem Kollegen Christian Sailer und mir bei Studierenden im D-BAUG und D-USYS hat aber gezeigt, dass ChatGPT von Bachlorstudierenden am seltensten und von Doktorierenden am häufigsten als nützlich erachtet wurde. Sprich: Je weiter im Studium beziehungsweise je erfahrener, desto nützlicher. Das zeigt mir auch, dass wir Studierende unbedingt befähigen müssen, solche Werkzeuge nutzen und sie kritisch und reflektiert einsetzen zu können.

Welche anderen Werkzeuge neben Chat GPT sollten wir auf dem Radar haben?
Kortemeyer: Als Nächstes wird wohl Googles Sprachmodell Bard bei uns aktuell, Nvidia ist ebenfalls an Entwicklungen dran. Unmittelbar aktuell wird wohl auch der “Co-Pilot” von Microsoft werden, der in alle Office-Tools integriert werden soll – da hat man dann KI mitten in Word oder PowerPoint. KI wird wohl kaum wieder verschwinden, da können wir beim Lehren und Prüfen nicht den Kopf in den Sand stecken.