Der ETH-Chatbot Ethel korrigiert auch Übungen

Ein Chatbot, der nur verlässliche Informationen aus dem Kurskontext wiedergibt, das Niveau seines Gegenübers kennt, Antworten entsprechend anpasst und sogar auf spezifische Stellen in einer Vorlesungsaufzeichnung verweisen kann – das ist noch Zukunftsmusik.

Gerd Kortemeyer, Spezialist für KI in der Lehre beim ETH AI Center und dem Rektorat, hat aber eine solche Vision vor Augen, wenn er an den aktuellen Chatbots für spezifische Kurse arbeitet.

In seinem Projekt mit dem Namen Ethel entwickelt er digitale Hilfsassistenten, die Routinearbeiten übernehmen können: Fragen von Studierenden zu Kursen beantworten, Feedback zu Hausaufgaben oder Übungen geben und sogar bei der Benotung von Leistungsnachweisen helfen.

Chatbots stützen sich auf Kursunterlagen

Bei sechs Kursen sind solche Bots bereits in Betrieb. Im Moment basieren sie auf dem kommerziell verfügbaren Sprachmodell GPT-4. Stellen Studierende den Chatbots Fragen, stützen diese sich für die Antworten auf die jeweiligen Kursunterlagen. Das entspreche einem Wunsch der Studierenden, der aus einer grossen Umfrage zur Verwendung von KI unter Studierenden der ETH hervorgegangen sei, sagt Kortemeyer. Und es funktioniere bereits erstaunlich gut.

Im Unterschied zu ChatGPT werden die Referenzdaten – also die Kursunterlagen – lokal auf Servern der ETH gehalten. Zudem hat die ETH eine vertragliche Zusicherung, dass diese Daten vom Betreiber von GPT-4 nicht zu Trainingszwecken verwendet werden.

Kortemeyer erstellt solche Bots zusammen mit den Informatikdiensten für interessierte Dozierende der ETH, sie können sich dafür direkt an ihn wenden.

Feedback zu Übungsblättern

Auch als «Mentor» haben sich die Custom-Bots bereits bewährt: In Physik-Übungen können Studierende im Rahmen einer Pilot-Studie ihre handschriftlich ausgefüllten Übungsblätter einreichen und erhalten vom Bot ein qualitatives Feedback. Zum Beispiel ein Hinweis darauf, wo der oder die Studierende einen Fehler gemacht hat. Bei diesem Beispiel dienen die Musterlösungen als Referenz für das Sprachmodell.

Natürlich seien diese Antworten nicht immer korrekt, sagt Kortemeyer. Dessen seien sich die Studierenden aber bewusst. «Sie bewerten die Bots trotzdem mehrheitlich als nützlich, weil sie auch dabei lernen, wenn sie sich mit den Fehlern der Bots auseinandersetzen.»

Aktuell erforscht Kortemeyer, ob Chatbots auch als Benotungs-Helfer taugen. Im Prinzip können diese für Übungsblätter und Klausuren anhand der Musterlösungen auch einen Vorschlag für die Benotung machen. Also ein Punkte-Vorschlag gepaart mit einer Angabe zur Zuverlässigkeit der Angabe. Kortemeyer testet aktuell, wie treffsicher das System arbeitet – respektive, wie gut das System seine Treffsicherheit einschätzen kann. Er verwendet dazu einen Datensatz von einer grossen Thermodynamik-Prüfung und führt Messungen durch.

Ein eigenes Sprachmodell?

Im Rahmen der Swiss AI Initiative von ETH Zürich und EPFL gibt es den Plan, ein Sprachmodell für die Lehre von Grund auf zu entwickeln. Ein solches Modell wäre transparenter und vertrauenswürdiger, weil klar ist, womit es trainiert wird. Die Initiative hat dafür Rechenzeit des Supercomputing Centers (CSCS) zugesichert bekommen. Nur: Für dessen Training würde ein immenser Textkorpus an Unterrichtsunterlagen benötigt.

Als Vorstufe dazu plant Kortemeyer, ein «vortrainiertes» Open-Source-Modell wie Llama (von Meta) oder Mistral mit eigenen Kursunterlagen zu feinjustieren. Dazu ist er darauf angewiesen, noch mehr Kursunterlagen von Dozierenden zur Verfügung gestellt zu bekommen.

Er verspricht sich von einem solchen Modell, dass es noch genauer die Sprache von technischen Hochschulen spricht, sich also in der dem Niveau der Studierenden angemessenen Fachsprache der Mathematik, Natur- und Ingenieurwissenschaften auszudrücken weiss. Das Feintuning will er im Sommer in Angriff nehmen, mit dem Ziel, das neue Modell im Frühlingssemester 2025 als neues «Hirn» für die Kurs-Chatbots zu verwenden.