Ethel für Ihren Kurs

Im Frühlingssemester 2024 gibt es bereits mehrere Möglichkeiten für Dozierende, sich an der Entwicklung von Ethel zu beteiligen. Beachten Sie, dass Ethel kein Dienst ist; es ist ein praktisches und oft pragmatisches Experiment. Daher haben wir auch keine Kunden, würden aber Kollaborateure begrüssen.

Custom Chatbot für Ihren Kurs

Was ist das? Ihr Kurs könnte einen individuellen Chatbot haben, der auf Ihren Kursmaterialien basiert. Wenn die Studierenden mit dem Bot interagieren, werden die Antworten auf den von Ihnen bereitgestellten Materialien basieren. Dies könnte Vorlesungsskripte, Folien, Übungen usw. umfassen. Wir experimentieren auch mit Multimedia, wie zum Beispiel Ihre annotierten Vorlesungsfolien oder Vorlesungsaufzeichnungen. Wir können viel grössere Datenmengen verarbeiten als kommerziell verfügbare individuelle Bots wie die externe Seite GPTs, und die Daten bleiben in der Schweiz und unter der Kontrolle der ETH Zürich. Die Hoffnung liegt auf mehr Fakten und weniger Halluzinationen. Die ersten Bots sind online auf https://ethel.ethz.ch/.

Was sind die Risiken? Die zugrundeliegende Strategie der Retrieval Augmented Generation ist recht gut etabliert, aber wir haben festgestellt, dass sie auch ziemlich schnell an ihre Grenzen stoßen kann, zum Beispiel bei stark mathematischem Inhalt. Wir probieren verschiedene Methoden aus, um diese Herausforderungen zu überwinden, können aber keine herausragenden Ergebnisse garantieren.

Was benötigen wir? Jegliches Material, das Sie uns geben können, und Ihre Geduld. Wir haben nicht die Ressourcen, Materialien rein aus Neugier zu verarbeiten, würden aber diese Gelegenheit auf Kurse beschränken, die den Bot in einem gegebenen Semester aktiv nutzen würden. Wir wären auch dankbar, wenn Sie Ihre Studierenden bitten könnten, den Bot zu verwenden und uns ihr Feedback zu geben.

Wann benötigen wir dies? Grundsätzlich jederzeit. Es wird wahrscheinlich eine Woche dauern, Ihre Materialien zu verarbeiten, und wir arbeiten derzeit an Mechanismen, um Materialien im Verlauf des Kurses hinzuzufügen.

Unterstützung bei der Bewertung von handschriftlichen Übungen und Prüfungen

Was ist das? Bei vielem, was wir lehren, ist nicht nur das Endergebnis, sondern auch dessen Herleitung wichtig. Wenn es um mathematische Inhalte geht, kommt man um das Handschreiben nicht herum, da das Setzen umfangreicher Herleitungen oder Beweise unzumutbar zeitaufwendig ist. Wir arbeiten an einer Pipeline zur Umwandlung handschriftlicher mathematischer Ausdrücke in ein maschinenlesbares Format und anschließender Annotation oder Unterstützung bei der Bewertung durch Ethel.

Was sind die Risiken? Es gibt zu viele Risiken, um dies online und in der Produktion zu machen. Mit der Genehmigung der IRB führen wir asynchrone, offline Experimente durch, um den Prozess zu optimieren, Erfahrungen zu sammeln und Ergebnisse zu bewerten.

Was benötigen wir? Ihre Studierenden müssten zustimmen, teilzunehmen und eine informierte Einwilligung unterschreiben. Wir bräuchten dann Scans der unbewerteten Aufgaben der Teilnehmenden sowie elektronische Dokumente mit der Aufgabenstellung, der Musterlösung und dem Bewertungsraster. Am Ende bräuchten wir die Ergebnisse und Kommentare Ihres regulären Bewertungsprozesses zum Vergleich.

Wann benötigen wir dies? Wir arbeiten derzeit mit einer high-stake Prüfung in einem Kurs mit grosser Teilnehmerzahl, und das wird uns wahrscheinlich für einige Wochen beschäftigen. Wir würden jedoch eine Beteiligung von Kursen mit Übungszetteln mit geringem Einfluss auf Noten begrüssen, bei denen wir das KI-Feedback auch Ihren Studierenden zur Verfügung stellen könnten (formative Bewertung).

Unterstützung bei der Bewertung von Jupyter Notebooks

Was ist das? Der Goldstandard zur Bewertung der Richtigkeit von Programmieraufgaben sind Unit-Tests, bei denen die Eigenschaften von Codeabschnitten mit sorgfältig erstellten Aussagen mit Eingaben und erwarteten Ausgaben untersucht werden. Gute Unit-Tests zu schreiben, kann mühsam sein, und für Übungen mit geringem Risiko, die Berechnungen in nicht-informatikbezogenen Kursen einbetten, sind sie möglicherweise nicht erforderlich. Ein häufig verwendetes Werkzeug für solche low-stake Übungen sind Jupyter-Notebooks, und die Idee ist, Feedback auf diesen mit natürlichsprachigen Bewertungsrastern zu geben.

Was sind die Risiken? Im Wesentlichen dieselben wie bei Feedback auf handschriftliche Aufgaben; Ethel könnte weniger hilfreiche Hinweise oder Code-Bewertungen geben.

Was benötigen wir? Im Wesentlichen dasselbe wie bei Feedback auf handschriftliche Aufgaben, ausser dass in diesem Fall ipynb-Dateien anstelle von gescannten Blättern benötigt werden.

Wann benötigen wir dies? Wir haben noch keine Genehmigung der IRB für diese Studie, würden aber gerne mit Ihnen zusammenarbeiten, um sie einzurichten.