Lernen in Mixed Realities

HoloLens im Einsatz
Foto: afca.ch; Ein Blick durch die HoloLens: ein Molekül der App "Molegram" im Einsatz. Entwickelt von ETH CADD, ETH LET und afca ag.

In Mixed Realities bewegen sich Nutzer in Systemen und Umgebungen, in denen sich die natürliche Wahrnehmung des Lerners mit einer künstlichen vermischen. Für den Benutzer werden die virtuellen Elemente in der realen Welt verankert und daher als «reale» Objekte wahrgenommen. Diese Möglichkeit dürfte auch die Lehre massgeblich beeinflussen (bspw. bei Objekten die in der Realität zu klein oder verborgen sind). Ende 2016 machte Microsoft mit der HoloLens das erste all-in-one-Gerät für holografische 3D-Darstellungen einem breiteren Publikum zugänglich. Damit wurde Mixed Realities im Lernkontext möglich. Das LET hat für die ETH evaluiert, in welchem didaktischen Umfeld diese Technologie einen Mehrwert bietet und damit das Lernen und Verständnis der Studierenden fördern könnte.

Zu diesem Zweck war das Projekt «Lernen in Mixed Realities» ins Leben gerufen worden. In diesem Projekt unterstützte das LET Dozierende und vernetze die Aktivitäten an der ETH. 12 HoloLenses standen zur Verfügung und Zugang zu Entwicklungsressourcen und -partnern sowie Spezialisten von Microsoft wurden vermittelt.

Das Projekt «Lernen in Mixed Realities» wurde unterstützt von der Adrian Weiss Stiftung.

An der ETH Zürich realisierte HoloLens-Projekte:

Vergrösserte Ansicht: hololens_afca
Foto: afca.ch

Im Rahmen dieses Projekts erhält der Teilnehmer die Gelegenheit wortwörtlich in die Welt der Moleküle einzutauchen. Molegram bietet eine Mixed Reality, die das Verständnis von molekularen Strukturen vertieft und erweitert. Als Erstes gibt die App die Möglichkeit, die Oberfläche eines holographischen Moleküls zu erzeugen. Zu verstehen, wo ein Molekül aufhört und sein Umfeld beginnt, ist in der Biologie von ebenso fundamentaler Bedeutung wie die Unterscheidung zwischen Fremd und Selbst. Molegram erlaubt es dem Nutzer verschiedene pharmazeutisch relevante Proteinstrukturen unterschiedlicher Grösse darzustellen und zu untersuchen. Die App bietet aber nicht nur die Möglichkeit ein Molekül als dreidimensionale Struktur darzustellen und es als Hologramm in den Raum zu projizieren, sondern ermöglicht zusätzlich, aktiv mit diesem holographischen Molekül zu interagieren. Wichtiger noch, die App berechnet nicht nur automatisch die molekulare Oberfläche mittels eines Clicks, sondern erlaubt es dem Nutzer die sogenannte «solvent- accessible» Oberfläche herzustellen, indem der Nutzer virtuell selbst zu einem Wassermolekül wird und sich als dieses über die molekulare Struktur hinwegbewegt.

Vergrösserte Ansicht: molegram_explorer
Bild: afca.ch

Dadurch wird es möglich die «ups und downs» der Oberfläche im wahrsten Sinne des Wortes zu erfahren. Der Nutzer kann mittels Molegram das molekulare Hologramm von innen und aussen aus allen Blickwinkeln betrachten und untersuchen. Es ist nicht mehr nötig, das Molekül am Computerbildschirm mit der Maus hin und her zu drehen, sondern durch Molegram betritt der Nutzer die virtuelle Welt des Moleküls und lässt es zu einem holographischen Objekt unserer realen Welt werden.

Dieses neuartige, innovative Konzept bietet über die Mensch-Maschine Interaktion neue Wege in der Wahrnehmung von Molekülen und in der chemischen Strukturanalyse.

Das Projekt wurde in enger Zusammenarbeit mit der Firma afca [externe Seite www.afca.ch] realisiert. Die Molegram App ist zu Lehrzwecken kostenlos verfügbar bei der ETH Zürich.

ETH News Artikel: https://www.ethz.ch/de/news-und-veranstaltungen/eth-news/news/2018/02/hololens.html

Projektwebseite: http://www.cadd.ethz.ch/education/hololense.html

Kurs: 535-0023-00L  Computer-Assisted Drug Design (Practical Course), Herbstsemester 2017

Lehrstuhl: Computer-Assisted Drug Design (cadd.ethz.ch), Institute of Pharmaceutical Sciences

Kontakt: Dr. Jan Hiss, , Prof. Dr. Gisbert Schneider

Vergrösserte Ansicht: geoinfk_2

Studierende des GIS und Geoinformatik-Labs entdecken die Möglichkeiten der Microsoft HoloLens, eines der fortschrittlichsten Mixed-Reality-Produkte.

Die Grundkenntnisse in Softwareentwicklung halfen ihnen dabei innerhalb eines Semesterkurses eine HoloLens-App für ortsbezogene Aufgaben aus der realen Welt zu entwerfen und entwickeln, welche «Gamification» - Überlegungen berücksichtigt. Lagebezogene und in Beziehung stehende physische Objekte werden dabei in interaktive und holographische Systeme umgewandelt. Folgende drei Projekte wurden von den Studierenden implementiert:

  • Ein vernetztes räumliches System wie Versorgungsleitungen im Anlagenmanagement
  • Eine geographische Anwendung wie die Modellierung in der Landschaftsplanung
  • Eine raumkognitive Unterhaltungsanwendung wie das Brettspiel «Das verrückte Labyrinth»
Vergrösserte Ansicht: geoinfk_3

Die Studierenden wurden in ihrem Projekt durch Tutoren und Zugang zu entsprechender Fachliteratur und Technologie unterstützt und kritisch begleitet. Die Ergebnisse dieser Projekte können als «immersive» Anwendungen erlebt werden, bei denen virtuelle geographische Objekte auf und um Objekte der realen Welt platziert und mit ihnen interagiert werden.

Vergrösserte Ansicht: geoinfk_1

Die Ergebnisse zeigen auch Erkenntnis, inwieweit Studierende ohne grosses Vorwissen, solche Apps bauen können. Basierend auf diesen Resultaten können die Unterrichtsansätze transferiert werden auf andere Fakultäten wie Biologie, Chemie oder Architektur.

externe Seite Video zum Projekt

Kurs: GIS and Geoinformatics Lab (103-0778-00L), Herbstsemester 2017

Lehrstuhl: Chair of Geoinformation Engineering

Betreuung: David Rudi, Fabian Göbel, Christian Sailer, Dominik Bucher

Kontakt: Christian Sailer, 

Vergrösserte Ansicht: AR_Refresh_Teaching
Foto: Urs Brändle, D-USYS, ETH Zürich

Auf den Biodiversitätsexkursionen kartieren Studierende der Umweltwissenschaften die Verteilung einer Reihe von Arten, die zu einer Organismengruppe gehören. Sie bereiten sich mit einem Online-Tutorial vor, das aus einem Identifikationsschlüssel, Videomaterial und einem Abschlusstest besteht. Im Feld ist die Erstklassifizierung bestimmter Organismengruppen jedoch immer noch schwierig, da Größe, Aussehen und detaillierte Merkmale vom Bildmaterial in den Tutorials abweichen können. So müssen in der Regel Experten erste Hilfe leisten.

Bei Flechten mit ihrer sehr stabilen Lage an Bäumen kann die Hololens diese Funktion jedoch übernehmen. Unsere Holucator-App erkennt einzelne Bäume an ihrer Rindenstruktur und hebt Flechtenkolonien hervor, deren Position zuvor im Lehrmodus eingegeben wurde. Die Studierenden können dann interaktiv Artennamen in einer Multiple-Choice-Frage auswählen, Kolonien derselben Art markieren oder detaillierte Informationen über die fokussierten Flechtenarten abrufen, wie z.B. Skizzen von charakteristischen Strukturen. Die Hololens-Architektur erlaubt es sogar, gleichzeitig konventionelle Linsen zu verwenden. Auf dem Gelände des Bürkliplatzes stehen insgesamt 12 Bäume mit 8 verschiedenen Flechtenarten zur Verfügung, so dass mehrere Studierende gleichzeitig üben und dann mit der eigentlichen Artenkartierung beginnen können.

Die Holucator App wurde erstmals im März 2018 von insgesamt etwa 30 Studierenden genutzt. Die Faszination für das neue Medium stand eindeutig im Vordergrund des Feedbacks der Studenten, die tatsächlich gewonnenen Erkenntnisse haben wir demgegenüber nicht evaluiert. Dennoch konnten wir feststellen, dass die Zeit, welche für die individuelle Beobachtung der Flechten zur Verfügung stand im Vergleich zum Szenario mit Experteninstruktion deutlich länger war.

Die Holucator (Lichen-Edition) App, entwickelt in Zusammenarbeit mit der Firma afca, ist die erste Outdoor-Anwendung der HoloLens an der ETH. Sie kann für andere ähnliche Anwendungen angepasst werden. Die zu untersuchenden Objekte müssen dazu allerdings eine fixe Position haben und von einer ausreichende Anzahl von festen Objekten umgeben sein, so dass sich die Holo-Lens im Raum orientieren kann.

Vergrösserte Ansicht: SplashScreen
Bild: afca.ch

Die App im Einsatz (ungeschnitten):
externe Seite https://www.youtube.com/watch?v=CfzMUuzAxko

Projektverantwortlicher:
Dr. Urs Brändle,

  

Kontakt

Thomas Korner
Dozent am Departement Maschinenbau und Verfahrenstechnik
  • vCard Download
JavaScript wurde auf Ihrem Browser deaktiviert