Virtuell wird real – neue Technologien für die Medien der Zukunft
Bewegte Bilder in der Zeitung wie bei Harry Potter oder digitale Wetterprognosen auf Berndeutsch? Neue Medientechnologien verändern den Journalismus. Das Media Technology Center der ETH Zürich unterstützt Medienunternehmen auf dem Weg in die Zukunft.
In der magischen Welt des Zauberlehrlings Harry Potter ist vieles möglich: Zum Beispiel gibt es dort den «Tagespropheten». In dieser Zeitung für Hexen und Zauberer bewegen sich die abgebildeten Figuren wie im echten Leben.
Das liegt in der realen Welt natürlich nicht drin. Moderne Medientechnologien jedoch kommen dem sehr nahe: Im Media Technology Center (MTC) der ETH Zürich zum Beispiel arbeiten Studierende und Forschende an einem solchen «augmented paper» (dt. «erweiterte Zeitung»): Wer diese Zeitung mit einer besonderen Brille, einer sogenannten «Augmented Reality Brille» (kurz: AR-Brille), liest, sieht tatsächlich – wie bei Harry Potter – bewegte Bilder auf den Seiten. «Es ist gut möglich, dass diese Brillen bald schon so klein sind, dass wir sie den ganzen Tag tragen können», sagt Severin Klingler, der Geschäftsführer des MTC, «dann sehen wir, wie in einem ‹augmented paper› digitale und echte Inhalte miteinander verschmelzen.»
Harry Potters Schulbeginn – ein Film für die Zeitung
Das «augmented paper», das die ETH-Forschenden derzeit entwickeln, verbindet die Vorteile der klassischen Zeitung aus Papier mit den Vorteilen von digitalen Inhalten: «Man hält wie gewohnt die Zeitung in der Hand. Wenn man sie jedoch mit der AR-Brille liest, dann verändern sich die Bilder und Texte», sagt Klingler. So sieht man zum Beispiel, wie im Bild unter der Schlagzeile «Schulbeginn für Hexen und Zauberer» eine Dampflokomotive auftaucht. In Zukunft liessen sich mit dieser Technologie reale Ereignisse wie das Böög-Verbrennen am Zürcher Sechseläuten als Film in die Zeitung einbetten. «Neu an unserer Technologie ist, dass die bewegten Bilder auch dann korrekt dargestellt sind, wenn sich das Zeitungspapier beim Blättern verbiegt», legt Klingler dar.
Sehr praktische Ziele verfolgt das MTC mit einem Projekt für AR-Brillen in der Zürcher Innenstadt: Wer den Paradeplatz durch eine AR-Brille betrachtet, sieht lokale Informationen wie die Abfahrtszeiten der Trams, Verkaufsplakate der umliegenden Geschäfte – oder Zeitungsartikel über die beiden dort ansässigen Grossbanken. Fragen der praktischen Lesbarkeit stehen dabei im Vordergrund: Wo und wann wird ein Plakat angezeigt? Wo werden die Artikel angezeigt? Welche Flächen eignen sich für die Anzeige?
Ein Dinosaurier spaziert durch Zürich
«Das MTC beschäftigt sich vor allem damit, wie man diese neuartigen, digitalen Inhalte möglichst einfach für die Medien erzeugen kann», erklärt Klingler. Mit dem Tool des MTC lässt sich der Paradeplatz einfach mit virtuellen Figuren anreichern – zum Beispiel als Zoo oder Unterwasserwelt: «Alles, was jemand in der virtuellen Realität erstellt, erscheint automatisch auf dem echten Paradeplatz», sagt Klingler, «damit nimmt unser Tool den Nutzern die mühsame Frage ab, wie ihre virtuellen Inhalte an den richtigen realen Ort gelangen. Sie können sich ganz aufs Gestalten konzentrieren.»
Zu den technischen Herausforderungen, für die eine einfache Lösung noch fehlt, zählt das «occlusion handling»: Anders als im Kinofilm, der im Studio bearbeitet wird, verschwinden virtuelle Figuren, die sich in Echtzeit durch eine reale Situation bewegen, oft nicht sofort aus dem Gesichtsfeld, wenn ein Nutzer um eine Strassenecke biegt. Das stört die Glaubwürdigkeit des Seherlebnisses.
Mit dem Ansatz der ETH-Forschenden gelingt das nun besser: zum Beispiel verschwindet bei ihnen ein virtueller Dinosaurier, der bei der Tramhaltestelle am Zürcher Stampfenbachplatz unterwegs ist, wie im richtigen Leben sofort aus dem Blickfeld, wenn er just beim externe SeiteMedienzentrum des Kantons Zürich um die Hausecke biegt (vgl. Film) . Dafür haben die ETH-Forschenden das 3D-Modell der Stadt Zürich verwendet.
Lokales Wetter automatisch in Mundart
In Zukunft dürften neben bewegten, virtuellen Bildern auch Sprachassistenten beim täglichen Mediengebrauch an Bedeutung gewinnen. Der medientechnologische Trend weist dahin, dass man künftig Medieninhalte wie Filme, Radionachrichten oder Texte weniger per Hand, also durch Klicken, Tippen oder Streichen startet, sondern häufiger durch Sprechen abruft. Sprechende, intelligente Assistenten kennt man heute von Fitness-Apps oder Verkehrsprognosen auf dem Smartphone.
«Keiner der heutigen Assistenten spricht oder versteht jedoch die Dialekte der Schweiz, was die Kommunikation mit ihnen für Schweizerinnen und Schweizer etwas unnatürlich macht», sagt Severin Klingler. Aus diesem Grund entwickelt das MTC einen Sprachassistenten, der Schweizer Dialekte spricht. Seit 2019 spricht er fliessend «Bärndütsch». Derzeit wird er auf weitere Dialekte ausgedehnt.
Kennzeichnend für die Arbeit des MTC ist, dass die Forschenden den Schweizerdeutsch-Assistenten mit einem Schweizer Medienunternehmen entwickeln. In diesem Fall ist das Schweizer Radio und Fernsehen (SRF) der Partner. Auf seinen Kanälen veröffentlicht SRF viele Inhalte in Mundart. Technologien, die Hochdeutsch auf Schweizerdeutsch übersetzen oder die lokalen Nachrichten und Wetterprognosen im Dialekt aussprechen können, sind somit sehr praktisch und geben den automatisch gesprochenen Texten eine regionale Authentizität.
Unterstützung für die digitale Transformation
In der Regel sind die Entwicklungsprojekte des MTC in ein bis zwei Jahren umsetzbar und haben einen praktischen Nutzen für Redaktionen und Medienunternehmen. Das Ziel ist es, Schweizer Medienunternehmen in der digitalen Transformation zu unterstützen. Das betrifft sowohl die Erstellung journalistischer Inhalte als auch die Produktion verschiedener Medienformate und Methoden, wie man Inhalte digital zu den Usern bringt und den Medienkonsum personalisiert.
Das Media Technology Center ist Teil der ETH-Medientechnologie-Initiative. Es wurde 2019 mit Partnern der Medienindustrie gegründet. Unterstützt wird es von den Medienunternehmen Ringier, TX Group (vormals: Tamedia), SRG SSR, NZZ, Verband Schweizer Medien, Berufs- und Arbeitgeberverband der schweizerischen grafischen Industrie viscom und der ETH Zürich Foundation. Alle Partner haben sich – wie die ETH - finanziell engagiert, um das MTC möglich zu machen. Das Center ist weiter offen, um die Partnerschaften ausbauen. Die wissenschaftliche Leitung hat ETH-Informatikprofessor Markus Gross zusammen mit Experten aus Industrie und Wissenschaft.
Offen für Projektideen der Medien
«Wir sind offen für alle Projektideen von Medienunternehmen und Redaktionen», sagt Severin Klingler. Im März 2019 hat das MTC seine Arbeit aufgenommen: acht Forschende arbeiten, unterstützt von Studierenden und Doktorierenden, in den Bereichen Computervision, Computergrafik, Verarbeitung natürlicher Sprache, Empfehlungssysteme, Benutzermodellierung und maschinelles Lernen. Seit Februar 2020 arbeitet zudem Ryan Cotterell in Zürich. Der Informatikprofessor wurde im Rahmen der Medientechnologie-Initiative berufen und verbindet Linguistik, automatisierte Sprachverarbeitung und künstliche Intelligenz.
Literaturverweis
Chalumattu R, Schaub-Meyer S, Wiethüchter R, Klingler S, Gross M. Simplifying the process of creating augmented outdoor scenes. Paper akzeptiert für die 2020 IEEE International Conference on Multimedia & Expo Workshops (externe SeiteICME), 6-10 Juli 2020.
Kontakt für Medienpartner
Ansprechperson für Projektideen von Medienunternehmen:
Severin Klingler, Geschäftsführer Media Technolog Center
Stampfenbachstrasse 48
8092 Zürich
+41 44 632 69 96
mtc.ethz.ch
Allgemeine Informationen, wie die ETH Zürich Firmen unterstützt: ETH Industry Relations.