Zum Hauptinhalt springen

DigiLehR – Lehren und Lernen in erweiterten Realitäten

Das Projekt “DigiLehR - Lehren und Lernen in erweiterten Realitäten” unter der Leitung von Prof. Dr. Simon Adler (Professur für Industrial Mixed Reality an der Hochschule Harz) wird von der Stiftung Innovation in der Hochschullehre (Förderkennzeichen: FBM2020-EA-630-08020) gefördert. Die erste Förderphase läuft seit dem 01.08.2021 noch bis zum 31.07.2024. Das Projekt wird dann in einer zweiten Phase bis zum 31.12.2025 weitergefördert.

Das Projekt hat in der ersten Förderphase zum Ziel, die strukturelle Verankerung von xR-Technologien in der Lehre an der Hochschule Harz voranzutreiben. Zum Projektende soll ein Leitfaden über die erfolgreiche Verankerung vorliegen, der auch von anderen Bildungseinrichtungen genutzt werden kann, um ebenfalls xR-Technologien dauerhaft einzusetzen.

 

ILIAS-Unity-Schnittstelle

Um den dauerhaften Einsatz von Virtual Reality-Anwendungen zu fördern, untersucht das Projekt, ob eine Anbindung der VR-Anwendung, die in der Game Engine UNITY läuft, an das bereits bestehende Lernmanagementsystem ILIAS sinnvoll ist. Ziel dieser Anbindung ist es, dass Lernende, durch Interaktion in der VR-Lernumgebung (virtual reality learning environment, VRLE) und mit dieser, Aufgaben beantworten können, die zuvor in einem ILIAS-Fragebogen angelegt wurden. Dies soll den Erstellungsprozess einer VRLE für die Lehrenden erleichtern, die zunächst den Fragebogen erstellen und anschließend “nur noch” die gewünschten Interaktionen zu den Antworten zuordnen müssen sollen. Eine Schnittstelle zwischen ILIAS und UNITY ermöglicht zudem die Bewertung des Verhaltens von Lernenden in der VRLE, da alle Interaktionen standardisiert erfasst werden.

Die Szenarien

Um im Anschluss dieses Vorgehen zu testen, wurden drei Einsatzszenarien konzipiert, die in ihren Anforderungen aufeinander aufbauen:

Use Case 1: Automatisierung

Das zuerst entwickelte Szenario (Use Case 1, “Automatisierung”) befasst sich mit dem Betrieb einer industriellen Abfüllanlage, die auch vor Ort auf dem Campus von verschiedenen Studienrichtungen der Automatisierung und Informatik verwendet wird. Die Vorgänge der Inbetriebnahme, des Betriebs und der Außerbetriebnahme sind dabei stark deterministisch und entsprechend klar in ILIAS-Fragebögen umsetzbar. Vom Hersteller der Schulungsanlage liegen CAD-Daten über diese vor, die für die Verwendung in der VRLE konsolidiert und animiert werden mussten. Ziel des Einsatzes ist die langfristige Verankerung der Betriebsabläufe in den Köpfen der Studierenden, sodass diese sicher und selbstständig die reale Anlage bedienen können.

Use Case 2: Vergaberecht

Das zweite entwickelte Szenario (Use Case 2, “Vergaberecht”) stellt eine kollegiale Besprechung dar, in der Lernende die Vorbereitung eines Vergabeprozesses für die Beschaffung von Software-Lizenzen im Gespräch erarbeiten. Das Vorgehen ist dabei deterministisch (Rechtsgrundlagen sind entweder anwendbar oder nicht), jedoch ist ein gewisser Spielraum vorhanden, sodass sich eine Entscheidungsbaum-Struktur ergibt. Herausfordernd ist hier die dynamische Anfrage/Beantwortung von Fragebogen-Aufgaben, je nach Gesprächsverlauf. Ziel des Einsatzes bei den Studierenden der Verwaltungswissenschaften ist die Vermittlung der Lebensrealität von Vergabeprozessen und der Relevanz der Komponente “Mensch”, welche durch die dynamische Veränderung der Informationsmenge und durch das emotionale Gegenüber gekennzeichnet ist.

Use Case 3: Mediengestaltung

Das dritte entwickelte Szenario (Use Case 3, “Mediengestaltung”) zielt darauf ab, Studierenden der Fachrichtung Medieninformatik das Vorgehen für die erfolgreiche Aufnahme einer Szene mit Bild und Ton zu vermitteln. Dafür sollen die Lernenden den strukturierten Ablauf einmal deterministisch durchgehen, wobei sie keinerlei kreativen Freiraum haben, um dann im Anschluss vollkommen frei die ablaufende Szene einzufangen. Die Herausforderung ist hier, auch den Kreativprozess in ILIAS-Fragebögen abzubilden und so bewertbar zu machen. Ziel des Einsatzes ist das Erreichen einer Routine im Ablauf und damit einer Sicherheit, die dann im nachfolgenden Praktikum außerhalb der VRLE eine ungehinderte, zielgerechte Kreativität ermöglichen soll.

In einem späteren Semester soll dieses Szenario erneut eingesetzt werden, um die Lernenden auf die Aufnahme vollständig virtueller Szenen mit virtuellen Kameras im Rahmen der Veranstaltung “3D-Animation” vorzubereiten. Dazu wurde die ursprüngliche Interviewszene durch eine Kriminalszene mit Innen- und Außenbereich ersetzt und die Steuerung der Kamera um die Möglichkeit einer Kamerafahrt erweitert. Ziel dieses zweiten Einsatzes der erweiterten Anwendung ist die Aktivierung des Vorwissens über Kameras, um dieses dann auf virtuelle Kameraparameter zu übersetzen.

Alle Szenarien setzen darauf, dass die Lernenden die erhofften Lernziele durch häufiges, eigenständiges Wiederholen der Abläufe in der VRLEs erreichen. Dafür unterscheiden die Anwendungen in einem Trainings- und Prüfungsmodus, wobei es im ersteren eine direkte Rückmeldung auf und über die Korrektheit von Interaktionen gibt.

Die Szenarien werden für VR-HMDs (head mounted displays, im VR-Labor vorliegende, PC-gebundene HP Reverb G2 VR Headsets (Rev. 2 und Omnicept)) entwickelt und anschließend auch für mobile Endgeräte (Smartphones & Tablets) bereitgestellt, um einen möglichst niederschwelligen Zugang zu schaffen.
Im Projekt wird untersucht, ob der zusätzliche Grad an Immersion bei VR-HMD-Einsatz merkliche Vorteile gegenüber der mobilen Version bringt. Für die Portierung auf mobile Endgeräte müssen die Geometrien der 3D-Objekte stark vereinfacht werden. Zudem soll mittels Regulierung des level of detail (LOD) sowie dynamischem Nachladen von Objekten eine ruckelfreie Version für das geringere Leistungsniveau von mobilen Endgeräten geschaffen werden.

Die Evaluation

Die Evaluation des erfolgreichen Entwickelns und Einsatzes in den verschiedenen didaktischen Kontexten erfolgte sowohl formativ (mittels beobachteter Nutzertests & freiem Interview) als auch summativ (mittels Fragebogen & Gruppendiskussion), wobei der Fokus auf die Nutzerzufriedenheit gelegt wurde. Dazu wurde ein eigenes Instrument aus bereits bestehenden Instrumenten zusammengestellt, welches auf der Projektwebsite zum Download zur Verfügung steht. Der Evaluationsprozess wurde im Rahmen eines Workshops geprüft und für sinnvoll erachtet (Bothe, Workshop: Evaluation von Lehr-Lernszenarien in erweiterten Realitäten, 2023). Ein Leitfaden zum Erstellungsprozess einer VR-Lernumgebung wurde verfasst und ist im Projekt praxwerk (HS Anhalt) in erster Erprobung bei deren Erstellung eines virtuellen Fotolabors.

Die Erstevaluationen der Szenarien „Automatisierung“, „Vergaberecht“ und „Mediengestaltung: Interview“ deuten an, dass der Grad des Determinismus und damit die Offenheit der VR-Lernumgebung einen Einfluss auf den Erfolg des Einsatzes von VR-Lernumgebungen haben (Bothe & Dannemann, Vortrag: VR im ganzheitlichen Lehrmix - Wie man VR-Lernszenarien erfolgreich in die Hochschullehre einbindet, 2024). Die Zufriedenheit war jedoch in allen Szenarien gleichermaßen hoch.

Die Herausforderungen

Zu Beginn des Projekts musste sich das Team aus Dozierenden je Szenario, Entwicklern und der Didaktik auf einen vagen Zielzustand der jeweiligen Anwendung verständigen, was aufgrund der verschiedenen Verständnisniveaus der Inhalte, der technischen Möglichkeiten und der notwendigen didaktischen & pädagogischen Entscheidungen nicht ohne Hindernisse war. Die Erarbeitung eines neuen Vokabulars aus digitalem Zwilling, Simulation, Grenzobjekt, mentalem Modell, Drehbuch und Handlungszelle erleichterten den Prozess erheblich (Adler, Bothe, Ackermann, & Kreyssig, eingereicht 14.02.2023).

Auch der Zugriff auf das Backend des ILIAS-Lernmanagementsystems bereitete aufgrund mangelnder und z.T. fehlerhafter Dokumentation zunächst größere Schwierigkeiten, die im derzeitigen Funktionsumfang der Schnittstelle jedoch bezwungen werden konnten.

Die ILIAS-Fragebögen beschränken sich auf eine Reihe festgelegter Fragetypen wie Single und Multiple Choice, Zuordnung, NumWert-Eingabe, Anordnung und einige weitere. Im Projekt wurde sich zum aktuellen Zeitpunkt auf die ersten drei Fragetypen konzentriert, da diese die meisten Interaktionsnotwendigkeiten in VR abzudecken scheinen. Ihre interaktive Entsprechung in VR zu erarbeiten, ist noch immer eine andauernde Herausforderung: Die Single und Multiple Choice-Antworten werden derzeit mittels von sich von der Umgebung stark abhebenden, leuchtenden Kugeln repräsentiert.  Man kann mit den virtuellen Händen oder den Controllern durch die Orbs fassen, um die Antwort auszuwählen. Die Zuordnungsfrage wird durch tatsächliche Aufnahme eines Objektes und Platzierung dessen in verschiedenen möglichen Platzhaltern beantwortet, wobei das zu platzierende Objekt bei Berührung des Platzhalters zunächst blau aufleuchtet und das Loslassen dann eine Bestätigung der Antwort erzeugt. Das Objekt schnappt dann an den Platzhalter.

Während die Szenarien der Automatisierung und des Vergaberechts den Fokus auf die Abbildung deterministischer Fragenstellungen und Prozess legen, stellt sich insbesondere im Bereich der Mediengestaltung die Frage nach Möglichkeiten, auch kreatives Arbeiten abseits linearer Lernpfade in der virtuellen Realität zu ermöglichen. Konzepte wie Emotion, Dramaturgie und Ästhetik lassen sich nur schwer in feste Muster fassen und können je nach Situation und beteiligten Akteuren sehr unterschiedlich ausfallen. Gleichzeitig sind Lehrsituationen oft auch an einer Bewertung und der Möglichkeit für Kritik und Feedback interessiert, welches sowohl aus objektiven als auch subjektiven Kriterien besteht. Bei der audiovisuellen Gestaltung von Bewegtbild ist es daher umso wichtiger, Transferwissen bei den Lernenden zu generieren, beispielsweise wie sich eine bestimmte Kombination von Kameraeigenschaften wie ISO (Lichtempfindlichkeit), Blendenzahl und Brennweite auf das Bildergebnis und daraus resultierend auch auf Stimmung, Charakter und die zu transportierende Botschaft des Filmmaterials auswirkt (Dannemann, Lehren und Lernen von Mediengestaltung mit Virtual Reality: Im Spannungsfeld zwischen Determinismus und kreativer Freiheit, 2024).

Zusammen mit Dozierenden und Studierenden der Medieninformatik entstanden zwei Lerneinheiten zum Training der Grundlagen von Filmproduktion unter Einsatz virtueller Filmsets, virtueller Schauspieler (Avatare) und virtuellem Equipment (Kamera und Mikrofon). Mit der entwickelten Technologie ist es nun möglich, im virtuellem Raum Film- und Tonaufnahmen zu erzeugen, welche anschließend wieder in die üblichen Postproduktions-Prozesse (Schnitt, Compositing, VFX) integriert werden können. Damit lassen sich die Ergebnisse und der angewendete Workflow nahtlos in bestehende und bewährte Lehrkonzepte einbetten und bieten eine gelungene, praxisnahe Ergänzung zur Arbeit an einer realen Inszenierung.

Stand der Dinge

Zum Zeitpunkt dieser Vorstellung konnte ein unterstützender Konzeptionierungsprozess für VRLEs erarbeitet werden (Bothe & Dannemann, Der Nutzen von Grenzobjekten für die Konzeption und Umsetzung digitaler Lehr-/Lern-Szenarien in erweiterten Realitäten, 2023) und eine Schnittstelle zwischen ILIAS und Unity geschaffen werden (Dannemann & Bothe, Poster: Erkenntnisse über die Entwicklung einer VR-Lernumgebung im Rahmen der Hochschullehre, 2023). Zudem wurde ein übergreifendes Basis-Tutorial zur Nutzung des VR-HMDs und der Controller für alle Szenarien geschaffen, sowie eine Nutzerführung durch einen virtuellen Assistenten, der den Lernenden akustische Hilfestellungen gibt.

Derzeit findet der Zugriff auf die VR-Lernumgebungen zuverlässig über VR-HMDs statt, eine Portierung auf mobile Endgeräte ist für das Szenario „Vergaberecht“ umgesetzt und im Test. Am Standort Halberstadt steht eine VR-Lernstation in der Bibliothek der Hochschule Harz und bietet den Studierenden die Möglichkeit, die VR-Lernumgebungen asynchron zu nutzen. Ebenso können die Studierenden in Wernigerode die VR-Lernumgebungen frei im xR-Lab der Hochschule verwenden. Das Nutzungsverhalten wird untersucht.

Alle Szenarien wurden erstevaluiert und die Ergebnisse sowie die Erkenntnisse aus der Erstellung zweier weiterer Szenarien „BOB“ und „Spin Coater“ werden derzeit in einem Leitfaden für die Erstellung von VR-Lernumgebungen zusammengefasst und sollen zum Herbst publiziert werden.

Danke!

Im Projekt werden wir von einem begleitenden Konsortium aus anderen mit xR-Technologien arbeitenden Forschungsprojekten der Stiftung Innovation in der Hochschullehre (Projekt praxwerk der HS Anhalt, Projekt ViCo der Uni Bonn, Projekt SHELLS der h_ka) im Diskurs und dem Austausch von entwickelten Features, Prozessen und Konzepten unterstützt. Ebenso stehen uns das Rechenzentrum und das TeachingLab (als Dozierende-unterstützende Einheit) der Hochschule Harz beiseite.

Referenzen

Adler, S., Bothe, P., Ackermann, D., & Kreyssig. (eingereicht 14.02.2023). Virtuelle Welten als Grenzobjekte technischer Systeme für Arbeits- und Lernprozesse. In Senkbeil, & Ahlers, Virtual Reality in den Geisteswissenschaften.

Bothe, P. (2023). Workshop: Evaluation von Lehr-Lernszenarien in erweiterten Realitäten. Bonn/Vechta: Werkstatt-Konferenz 2023.

Bothe, P., & Dannemann, M. (2023). Der Nutzen von Grenzobjekten für die Konzeption und Umsetzung digitaler Lehr-/Lern-Szenarien in erweiterten Realitäten. Karlsruhe: LEARNTEC 2023.

Bothe, P., & Dannemann, M. (2024). Vortrag: VR im ganzheitlichen Lehrmix - Wie man VR-Lernszenarien erfolgreich in die Hochschullehre einbindet. Karlsruhe: LEARNTEC Konferenz 2024.

Dannemann, M. (2024). Lehren und Lernen von Mediengestaltung mit Virtual Reality: Im Spannungsfeld zwischen Determinismus und kreativer Freiheit. Mittweida: NWK 2024.

Dannemann, M., & Bothe, P. (2023). Poster: Erkenntnisse über die Entwicklung einer VR-Lernumgebung im Rahmen der Hochschullehre. Aachen: DELFI 2023.