E-Book „Immersive Nutzererlebnisse“ Virtual-Reality-Anwendungen entwickeln

Von Filipe Martins & Anna Kobylinska 6 min Lesedauer

Ob Augmented, Extended, Mixed oder Virtual Reality: Immersive Erlebnisse schaffen neue Anwendungsfälle in der digitalen Transformation. Wieder einmal stehen Software-Entwickler und -Entwicklerinnen an einem Wendepunkt: Lohnt sich für sie das Eintauchen in virtuelle Welten?

Gut zu Gesicht: KI-gestützter Game-Character aus Nvidia Omniverse.
Gut zu Gesicht: KI-gestützter Game-Character aus Nvidia Omniverse.
(Bild: Nvidia)
eBook Immersive Nutzererlebnisse
eBook „Immersive Nutzererlebnisse“
(Bild: Dev-Insider)

E-Book zum Thema

In diesem eBook klären wir die Frage, ob es sich für Entwicklerinnen und Entwickler bereits lohnt, in immersive Welten einzutauchen.

Immersive Spiele haben in den vergangenen Jahren sprunghaft an Popularität gewonnen. Visuelle Detailtreue, anspruchsvolle Audioerlebnisse und eine neue Ebene der Interaktion: Es wird immer einfacher, sich in virtuellen Welten zu verlieren.

Das Aufkommen des industriellen Metaverse hat das Konzept immersiver Erlebnisse aus der Gaming-Szene auf den industriellen Sektor übertragen. Das Resultat ist eine wachsende Verschmelzung der digitalen und der physischen Welt. Gefragt sind neue Anwendungsfälle, mehr Effizienz und Kostenreduktion durch den „Verzicht“ auf Produktionsfehler.

Laut einer Studie von McKinsey & Company könnte der Metaverse bis zum Jahre 2030 einen Wert von bis zu 5 Billionen US-Dollar erreichen. An dieser stolzen Gesamtsumme soll der Online-Handel mit 2,6 Billionen US-Dollar die umsetzstärkste Position einnehmen, noch vor dem virtuellen Lernen (270 Milliarden Dollar), der Werbung (206 Milliarden Dollar) und dem Gaming (125 Milliarden Dollar).

Ein Teil von diesem Umsatz entfällt auf virtuelle Realität (VR). Das Forschungsinstitut Grand View Research beziffert die globale Marktgröße in diesem Segment auf 59,96 Milliarden US-Dollar im Jahr 2022. Die Analysten prognostizieren eine jährliche Wachstumsrate (CAGR) von 27,5 Prozent im Zeitraum zwischen 2023 und 2030.

Die Transzendenz der Welten

Einen Vorgeschmack auf die Zukunft immersiver Nutzererlebnisse lieferte Nvidia (Eigenschreibweise: NVIDIA) auf der GTC 2024 in San Jose. Die Messe machte deutlich, dass die Generative-AI-getriebene Explosion der Rechenleistung den Zugang zu neuen Anwendungsszenarien erweitert. Dieser Zuwachs manifestiert sich im Aufkommen neuer Softwarekategorien und innovativer Anwendungen, die noch kurz zuvor nicht möglich gewesen waren.

Computergenerierte Realität, darunter digitale Zwillinge, verändern die Art und Weise, wie Unternehmen in verschiedenen Branchen ihre Produkte entwerfen, herstellen und betreiben und wie die Nutzer mit ihnen interagieren. Nvidia positioniert die eigene Plattform Omniverse als einen Werkzeugkasten für die Gestaltung und den Bau von digitalen Zwillingen, Simulationen und Kontrollschrauben der physischen Realität im Metaverse.

Aufs Gaspedal treten: Debugging von GPU-Workloads mit Apple Metal in Apples Xcode.
Aufs Gaspedal treten: Debugging von GPU-Workloads mit Apple Metal in Apples Xcode.
(Bild: Apple)

Für Anbieter von XR-Peripherie ist der rasante Fortschritt in Sachen Rechenleistung gefundenes Fressen. Bisherige VR-Hardware, darunter Meta Quest 2 (ehemals Oculus), Playstation VR 2 und HTC Vive XR Elite, blieb in ihrem Leistungsumfang eine Zeitlang hinter den Erwartungen zurück und erschien vielen Nutzerinnen und Nutzern preislich nicht attraktiv, was wiederum die Entwicklung von immersiven Anwendungen bremste. Mit der Einführung der Meta Quest 3 zeichnet sich ein Wendepunkt ab.

Am Wendepunkt der digitalen Transformation

Traditionell hantieren Unternehmen mit physischen Prototypen von Produkten und verlassen sich darauf – bei der Entwicklung von komplexen vernetzten Produkten wie auch bei der Umsetzung von großangelegten Industrieprojekten. Dieser Ansatz ist teuer und fehleranfällig, begrenzt Innovationen und verlangsamt die Markteinführung, da er kostspielige Modifikationen unumgänglich macht.

Siemens gab auf der Nvidia GTC im März 2024 die Erweiterung seiner Partnerschaft mit Nvidia bekannt. Siemens integriert Nvidia Omniverse Cloud APIs in Anwendungen der Siemens Xcelerator Plattform, beginnend mit Teamcenter X der führenden Cloud-basierten Software für das Produktlebenszyklusmanagement (PLM) im Rahmen der Siemens Xcelerator Plattform.

eBook Immersive Nutzererlebnisse
eBook „Immersive Nutzererlebnisse“
(Bild: Dev-Insider)

E-Book zum Thema

In diesem eBook klären wir die Frage, ob es sich für Entwicklerinnen und Entwickler bereits lohnt, in immersive Welten einzutauchen.

Durch die Verbindung von Nvidia Omniverse mit Teamcenter X kann Siemens Ingenieurteams die Möglichkeit bieten, ihre physikbasierten digitalen Zwillinge immersiver und fotorealistischer zu gestalten, was Arbeitsabläufe beschleunigen und Fehler reduzieren soll. Die Nutzung von Omniverse APIs soll das Anwenden von Materialien, Beleuchtungsumgebungen und anderen unterstützenden Szenerie-Assets in physikbasierten Renderings dramatisch beschleunigen.

Dank KI-Integration soll es möglich werden, Ingenieurdaten so zu kontextualisieren, wie sie in der realen Welt erscheinen würden. Dadurch können auch andere Stakeholder außerhalb des Ingenieurwesens – von Vertriebs- und Marketingteams bis hin zu Entscheidungsträgern in der Chefetage und Kunden – von tieferen Einblicken und einem besseren Verständnis des realen Produkterscheinungsbildes profitieren.

Jetzt Newsletter abonnieren

Täglich die wichtigsten Infos zu Softwareentwicklung und DevOps

Mit Klick auf „Newsletter abonnieren“ erkläre ich mich mit der Verarbeitung und Nutzung meiner Daten gemäß Einwilligungserklärung (bitte aufklappen für Details) einverstanden und akzeptiere die Nutzungsbedingungen. Weitere Informationen finde ich in unserer Datenschutzerklärung.

Aufklappen für Details zu Ihrer Einwilligung

Zu den Benutzern von Omniverse zählen neben Siemens auch Unternehmen wie Aldi, BMW, Bosch, Mercedes-Benz und die Metro-Gruppe, sei es für digitale Zwillinge oder für andere industrielle Metaverse-Anwendungen.

Chancen nicht verspielen

Immersiv: Visualisierung einer Phantasiewelt aus Adobe Substance 3D Painter, Blender und Maxon Zbrush.
Immersiv: Visualisierung einer Phantasiewelt aus Adobe Substance 3D Painter, Blender und Maxon Zbrush.
(Bild: Adobe / Blender / Nvidia)

XR-Technologien – also Virtual Reality (VR), Augmented Reality (AR) und Mixed Reality (MR) – halten unweigerlich in die Softwareentwicklung in einer Vielzahl von Anwendungsfällen Einzug. Immersive Nutzererlebnisse stützen sich zunehmend auf eine dedizierte Hardwarelösungen, die den Feedback-Loop zwischen Illusion und Realität schließen.

Leistungsstarke Grafikkarten und Prozessoren sind unerlässlich, um komplexe 3D-Grafiken, realistische visuelle Effekte und flüssige Bewegungen in Echtzeit zu rendern. Hier ein Beispiel in Python:

# PyOpenGL für 3D-Rendering nutzen
from OpenGL.GL import *
from OpenGL.GLUT import *
def renderScene():
   glClear(GL_COLOR_BUFFER_BIT | GL_DEPTH_BUFFER_BIT)
   # Renderlogik für 3D-Objekte
   glutSwapBuffers()
glutInit()
glutInitDisplayMode(GLUT_DEPTH | GLUT_DOUBLE | GLUT_RGBA)
glutCreateWindow('Immersive Erfahrung')
glutDisplayFunc(renderScene)
glutMainLoop()

Hochwertige Kopfhörer mit raumfüllendem Klang und 3D-Audio-Algorithmen sorgen für realistische Klangumgebungen. VR-Headsets wie die Oculus Rift, HTC Vive oder Valve Index schaffen mit ihren Tracking-Sensoren und Bewegungscontroller neue Interaktionsmöglichkeiten.

Im Gegensatz zu VR-Headsets projizieren AR-Brillen wie die Microsoft HoloLens oder die Magic Leap One digitale Informationen in das Sichtfeld des Benutzers als Ergänzung der physischen Realität. Digitale Projektion auf diesen Geräten ist mit geeigneten Hilfsmitteln ein Leichtes:

// Unity C# für Microsoft HoloLens
void Start() {
   // Ein holografisches Objekt an einer bestimmten Stelle platzieren
   hologram.transform.position = new Vector3(0, 0, 2);
}

Ebenso wie die Bewegungserfassung (in C#):

// Unity C# Beispiel für die Erfassung von Controller-Bewegungen
void Update() {
   var hand = InputDevices.GetDeviceAtXRNode(XRNode.RightHand);
   Vector3 position;
   if (hand.TryGetFeatureValue(CommonUsages.devicePosition, out position)) {
      // Bewege ein Objekt basierend auf der Controller-Position
   }
}

Haptische Handschuhe, Anzüge oder Westen bieten taktiles Feedback. Sie simulieren Berührungen, Vibrationen und Druck. Messwerte aus diesen Geräten liefern wertvolles Feedback für die Anwendung. Infrarotkameras, Lichtsensoren und LIDAR-Technologien erlauben die genaue Positionsbestimmung im Raum. Zur Bewegungserfassung kommen im Zusammenspiel mit diesen Sensoren Lösungen wie die quelloffene Bibliothek OpenCV (Open Source Computer Vision Library) für Computer Vision und Maschinelles Lernen zum Tragen.

Softwarelösungen für die Entwicklung immersiver Nutzererlebnisse fallen im Grunde genommen in eine von drei Kategorien:

  • Game-Engines wie Unity und Unreal Engine: das Geheimrezept für immersive Erlebnisse in der Unterhaltung bis hin zur Anwendungsfällen der Industrie
  • Plattformspezifische Lösungen für mobile Endgeräte
  • Frameworks auf der Basis von Web-Standards und hybride Lösungen

Viele der führenden Lösungen in diesem Bereich können auf Cloud-Backends zugreifen, um zusätzliche Funktionalität und Rechenleistung bereitzustellen, und mit leistungsstarken APIs auftrumpfen.

Fazit

In der technologiegetriebenen Landschaft des digitalen Zeitalters wächst die Bedeutung immersiver Nutzererlebnisse. Eine Fülle von innovativen Tools und Plattformen hilft, die Grenzen des Machbaren zu erweitern. Im Markt tummeln sich so viele innovative Akteure, dass die schiere Menge an Lösungen und Ansätzen genauso inspirierend wie erdrückend wirkt. Jede neue Konferenz, jeder Messestand, jedes Update scheint dies zu bestätigen.

Das Ziel: die Übertragung der physischen Realität ins Metaverse. Mit der Entwicklung entsprechender Implementierungen befasst sich das eBook „Immersive Nutzererlebnisse entwickeln“ von Dev-Insider.

E-Book zum Thema

Immersive Nutzererlebnisse

eBook Immersive Nutzererlebnisse
eBook „Immersive Nutzererlebnisse“
(Bild: Dev-Insider)

Lohnt es sich für Entwickler und Entwicklerinnen bereits, in immersive Welten einzutauchen? . Erfahren Sie in diesem eBook, welche Möglichkeiten das industrielle Metaverse bietet und welche Tools Sie wirklich weiterbringen.

Folgende drei Kapitel umfasst das eBook:

  • Totale Immersion: Auf dem Weg ins Metaverse
  • XR-Technologien in der Softwareentwicklung
  • „Immersive“ Hilfsmittel: Werkzeuge und Frameworks

(ID:49999173)