(Bilder: Qualcomm CDMA Technologies GmbH)
Das Problem mit der Latenz
Jede Verzögerung im User Interface ist eine empfindliche Störung der Immersion – egal ob grafisch oder auditiv. Der Nutzer entwickelt bei VR-Headsets mit Latenz eine reale Übelkeit. Die Systemlatenz muss also so gering wie möglich gehalten werden, die virtuelle Welt muss auch in der Bewegung stabil bleiben. Die größte Herausforderung dabei: Die Zeit, die zwischen Inputbewegung und der Aktualisierung des Bildschirms vergeht. Hier spricht man auch von der Motion-to-Photon-Latenz. Die Aktualisierung des Bildschirms erfordert viele Rechenschritte – daher kann eine optimierte Latenz nur Ende-zu-Ende erfolgen. Dazu gehören Sensoren, Sensor-Fusion, Generierung, Rendern und Dekodierung, Bildkorrektur und Display-Update. Eine Ende-zu-Ende-Lösung muss drei Dinge zugleich leisten: die Latenz des einzelnen Tasks reduzieren, so viele Tasks wie möglich parallel laufen lassen und die richtigen Shortcuts bei der Berechnung nutzen. Alle Teile müssen harmonisch zusammenarbeiten – Hardware, Software, SoC, Sensoren und Display; alles muss zugleich optimiert werden. Eine immense Aufgabe.
Was ein SoC für VR leisten muss
Zu den Anforderungen eines modernen SoCs gehören eine Motion-to-Photon-Latenz von <18ms, sphärische 360°-Videos bei 4K und 60fps, sowohl für HEVC wie für VP9, 3D Positional Audio und LTE Advanced, 802.11ac und 802.11ad Wi-Fi. Doch Hardwareanforderungen alleine reichen nicht aus – auch das SDK muss Zugang zu neuen APIs bieten, etwa DSP Sensor-Fusion mit niedriglatentem, präzisem 6-DOF Motion Tracking in Echtzeit oder stereoskopem Rendering, das für das linke und rechte Auge Sichtfelder mit bis zu 3200×1800 Pixel bei 90fps leisten muss. Weitere Features, die momentan gefordert werden, sind Single Buffer Rendering – direktes Rendern in den Display-Buffer. All das sehen wir heute bereits in modernen SoCs, die aus dem Mobilbereich kommen. Wir leben am Anfang der massenhaften Verbreitung von VR, einer spannenden Zeit.
Autor: Hamid-Reza Nazeman, Managing Director Germany, Qualcomm
www.qualcomm.de
