Fraunhofer-Institut für Graphische Datenverarbeitung IGDWir entwickeln ein Framework für Echtzeit-volumetrische Videos, das in Trainings-, Montagekontexten und fortgeschrittenen Industrieanwendungen eingesetzt werden kann.
Echtzeit-volumetrisches Video
Volumetrische Videos sind dreidimensionale Video-Darstellungen von Objekten oder Szenen. Im Gegensatz zu traditionellen 2D-Videos, die nur eine flache Darstellung zeigen, ermöglichen volumetrische Videos ein immersives Erlebnis, bei dem der Betrachter das Objekt oder die Szene aus verschiedenen Perspektiven beobachten kann. Dies wird erreicht, indem Daten von mehreren Kameras erfasst und in ein 3D-Modell umgewandelt werden. Dieses 3D-Modell wird in Echtzeit an ein entferntes Ausgabegerät übertragen, sodass reale Umgebungen virtuell an anderen Orten erlebt werden können. Die automatisierte Segmentierung von Teilmodellen hilft, relevante Bereiche für den Benutzer zu identifizieren. Darüber hinaus kann das Unterscheiden zwischen dynamischen und statischen Teil-Szenen eine präzise Darstellung einer dynamischen Welt ermöglichen.
Im industriellen Kontext kann der menschliche Operator beispielsweise zusätzlich direkte Unterstützung von einem remote verbundenen Experten in einer virtuellen 1:1-On-Site-Präsenz erhalten. Die Situation auf der Produktionslinie wird erfasst und unter Verwendung innovativer volumetrischer Rekonstruktionsmethoden an den entfernten Experten übertragen. Umgekehrt kann der Experte dem Arbeiter seine Empfehlungen in direkter virtueller Präsenz erklären und Unterstützung entweder durch direkt umsetzbare Anweisungen oder virtuelle Markierungen am Produkt selbst geben. Das System ist skalierbar und unterstützt Montagearbeiter über mobile oder head-mounted XR (Extended Reality) Ausgabegeräte. Darüber hinaus kann diese Telepräsenztechnologie für Schulungszwecke, Unterricht oder Fernwartung eingesetzt werden.