• Publikationen
Show publication details

Alvarado, Pablo; Bockholt, Ulrich; Canzler, Ulrich; Herbort, Steffen; Heuser, Nicolas; Keitler, Peter; Krzikalla, Roland; Olbrich, Manuel; Prager, André; Schröder, Frank; Schwerdt, Jörg; Willneff, Jochen; Zürl, Konrad

ARVIDA-Technologien

2017

Schreiber, Werner (Ed.) et al.: Web-basierte Anwendungen Virtueller Techniken: Das ARVIDA-Projekt - Dienste-basierte Software-Architektur und Anwendungsszenarien für die Industrie. Berlin: Springer Vieweg, 2017, pp. 193-217

Dieses Kapitel beschreibt Technologien im Kontext von ARVIDA, die über die allgemeine Beschreibung von Technologien aus Kap. 2 hinausgehen. Eine der Hürden für den produktiven Einsatz von VT ist der Mangel an robusten, markerlosen Trackingsystemen. Hier wurden im Rahmen des Projektes essentielle Fortschritte gemacht. Auch bei der Gestenerkennung konnten im Rahmen der Interaktion in einer Sitzkiste wesentliche Verbesserungen erzielt werden. Die Vermessung von Geodaten ist eine Grundvoraussetzung für Anwendungen im Digitalen Fahrzeugerlebnis. Hier wurden ebenfalls deutliche Fortschritte erzielt. Schließlich ist zu erwähnen, dass die vorgestellten Technologien als Dienste der Referenzarchitektur bereitgestellt werden, um den Austausch von Technologien einfach zu gestalten.

Show publication details

Bockholt, Ulrich; Bochtler, Thomas; Enderlein, Volker; Olbrich, Manuel; Otto, Michael; Prieur, Michael; Sauerbier, Richard; Stechow, Roland; Wehe, Andreas; Wirsching, Hans-Joachim

Motion Capturing

2017

Schreiber, Werner (Ed.) et al.: Web-basierte Anwendungen Virtueller Techniken: Das ARVIDA-Projekt - Dienste-basierte Software-Architektur und Anwendungsszenarien für die Industrie. Berlin: Springer Vieweg, 2017, pp. 219-262

Motion Capture Technologien werden in vielen unterschiedlichen Bereichen eingesetzt, wie zum Beispiel der Filmindustrie, der Sportrehabilitation, der Spieleentwicklung oder im industriellen Umfeld. Die Technologie ermöglicht es, Bewegungen aufzuzeichnen und diese auf eine digitale Repräsentanz (Avatar) eines Menschen (Digital Human Model) zu applizieren. Über ein generisches Menschmodell bzw. mit Hilfe der im Projekt ARVIDA entwickelten Referenzarchitektur ist eine universelle Anwendung möglich und verschiedene Expertensysteme lassen sich derart nutzen, dass ein ganzheitlicher Prozess durchgeführt werden kann. Für Ergonomie-Untersuchungen im Nutzfahrzeug können allgemein gültige digitale Bewegungsbausteine entwickelt werden, die sich nachträglich an neue, ähnliche Szenarien anpassen lassen. In der Produktionsabsicherung wird bereits in den frühen Phasen ein höherer Reifegrad ermöglicht, indem Motion Capturing für die Echtzeitsimulation von manuellen Arbeitsvorgängen in virtuellen Umgebungen eingesetzt wird.

Show publication details

Adams, Oliver; Bockholt, Ulrich; Hildebrand, Axel; Jonescheit, Leiv; Krzikalla, Roland; Olbrich, Manuel; Pankratz, Frieder; Pfützner, Sebastian; Roth, Matthias; Scheer, Fabian; Schwerdtfeger, Björn; Staack, Ingo; Wasenmüller, Oliver

Soll/Ist-Vergleich

2017

Schreiber, Werner (Ed.) et al.: Web-basierte Anwendungen Virtueller Techniken: Das ARVIDA-Projekt - Dienste-basierte Software-Architektur und Anwendungsszenarien für die Industrie. Berlin: Springer Vieweg, 2017, pp. 263-307

Das Ziel des Anwendungsszenarios ist eine präzise Digitalisierung und die Erforschung effizienter Verfahren zur Integration dieser Umgebungsdaten in Mixed Reality Anwendungen. Einsatzgebiete für die Erfassung großer Messvolumina liegen im Bereich der Fabrik-, Produktions- und Montageplanung, bei denen ein realistisches digitales Abbild der vorhandenen Arbeitsumgebung eine wichtige zusätzliche Informationsquelle darstellt. Für kleine Messvolumina liegen die Einsatzbereiche in der Produktabsicherung entlang des gesamten Produktlebenszyklus. Das Anwendungsszenario "Soll/Ist-Vergleich" zeigt das Potential der Referenzarchitektur, weil hier zahlreiche existierende Technologien und ARVIDA-Entwicklungsergebnisse unterschiedlicher Partner über die Referenzarchitektur integriert wurden. Das Teilprojekt betrachtet zum einen die Umfelderkennung und Umfelderfassung in kleinen und großen Messvolumina, zum anderen wurden projektionsbasierte AR-Lösungen realisiert, durch die Verfahren für den Soll/Ist-Abgleich realisiert werden konnten.

Show publication details

Bockholt, Ulrich; Brauns, Sarah; Fluck, Oliver; Harth, Andreas; Keitler, Peter; Koriath, Dirk; Lengowski, Stefan; Olbrich, Manuel; Staack, Ingo; Rautenberg, Ulrich; Widor, Volker

Werkerassistenz

2017

Schreiber, Werner (Ed.) et al.: Web-basierte Anwendungen Virtueller Techniken: Das ARVIDA-Projekt - Dienste-basierte Software-Architektur und Anwendungsszenarien für die Industrie. Berlin: Springer Vieweg, 2017, pp. 309-377

Es werden Szenarien beschrieben, die sich mit Aufgabenstellungen der Mitarbeiterführung und der Mitarbeiter-Assistenz in der Industrie befassen. Im Anwendungsszenario "MR-Engineering" wurden Systemlösungen erforscht, mit denen Planer, Arbeitsvorbereiter und In-Betrieb-Nehmer mit Hilfe von virtuellen Techniken und individuellen Software- Lösungen in Zukunft unterstützt werden können. Im Szenario "3D-Bauplanung" wird die automatische Verknüpfung von Generalplan und Daten zur Auftragsabwicklung dargestellt. Ziel ist es, die Arbeit des Planers mit effizienteren und anschaulicheren Folgen von Arbeitsschritten zu vereinfachen. In den weiteren Szenarien "3D-Bauanleitung", "Intelligentes Schema" und "Fertigen ohne Zeichnung" wird die Planung von Rohrleitungen und die Ableitung von Bauanleitungen unterstützt. Hier werden Daten zusammengeführt und über Augmented Reality visualisiert. Im Unterkapitel "Mobile Projektionsbasierte Assistenzsysteme" werden in vier Anwendungsszenarien Systeme entwickelt und beschrieben, die den Mitarbeiter bei der Bewältigung verschiedener Arbeitsaufgaben durch Augmented Reality mobil unterstützen. Diese AR Komponenten sind im Wesentlichen Projektionssysteme, die durch optisches Tracking mobilisiert werden. Der Schwerpunkt liegt hier in der Integration von Tracking-Systemen und Datendiensten durch die ARVIDA-Referenzarchitektur. Der Forschungsschwerpunkt im Anwendungsszenario "Instandhaltung und Training" war das schnelle und einfache Trainieren von komplexen wiederkehrenden Arbeitsabläufen. Durch vielfältige und variantenreiche Produkte ist die klassische Erstellung von Trainingsszenarien nicht mehr zu bewältigen. In drei aufeinander aufbauenden Phasen entstand in diesem Teilprojekt eine Trainingsapplikation, mit der es einem Trainer möglich ist, eigenständig und schnell Trainingsmodule ohne Programmier- oder VR-Kenntnisse zu erstellen. Im Training werden dem Trainee die Informationen als sowohl statische wie auch kongruente Überlagerungen mittels Datenbrille direkt im Sichtfeld angezeigt.

Show publication details

Olbrich, Manuel; Keil, Jens; Makiela, Thomas

Heritage Move: A Natural & Lightweight Navigation Schema for Low-Cost, Non-Stationary Immersive Virtual Environments

2015

Guidi, Gabriele (Ed.) et al.: 2015 Digital Heritage International Congress. Volume 1. New York: The Institute of Electrical and Electronics Engineers (IEEE), 2015, pp. 289-292

Digital Heritage International Congress (DH) <2015, Granada, Spain>

Show publication details

Bockholt, Ulrich; Roth, Matthias; Lengowski, Stefan; Olbrich, Manuel; Schwerdtfeger, Björn; Staack, Ingo

Zeichnungslose Fertigung - AR-Überlagerung von PMI (Product and Manufacturing Information) auf die zu fertigenden Baugruppen

2015

Schenk, Michael (Ed.): 18. IFF-Wissenschaftstage 2015. Tagungsband : Digitales Engineering zum Planen, Testen und Betreiben technischer Systeme, pp. 245-251

IFF-Wissenschaftstage <18, 2015, Magdeburg, Germany>

Der Schiffbau ist gekennzeichnet durch die Herstellung von Unikaten mit Prototypcharakter bei sich permanent ändernden Bauzuständen während der Produktentstehung. In diesem Zusammenhang werden pro Schiff etwa 12.000 Standardbauteile bzw. -baugruppen gefertigt, für die individuelle Fertigungszeichnungen erstellt werden. Ein Medienbruch (Übertragung der digitalen Zeichnung auf Papier) bringt immer zum einen eine potentielle Fehlerquelle (etwa wenn die Fertigungszeichnung nicht dem aktuellen Planungsstand entspricht) zum anderen einen erhöhten Arbeitsaufwand mit sich. Deswegen werden im Rahmen des BMBF-Projektes »ARVIDA« unter anderem Augmented-Reality-Assistenzsysteme zur zeichnungslosen Fertigung entwickelt, die die notwendigen Informationen und Arbeitsschritte direkt auf die Bauteile übertragen bzw. projizieren und somit den Werker bei der Herstellung der Werkstücke effektiv unterstützen. Neben der Erforschung von Augmented Reality Methoden wird dabei die vollständige Integration der Verfahren in den im Schiffbau etablierten Workflow und PLM Landschaft betrachtet, d.h.: - Die Fertigungsinformationen werden im CAD System in Form von PMI (Product and Manufacturing Information) erzeugt und dargestellt. - PMI sowie die zugehörigen CAD-Daten (im JT Format) können direkt aus dem PLM-System in das AR-System überführt werden (hier wurde insbesondere ein Transcoding-Dienst zu Integration der AR Technologien in die Teamcenter-Umgebung (Siemens) entwickelt. - CAD-Modelle und PMI werden auf Basis von WebGL im Web-Browser visualisiert. Dadurch ist es nicht erforderlich, eine spezielle Viewer-Software zu installieren. Die 3D-Informationen können auf jeder Plattform (z.B. Standard PC, Smartphone, Tablet) dargestellt werden. Um das Projekt zu erläutern, werden im Folgenden die Aspekte des Projektes in den Abschnitten »PMI - Product and Manufacturing Information«, »Integration in die PDM-Landschaft« und »AR Visualisierung« dargestellt.

Show publication details

Olbrich, Manuel; Franke, Tobias; Rojtberg, Pavel

Remote Visual Tracking for the (Mobile) Web

2014

Polys, Nicholas F. (General Chair) et al.: Proceedings Web3D 2014 : 19th International Conference on 3D Web Technology. New York: ACM, 2014, pp. 27-33

International Conference on 3D Web Technology (WEB3D) <19, 2014, Vancouver, BC, Canada>

Augmented Reality is maturing, but in a world where we are used to straightforward services on the internet, Augmented Reality applications require a lot of preparation before they can be used. Our approach shows how we can bring Augmented Reality into a normal web browser, or even browsers on mobile devices. We show how we are, with recent features of HTML5, able to augment reality based on complex 3D tracking in a browser without having to install or set up any software on a client. With this solution, we are able to extend 3D Web applications with AR and reach more users with a reduced usability barrier. A key contribution of our work is a pipeline for remote tracking built on web-standards.

Show publication details

Bockholt, Ulrich; Behr, Johannes; Wagner, Sebastian; Limper, Max; Olbrich, Manuel; Franke, Tobias

VR/AR-Technologien im Browser: Effiziente Integration virtueller Technologien ins PDM-Umfeld durch Nutzung von Web-Technologien

2014

Schenk, Michael (Ed.): 17. IFF-Wissenschaftstage 2014. Tagungsband : Digitales Engineering zum Planen, Testen und Betreiben technischer Systeme, pp. 103-108

IFF-Wissenschaftstage <17, 2014, Magdeburg, Germany>

Die Verknüpfung von Web-Technologien und VT-Technologien ermöglicht es, sehr schnell und sehr effizient, schlanke und aufgabenspezifischen Anwendungen zu entwickeln, die über HTML-Interfaces auf PDM-Systeme zugreifen. Diese Anwendungen können gut gewartet, modifiziert und erweitert werden, weil für die Anpassung lediglich HTML-Kenntnisse benötigt werden. Durch die vorgestellten Technologien können Virtual und Augmented Reality Technologien in den Web-Browser gebracht werden und Interfaces können geschaffen werden, durch die VR/AR direkt auf PDM Daten zugreifen kann. Damit können die Workflows in industriellen Anwendungen unterstützt werden und die Akzeptanz der Technologien kann in den Unternehmen gestärkt werden.

Show publication details

Olbrich, Manuel; Graf, Holger; Kahn, Svenja; Engelke, Timo; Keil, Jens; Rieß, Patrick; Webel, Sabine; Bockholt, Ulrich; Picinbono, Guillaume

Augmented Reality Supporting User-centric Building Information Management

2013

The Visual Computer, Vol.29 (2013), 10, pp. 1093-1105

The rapid development of geo-referenced information changed the way on how we access and interlink data. Smartphones as enabling devices for information access are main driving factor. Thus, the hash key to information is the actual position registered via camera and sensory of the mobile device. A rising technology in this context is Augmented Reality (AR) as its fuses the real world captured with the smartphone camera with geo-referenced data. The technological building blocks analyse the intrinsic sensor data (camera, GPS, inertial) to derive a detailed pose of the smartphone aiming to align geo-referenced information to our real environment. In particular, this is interesting to applications where 3D models are used in planning and organization processes as, e.g., facility management. Here, Building Information Models (BIM) were established in order to hold "as built" information, but also to manage the vast amount of additional information coming with the design, such as building components, properties, maintenance logs, documentation, etc. One challenge is to enable stakeholders involved in the overall building lifecycle to get mobile access to the management system within onsite inspections and to automatise feedback of newly generated information into the BIM. This paper describes a new AR framework that offers on-site access to BIM information and user centric annotation mechanism.

Show publication details

Webel, Sabine; Bockholt, Ulrich; Engelke, Timo; Gavish, Nirit; Olbrich, Manuel; Preusche, Carsten

Augmented Reality Training Platform for Assembly and Maintenance Skills

2013

Robotics and Autonomous Systems, Vol.61 (2013), 4, pp. 398-403. First published as Article in Press on 01 November 2012

The training of technicians in the acquisition of new maintenance and assembly tasks is an important factor in industry. As the complexity of these tasks can be enormous, the training of technicians to acquire the necessary skills to perform them efficiently is a challenging point. In this context it is shown that Augmented Reality is a powerful technology to support training in the particular context of industrial service procedures, since instructions on how to perform the service tasks can be directly linked to the machine parts to be processed. Due to the increasing complexity of maintenance tasks, it is not sufficient to train the technicians' execution of these tasks, but rather to train the underlying skills-sensorimotor and cognitive-that are necessary for an efficient acquisition and performance of new maintenance operations. All these facts lead to the need for efficient training systems for the training of maintenance and assembly skills which accelerate the technicians' learning and acquisition of new maintenance procedures. Furthermore, these systems should improve the adjustment of the training process to new training scenarios and enable the reuse of existing training material that has proven its worth. In this context a novel concept and platform for multimodal Augmented Reality-based training of maintenance and assembly skills has been developed, which includes the training of the involved sub-skills and the evaluation of the designed training system. Since procedural skills are considered as the most important skills for maintenance and assembly operations, we focus on the training of these skills, as well as appropriate methods for improving them.

Show publication details

Webel, Sabine; Olbrich, Manuel; Franke, Tobias; Keil, Jens

Immersive Experience of Current and Ancient Reconstructed Cultural Attractions

2013

2013 Digital Heritage International Congress. Volume 1 : DigitalHeritage. New York: The Institute of Electrical and Electronics Engineers (IEEE), 2013, pp. 395-398

Digital Heritage International Congress (DigitalHeritage) <2013, Marseille, France>

Manual and automatic reconstruction of cultural assets is well-established fields of research. Especially with the recent introduction of methods such as KinectFusion even low cost sensors can be employed to create digital copies of the environment. However, experiencing these 3D models is still an active issue considering the wide variety of interaction devices for immersive Virtual Reality. The balance between system mobility and freedom of interaction is still a challenge: either the user's view is totally covered through digital data, what complicates the intuitive interaction with the virtual world enormously, or projection-based installations are used which are usually stationary. In our paper we focus on creating a low-cost, fully immersive and non-stationary Virtual Reality setup that allows the user to intuitively experience cultural heritage artifacts. For this purpose we explore and analyze recent devices such as the Oculus Rift HMD, the Microsoft Kinect and the Leap Motion controller.

Show publication details

Olbrich, Manuel; Franke, Tobias; Keil, Jens

Skeletal Input for User Interaction in X3D

2013

Posada, Jorge (General Chair) et al.: Proceedings Web3D 2013 : 18th International Conference on 3D Web Technology. New York: ACM Press, 2013, pp. 143-146

International Conference on 3D Web Technology (WEB3D) <18, 2013, San Sebastian, Spain>

Recent developments in depth sensor technology enable developers to use skeletal input in interactive 3D environments with high user fluctuation like museum exhibits. However, the question of how to use natural user input and body movement to control rich interactive and immersive environments remains and demands more intuitive solutions due to the new audience. In this paper, we document different forms of interaction that where designed to be used by untrained visitors and regard hand and body gestures form a user centric angle instead of a technological point-of- view. We thereby show how we cope with untrained user expectations and how we intuitively guide them to use the systems. In addition, we discuss how the results could be improved based on an informal evaluation and observations made on-site.

Show publication details

Bockholt, Ulrich; Webel, Sabine; Engelke, Timo; Olbrich, Manuel; Wuest, Harald

Skill Capturing and Augmented Reality for Training

2013

Bergamasco, Massimo (Ed.) et al.: Skill Training in Multimodal Virtual Environments. Boca Raton: Taylor & Francis, CRC Press, 2013, pp. 81-90

AR-based training applications must clearly differ from AR-based guiding applications, as they must really train the user and not only guide the user through the task. AR is a good technology for training, as instructions or location-dependent information can be directly linked and attached to physical objects. Because objects to be maintained usually contain a large number of similar components, the provision of location-dependent information is vitally important for the training. Furthermore, in AR-based training, sessions can be combined with teleconsultation technologies, and the availability of a trainer on-site is not mandatory.

Show publication details

Franke, Tobias; Olbrich, Manuel; Fellner, Dieter W.

A Flexible Approach to Gesture Recognition and Interaction in X3D

2012

Mouton, Christophe (General Chair) et al.: Proceedings Web3D 2012 : 17th International Conference on 3D Web Technology. New York: ACM Press, 2012, pp. 171-174

International Conference on 3D Web Technology (WEB3D) <17, 2012, Los Angeles, CA, USA>

With the appearance of natural interaction devices such as the Microsoft Kinect or Asus Xtion PRO cameras, a whole new range of interaction modes have been opened up to developers. Tracking frameworks can make use of the additional depth image or skeleton tracking capabilities to recognize gestures. A popular example of one such implementation is the NITE framework from PrimeSense, which enables fine grained gesture recognition. However, recognized gestures come with additional information such as velocity, angle or accuracy, which are not encapsulated in a standardized format and therefore cannot be integrated into X3D in a meaningful way. In this paper, we propose a flexible way to inject gesture based meta data into X3D applications to enable fine grained interaction. We also discuss how to recognize these gestures if the underlying framework provides no mechanism to do so.

Show publication details

Olbrich, Manuel

Accessing HTTP Interfaces within X3D Script Nodes

2012

Mouton, Christophe (General Chair) et al.: Proceedings Web3D 2012 : 17th International Conference on 3D Web Technology. New York: ACM Press, 2012, pp. 139-142

International Conference on 3D Web Technology (WEB3D) <17, 2012, Los Angeles, CA, USA>

X3D supports a variety of media types to be used in 3D scenes like images, videos or other X3D models. A scene can dynamically load and replace this media during runtime, but since there is no way to communicate directly with outside sources like a server, all data sources need to be known in advance. This problem is usually solved by using interfaces like SAI, which allow external applications to modify the current scene. But this solution makes it necessary to set up all the communication via SAI and have the external application communicate with a server. In this paper, we will show how XMLHttpRequest, an object common in web browsers, can be used to handle the communication from within the X3D Browser. We will show how well this approach fits into the X3D environment and how easy this can be implemented in an X3D Browser. Afterwards, some examples will show the benefits in real applications and how easy this solution is to use.

Show publication details

Kahn, Svenja; Olbrich, Manuel; Engelke, Timo; Keil, Jens; Rieß, Patrick; Webel, Sabine; Graf, Holger; Bockholt, Ulrich; Picinbono, Guillaume

Beyond 3D "as-Built" Information using Mobile AR Enhancing the Building Lifecycle Management

2012

Kuijper, Arjan (Ed.) et al.: 2012 International Conference on Cyberworlds. Proceedings : Cyberworlds 2012. Los Alamitos, Calif.: IEEE Computer Society Conference Publishing Services (CPS), 2012, pp. 29-36

International Conference on Cyberworlds (CW) <11, 2012, Darmstadt, Germany>

The success of smartphone technologies changed the way information is processed as more and more geo-referenced structures are emerging linking information to specific locations within our environment. Thereby, Augmented Reality has become a key technology as it analyses the smartphone sensor data (camera, GPS, inertial) to derive the detailed pose of the smartphone, with the aim to correlate our real environment to the geo-referenced information space. In particular, this is relevant for application fields where 3Dmodels are used in planning and organization processes as e.g. facility management. In facility construction and management Building Information Model (BIM) was established as a standard that not only holds the 3D-building-geometry but encompasses pipe/electrical systems as well as semantic building information, for example properties and conditions of building components. With this motivation our work integrates BIM and Augmented Reality.

Show publication details

Olbrich, Manuel; Wuest, Harald; Rieß, Patrick; Bockholt, Ulrich

Augmented Reality Pipe Layout Planning in the Shipbuilding Industry

2011

IEEE Computer Society Visualization and Graphics Technical Committee (VGTC): 10th IEEE International Symposium on Mixed and Augmented Reality : ISMAR 2011. The Institute of Electrical and Electronics Engineers (IEEE), 2011, pp. 269-270

IEEE International Symposium on Mixed and Augmented Reality (ISMAR) <10, 2011, Basel, Switzerland>

As large ships are never produced in masses, it often occurs that the construction process and production process overlap in time. Many shipbuilding companies have problems with discrepancies between the construction data and the real built ship. The assembly department often has to modify CAD data for a successful installation. We present an augmented reality system, where a user can visualize the construction data of pipes and modify these in the case of misalignment, collisions or any other conflicts. The modified pipe geometry can be stored and further used as input for CNC pipe bending machines. To guarantee an exactly orthogonal passage of the pipes through aligning bolt holes, we integrated an optical measurement tool into the pipe alignment process.

Show publication details

Webel, Sabine; Bockholt, Ulrich; Engelke, Timo; Peveri, Matteo; Olbrich, Manuel; Preusche, Carsten

Augmented Reality Training for Assembly and Maintenance Skills

2011

BIO Web of Conferences, Vol.1 (2011), 4 p.

The International Conference SKILLS <1, 2011, Montpellier, France>

Augmented Reality (AR) points out to be a good technology for training in the field of maintenance and assembly, as instructions or rather location-dependent information can be directly linked and/or attached to physical objects. Since objects to maintain usually contain a large number of similar components (e.g. screws, plugs, etc.) the provision of location-dependent information is vitally important. Another advantage is that AR-based training takes place with the real physical devices of the training scenario. Thus, the trainee also practices the real use of the tools whereby the corresponding sensorimotor skills are trained.

Show publication details

Franke, Tobias; Kahn, Svenja; Olbrich, Manuel; Jung, Yvonne

Enhancing Realism of Mixed Reality Applications through Real-Time Depth-Imaging Devices in X3D

2011

ACM SIGGRAPH: Proceedings Web3D 2011 : 16th International Conference on 3D Web Technology. New York: ACM Press, 2011, pp. 71-80

International Conference on 3D Web Technology (WEB3D) <16, 2011, Paris, France>

Until recently, depth sensing cameras have been used almost exclusively in research due to the high costs of such specialized equipment. With the introduction of the Microsoft Kinect device, real-time depth imaging is now available for the ordinary developer at low expenses and so far it has been received with great interest from both the research and hobby developer community. The underlying OpenNI framework not only allows to extract the depth image from the camera, but also provides tracking information of gestures or user skeletons. In this paper, we present a framework to include depth sensing devices into X3D in order to enhance visual fidelity of X3D Mixed Reality applications by introducing some extensions for advanced rendering techniques. We furthermore outline how to calibrate depth and image data in a meaningful way through calibration for devices that do not already come with precalibrated sensors, as well as a discussion of some of the OpenNI functionality that X3D can benefit from in the future.

Show publication details

Bockholt, Ulrich; Webel, Sabine; Staack, Ingo; Riedel, Michael; Rieß, Patrick; Olbrich, Manuel; Wuest, Harald

Kooperative Mixed Reality für Konstruktion und Fertigung im Schiffsbau

2011

Schenk, Michael (Ed.): 14. IFF-Wissenschaftstage 2011. Tagungsband : Digitales Engineering und virtuelle Techniken zum Planen, Testen und Betreiben technischer Systeme. Stuttgart: Fraunhofer Verlag, 2011, pp. 185-190

IFF-Wissenschaftstage <14, 2011, Magdeburg, Germany>

Verteilte Mixed Reality Systeme, d.h. VR/AR-Installationen, die sich an unterschiedlichen Standorten befinden und via Internet vernetzt sind, wurden bislang nur in akademischen Testszenarien eingesetzt. Sie konnten den Sprung in industrielle Nutzung jedoch nicht vollziehen. Im Szenario "VR-Meeting" des BMBF-Projektes AVILUS wurde auf Grundlage des Virtual und Augmented Reality Systems "instantreality" (www.instantreality.de) ein kollaboratives VR-System entwickelt, mit dem Entwicklungsteams an verteilten Standorten in einer virtuellen Konstruktionssitzung zusammenarbeiten. Dabei wurden zum einen Verfahren für eine sichere Datenverteilung realisiert, zum anderen wurden Methoden zur effizienten Protokollierung von verteilten immersiven Konstruktionssitzungen erforscht.

Show publication details

Jung, Yvonne; Webel, Sabine; Olbrich, Manuel; Drevensek, Timm; Franke, Tobias; Roth, Marcus; Fellner, Dieter W.

Interactive Textures as Spatial User Interfaces in X3D

2010

ACM SIGGRAPH: Proceedings Web3D 2010 : 15th International Conference on 3D Web Technology. New York: ACM Press, 2010, pp. 147-150

International Conference on 3D Web Technology (WEB3D) <15, 2010, Los Angeles, USA>

3D applications, e.g. in the context of visualization or interactive design review, can require complex user interaction to manipulate certain elements, a typical task which requires standard user interface elements. However, there are still no generalized methods for selecting and manipulating objects in 3D scenes and 3D GUI elements often fail to gather support for reasons of simplicity, leaving developers encumbered to replicate interactive elements themselves. Therefore, we present a set of nodes that introduce different kinds of 2D user interfaces to X3D. We define a base type for these user interfaces called "InteractiveTexture", which is a 2D texture node implementing slots for input forwarding. From this node we derive several user interface representations to enable complex user interaction suitable for both, desktop and immersive interaction.

Show publication details

Jung, Yvonne; Recker, Ruth-Maria; Olbrich, Manuel; Bockholt, Ulrich

Using X3D for Medical Training Simulations

2008

Spencer, Stephen N. (Ed.): Proceedings WEB3D 2008 : 13th International Symposium on 3D Web Technology. New York: ACM Press, 2008, pp. 43-51

International Conference on 3D Web Technology (WEB3D) <13, 2008, Los Angeles, CA, USA>

Nowadays medical training simulators play an important role in education and further training of surgeons. With Virtual Reality based training systems it is possible to simulate a surgery under realistic conditions. Input data for the visualization of anatomic structures is tomographic image data. For the visualization of medical datasets direct volume rendering is the method of choice. In this paper we introduce a system based on the new X3D extension proposal of the Medical Working Group for a volume rendering component, with some extensions for controlling the speed vs. quality trade-off. For a convincing and instructive training simulation, our implementation delivers high performance combined with high quality visualization of medical datasets. Furthermore, it integrates haptic forcefeedback devices to assure realistic interactions.

Show publication details

Bockholt, Ulrich; Jung, Yvonne; Recker, Ruth-Maria; Olbrich, Manuel

Visuelles und haptisches Volumenrendering von medizinischen Bilddaten in Virtual Reality-Simulationen

2008

Schenk, Michael (Ed.): 11. IFF-Wissenschaftstage 2008. Tagungsband [CD-ROM]. Magdeburg: Fraunhofer IFF, 2008, pp. 31-37

IFF-Wissenschaftstage <11, 2008, Magdeburg, Germany>

Virtual-Reality Simulationen konnten sich in der chirurgischen Ausbildung etablieren, wobei die angebotenen Systeme von einfachen Trainingssimulatoren bis hin zu komplexen Chirurgiesimulatoren reichen. Diese Simulationen sind oft sehr überzeugend, häufig steckt allerdings ein großer Aufwand in der Aufbereitung von Trainingsfällen und der Generierung von Falldatenbanken. Die Herausforderung besteht hier also in der Vereinfachung der Generierung der Trainingsdatenbank. Eingangsdaten für die Trainingsdatenbank sind Tomographiedaten der Patienten, die als Volumendaten vorliegen. Mit dieser Motivation werden Volumenrendering-Methoden sowie Simulationsverfahren auf Volumendaten zur Verwendung in chirurgischen Trainingssimulatoren entwickelt und präsentiert. Die entwickelten Renderingverfahren betreffen sowohl visuelles als auch haptisches Rendering, da letzteres in endoskopischen Simulationen zur Vermittlung von chirurgischen Handfertigkeiten besonders wichtig ist. Die Trainingssimulatoren unterscheiden sich hierbei darin von anderen Trainingssystemen, dass die zu untersuchenden anatomischen Strukturen nicht exemplarisch modelliert werden sondern direkt aus Tomographiedaten rekonstruiert sind. Zur Evaluation der entwickelten Verfahren zum visuellen und haptischen Volumenrendering wurden Beispielanwendungen für die HNO-Medizin entwickelt.