This work presents a way to estimate the matching probabilities for histogrammed intensity patches [41] by approximating the robustness and distinctiveness of a feature with beta distributions. We propose a simplified analytical approach to calculate the distinctiveness and show that it produces at least as good results as a specifically trained neural network. The matching probability correlates stronger with the inlier ratio than the dissimilarity score does. We then evaluate a basic tracking by detection pipeline where no longer the closest but the most probable match is chosen. Our tests show, that this improves the average performance of the system in terms of tracking rate.

Motivation dieser Arbeit ist die Entwicklung eines Programms zur Unterstützung von Monteuren bei der Wartung und Reparatur eines Fahrzeugs. Durch automatische Einblendungen, welche in der erfassten Szene angezeigt werden, wird vorgegeben welcher Schritt als nächstes ausgeführt werden soll. Unter anderem sollen die zu bearbeitenden Stellen durch das Einblenden von CAD-Objekten hervorgehoben werden. Um die Objekte an der richtigen Stelle einzublenden, muss die aktuelle Position und Orientierung der Kamera bekannt sein. Zur Berechnung der Kamerapose ist ein zuverlässiges Feature-Matching nötig, bei dem die benötigte 3D-Position der Features bestimmt wird. Da das System in Echtzeit arbeiten soll, kommt es hierbei vor allem auf eine schnelle aber dennoch genaue Ausführung an. Eine vielversprechende Methode zur Verkürzung der benötigten Rechenzeit besteht in der Kombination von Matching mit Visual Words. Das Ziel dieser Arbeit ist daher die Entwicklung eines Systems zum Feature-Matching mit Hilfe der Visual Words und wird ergänzt durch die anschließende Berechnung der Kamerapose. Als Feature-Detektor wird der SURF-Algorithmus verwendet. Die Visual Words werden umgesetzt, indem in der Lernphase die Features aller Bilder in Cluster eingeteilt werden. In Histogrammen wird festgehalten, wie sich die Features eines Bildes auf die Cluster verteilen. Beim späteren Tracking wird anhand von aktuellen Features ein Histogramm erstellt und mit den gespeicherten Histogrammen verglichen. Für das Matching werden nur diejenigen Bilder ausgewählt, die ein ähnliches Histogramm besitzen. Dies führt zu einer besseren und vor allem schnelleren Auswahl der Features, da Features, welche in diesem Bildausschnitt nicht vorkommen können, von der Suche ausgeschlossen werden. Dieses Vorgehen ermöglicht ein schnelles und gleichzeitig genaues Matching, wodurch auch die Berechnung der Kamerapose beschleunigt wird. Während die berechnete Kamerapose für ein durchgängiges Tracking möglicherweise nicht stabil genug ist, bietet sich das Verfahren vor allem für eine schnelle Initialisierungsphase an.

Journal of Ambient Intelligence and Humanized Computing, (2011), Online first. Corrected proof 10 November 2011. DOI: 10.1007/s12652-011-0095-6, 18 p.

User activity monitoring is a major problem in ambient assisted living, since it requires to infer new knowledge from collected and fused sensor data while dealing with highly dynamic environments, where devices continuously change their availability and (or) physical location. In the context of the European project PERSONA, we have developed an activity monitoring sub-system characterized by high modularity, little invasiveness of the environment and good responsiveness. In this paper we first illustrate the functional architecture of the proposed solution from a general point of view, discussing the motivations of the design. Then we describe in details the software components- sensor abstraction and integration layer, human posture classification, activity monitor-and the resulting activity monitoring application, presenting also a performance evaluation.

Schenk, Michael (Ed.): 14. IFF-Wissenschaftstage 2011. Tagungsband : Digitales Engineering und virtuelle Techniken zum Planen, Testen und Betreiben technischer Systeme. Stuttgart: Fraunhofer Verlag, 2011, pp. 191-196

Verteilte Mixed Reality Systeme, d.h. VR/AR-Installationen, die sich an unterschiedlichen Standorten befinden und via Internet vernetzt sind, wurden bislang nur in akademischen Testszenarien eingesetzt. Sie konnten den Sprung in industrielle Nutzung jedoch nicht vollziehen. Im Szenario "VR-Meeting" des BMBF-Projektes AVILUS wurde auf Grundlage des Virtual und Augmented Reality Systems "instantreality" (www.instantreality.de) ein kollaboratives VR-System entwickelt, mit dem Entwicklungsteams an verteilten Standorten in einer virtuellen Konstruktionssitzung zusammenarbeiten. Dabei wurden zum einen Verfahren für eine sichere Datenverteilung realisiert, zum anderen wurden Methoden zur effizienten Protokollierung von verteilten immersiven Konstruktionssitzungen erforscht.

BIO Web of Conferences, Vol.1 (2011), 4 p.

One of the research topics within the EU-project SKILLS1 was the training of Industrial Maintenance and Assembly (IMA) tasks. The IMA demonstrator developed comprehends two different training platforms, one based on technologies of Virtual Reality (VR) and the other one on Augmented Reality (AR). To qualify the efficiency of the developed training systems different studies have been conducted, followed by a final "Transfer of Skill" evaluation that has been performed by service technicians "SIDEL industrial training Entre" in Parma. This evaluation included qualitative methods (feedback collection in questionnaires) as well as quantitative methods (experiments with control groups). The results demonstrate that both platforms are useful and suitable training tools for IMA tasks, and that the AR training decreased the number of unsolved errors in the task.

BIO Web of Conferences, Vol.1 (2011), 4 p.

The current work describes design guidelines for the development of Virtual Reality (VR) and Augmented Reality (AR) platforms to train technicians on maintenance and assembly tasks of industrial machineries. The main skill involved in this kind of tasks is the procedural skill. Based on past literature and studies conducted within the SKILLS project, several main design guidelines were formulated. First, observational learning integrated properly within the training protocol increases training efficiency. Second, training protocols combining physical and cognitive fidelity enhances procedural skills acquisition. Third, guidance aids should be provided in a proper and controlled way. And last, enriched information about the task helps trainees to develop a useful mental model of the task. These recommendations were implemented in both VR and AR training platforms.

Martin, Ralph (Ed.) et al.: The 12th International Conference on Computer-Aided Design and Computer Graphics. Proceedings : CAD / Graphics 2011. Los Alamitos, Calif.: IEEE Computer Society Conference Publishing Services (CPS), 2011, pp. 3-10

This paper presents a "change'n play" software architecture in order to realize user-centric aspects for, integrated engineering analysis tasks within immersive environments. The proposed architecture has been designed to enable conceptual simulations performed on an engineering mock-up. Major attention is given to the realization of modules and functionalities going far beyond traditional post-processing capabilities, establishing a user centric problem solving environment. It allows closed turnaround simulation-to-visualization loops as well as an inclusion of traditional point-and-click legacy systems, steered from an immersive environment and providing interchangeable mechanism. Existing research work addresses only different aspects, even worse neither does provide a holistic approach nor does show on how to actually do it. Aim of this paper is therefore, to propose and develop an architectural blueprint, supporting "what-if" reasoning with respect to preliminary design analysis objectives: Executed within one single point of access and based on a distributed, hybrid 2D legacy system/VR interactive environment.

Duffy, Vincent G. (Ed.): Digital Human Modeling : Third International Conference: ICDHM 2011. Berlin, Heidelberg, New York: Springer, 2011. (Lecture Notes in Computer Science (LNCS) 6777), pp. 282-291

In this paper we present a new framework for an accelerated 3D reconstruction of deformable objects within a multi-view setup. It is based on a new memory management and an enhanced algorithm pipeline of the well known Image-Based Visual Hull (IBVH) algorithm that enables efficient and fast reconstruction results and opens up new perspectives for the scalability of time consuming computations within larger camera environments. As a result, a significant increase of frame rates for the volumetric reconstruction of deformable objects can be achieved using an optimized CUDA-based implementation on NVIDIA's Fermi-GPUs.

Attar, Ramtin (Ed.): 2011 Proceedings of the Symposium on Simulation for Architecture and Urban Design : SimAUD, pp. 135-142

This paper presents a novel vision of paperless and visual lifecycle building management tools based on the coupling between Building Information Models (BIM) and Augmented Reality (AR) called Lifecycle Building Card. As the use of BIM increases within the architecture, engineering, and construction industries, new opportunities emerge to help stakeholders and maintenance operators to leverage the BIM dataset for lifecycle issues using realtime environments and simulation. In particular, a tighter coupling of BIM with computer vision techniques could enable innovative lifecycle management tools based on AR concepts. In this context, this work explores the possibilities and derives theoretical and practical concepts for the use of BIM enhanced by AR for supporting maintenance activities in buildings. An implementation of a wireless spatially-aware display is presented as a first step toward the stated vision.

The American Society of Mechanical Engineers (ASME): ASME 2011 World Conference on Innovative Virtual Reality : WINVR 2011. New York: The American Society of Mechanical Engineers, 2011, 9 p.

This paper presents a new method for the manipulation of a given CAE domain in view of VR based explorations that enables engineers to interactively inspect and analyze a linear static domain. The interactions can ideally be performed in real-time in order to provide an intuitive impression of the changes to the underlying volumetric domain. We take the approach of element masking, i.e. the blending out of computations resulting from computational overhead for inner nodes, based on the inversion of the stiffness matrix. This allows us to optimize the re-simulation loop and to achieve real-time performance for strain and stress distributions with immediate visualization feedback caused by interactively changing boundary conditions. The novelty of the presented approach is a direct coupling of view dependent simulations and its close linkage to post-processing tasks. This allows engineers to also inspect the changes of the stress field inside of the volume during, e.g. cross sectioning.

Stephanidis, Constantine (Ed.): Universal Access in Human-Computer Interaction: Part II : Users Diversity. Berlin, Heidelberg, New York: Springer, 2011. (Lecture Notes in Computer Science (LNCS) 6766), pp. 149-158

This paper presents a holistic approach to design a media system based on a new user interface and interaction device aimed to motivate seniors of the generation plus enhancing their daily physical activity. As a result of the newly designed game, the senior finds himself within a colorful world of a game in which he interacts with small lively figures using a newly designed interaction device accounting for physical activity. The combination of both design elements, lead to a gameplay that provides adequate mechanism for cognitive and physical activity, challenging representatives of the generation plus to exercise more.

Bender, Jan (Ed.) et al.: VRIPHYS 11: 8th Workshop in Virtual Reality Interactions and Physical Simulations. Goslar: Eurographics Association, 2011, pp. 73-82

A natural interaction with virtual environments is one of the key issues for the usability of Virtual Reality applications. Device-free, intuitive interactions with the virtual world can be achieved by capturing the movements of the user with markerless motion capture. In this work we present a markerless motion capture approach which can be used to estimate the human body pose in real-time with a single depth camera. The presented approach requires neither a 3D shape model of the tracked person nor a training phase in which body shapes are learned a priori. Instead, it analyzes the curvature of the human body to estimate the symmetry axes of the body joints. These symmetry axes are then used to calculate the pose of the tracked human in real-time. The presented approach was evaluated qualitatively with a time-of-flight and a Kinect depth camera. Furthermore, quantitative simulation results show that the proposed approach is promising for depth cameras which can reliably capture the surface curvature (and thus the normals) of a person and which have a resolution of at least 320x240 pixel.

In dieser Arbeit wird ein neuer Ansatz im Bereich des markerlosen Motion Capturing vorgestellt, der die Bewegung der Arme, Beine und des Oberkörpers erfasst. Die Erfassung der Bewegung erfolgt dabei in Echtzeit aus den 3D-Messdaten einer Tiefenkamera. Die Tiefendaten sind unvollständig, da die Kamera die Szene nur aus einer Blickrichtung erfassen kann. Der Algorithmus nutzt die zylinderähnliche Form der Arme, Beine und des Oberkörpers aus und berechnet aus den Tiefenbildern die mediale Achse der Körperteile. Für eine effiziente Bestimmung der medialen Achsen werden die räumlichen Nachbarschaftsinformationen der Tiefenbilder ausgenutzt. Die Bewegung wird auf ein virtuelles Skelett abgebildet, indem die Knochen entsprechend der medialen Achsen ausgerichtet werden. Die Bestimmung der Pose erfolgt von Bild zu Bild, so dass eine berechnete Pose als zusätzliche Eingabe für das nächste Bild dient.

Virtual Reality, (2011), Online First. Corrected Proof 22 Dezember 2011

Whereas 3D surface models are often used for augmented reality (e.g., for occlusion handling or model based camera tracking), the creation and the use of such dense 3D models in augmented reality applications usually are two separated processes. The 3D surface models are often created in offline preparation steps, which makes it difficult to detect changes and to adapt the 3D model to these changes. This work presents a 3D change detection and model adjustment framework that combines AR techniques with real-time depth imaging to close the loop between dense 3D modeling and augmented reality. The proposed method detects the differences between a scene and a 3D model of the scene in real time. Then, the detected geometric differences are used to update the 3D model, thus bringing AR and 3D modeling closer together. The accuracy of the geometric difference detection depends on the depth measurement accuracy as well as on the accuracy of the intrinsic and extrinsic parameters. To evaluate the influence of these parameters, several experiments were conducted with simulated ground truth data. Furthermore, the evaluation shows the applicability of AR and depth image-based 3D modeling for model-based camera tracking.

BIO Web of Conferences, Vol.1 (2011), 4 p.

The capturing of human movements is an important step for the analysis of human skills, e.g. for sports analysis or for learning-by-demonstration tasks. In this paper we introduce a new markerless pose estimation method which estimates human poses from silhouettes. The presented numerical pose estimation algorithm adapts a non-deterministical annealing schedule for silhouette based motion capturing. The pose is estimated by numerically minimizing the differences between the silhouettes of synthesized views of a 3D avatar and the silhouettes of the real person in the camera images. The evaluation results of simulation experiments quantify the trade-off between the accuracy and the execution time of the presented algorithm.

Wiedmer, Martin (Ed.) et al.: 10th IEEE International Symposium on Mixed and Augmented Reality 2011 : ISMAR. Science & Technology Proceedings, pp. 15-18

With "House of Olbrich" we present an iPhone Augmented Reality (AR) app that visualizes the compelling history of Darmstadt's unique Jugendstil (Art Nouveau) quarter with video-see through Augmented Reality. We propose methods for enabling high performance computer vision algorithms to deploy sophisticated AR visuals on current generation Smartphones by outsourcing resource intensive tasks to the cloud. This allows us to apply methods on 3D feature recognition for even complex tracking situations outdoors, where lightning conditions change and tracked objects are often occluded. By taking a snapshot of the building, the user learns about the architect, design and history of the building. Historical media, like old photographs and blueprints are superimposed on the building's front, depicting the moved history of the famous House of Olbrich, which was destroyed during World War II and has been only rudimentary restored. Augmented Reality technology allows tourists to jump back in time visually by using their Smartphones: Mixing Realities emphasizes the user's experience and leads his attention to the impressive historical architecture of the Art Nouveau. In addition, we ease interaction means by superimposing snapshots. Tourists may view and read information also in a relaxed position without the need to front-up their mobiles all the time.

Richard, Paul (Ed.) et al.: GRAPP 2011 : Proceedings of the International Conference on Computer Graphics Theory and Applications. Portugal: SciTePress, 2011, pp. 286-295

Multi-projector systems are widely used in many application areas. Such systems are for instance employed to increase the brightness or the resolution of projected images. Intrinsic to multi-projector systems are problems like geometric misalignment, especially when projecting onto complex arbitrarily formed projection surfaces, and photometric deviations. Therefore, several difficult calibration tasks (geometry, brightness, color) have to be performed. A high-quality and easy-to-use calibration process is the key to good usability for untrained or unexperienced users. Due to the fact that manual calibration is time-consuming and imprecise, automatic approaches were developed in recent years. This paper analyzes the most popular state-of-the-art algorithms and setups with respect to their advantages and disadvantages. We summarize the general working principles of calibration algorithms and provide an outlook into the fields in which the described algorithms are most useful.

Diese Masterarbeit beschäftigt sich mit der Frage, inwieweit sich eine Kameraakquisition für markerloses Motion Capturing in einem Netzwerk mehrerer Rechner verteilen lässt, ohne den eigentliche Prozess der Rekonstruktion zu beeinträchtigen. Hierfür werden vorhandene Algorithmen untersucht und auf eine Client-Server-Architektur verteilt, um so eine ideale Lastverteilung der einzelnen Prozesse zwischen den beteiligten Rechnern zu erzielen. Abschließend wird die Geschwindigkeit der Implementierung untersucht und auf verschiedenen Systemen getestet. Die Schwierigkeit bei einem verteilten System ist einerseits die Synchronisierung aller Komponenten und andererseits die Diskrepanz aus auftretender Datenmenge und im Netzwerk verfügbarer Bandbreite. Zur Synchronisierung wurden Routinen implementiert, die ausschließlich vom Server angestoßen werden können und eine Bestätigung von den Clients erwartet. Dadurch werden sämtliche Clients auf die Geschwindigkeit der schwächsten Komponente gezwungen. Die ebenfalls vom Server ausgehende Triggerung aller Kameras ermöglicht ein synchrones Auslösen. Anhand einer Analyse der auftretenden Bildinformationen wurde zur Datenratenreduktion eine Lauflängenkodierung implementiert, die sowohl einfach umzusetzen als auch schnell in ihrer Berechnung ist. Daraus resultiert eine Trennung der einzelnen Bestandteile mit der Umsetzung von Bayerfilter, Silhouetten-Extraktion, Texturierung und Kodierung auf Seiten der Clients und Dekodierung, Bayerfilter der Texturen und Berechnung der visuellen Hülle auf dem Server. Sämtliche Leistungsanpassungen wurden auf selbst im Konsumentenbereich einfachster Hardware durchgeführt und an die verfügbaren Rechner angepasst. Die Funktionsfähigkeit dieser Umsetzung wurde mit vier Kameras an zwei Clients und acht Kameras an vier Clients getestet und erreichte hierbei eine Geschwindigkeit von durchschnittlich 18 Bildern pro Sekunde.

Wiedmer, Martin (Ed.) et al.: 10th IEEE International Symposium on Mixed and Augmented Reality 2011. [USB Stick] : ISMAR. Science & Technology Proceedings, pp. 269-270

As large ships are never produced in masses, it often occurs that the construction process and production process overlap in time. Many shipbuilding companies have problems with discrepancies between the construction data and the real built ship. The assembly department often has to modify CAD data for a successful installation. We present an augmented reality system, where a user can visualize the construction data of pipes and modify these in the case of misalignment, collisions or any other conflicts. The modified pipe geometry can be stored and further used as input for CNC pipe bending machines. To guarantee an exactly orthogonal passage of the pipes through aligning bolt holes, we integrated an optical measurement tool into the pipe alignment process.

Die 3D-Koordinaten von Punkten auf einer Objektoberfläche können entweder mit einer Tiefenkamera gemessen oder durch Structure-from-Motion Verfahren aus mehreren 2D Bildern rekonstruiert werden. In dieser Arbeit wird vergleichend evaluiert, welche Genauigkeit mit diesen beiden Verfahren erreicht werden kann. Für eine aussagekräftige Evaluierung muss die Kamerapose zur Berechnung der (echten) 3D-Referenzdaten bekannt sein. Während in vorhergehenden Ansätzen die Kamerapose bildbasiert (z.B. anhand eines Marker Trackers) geschätzt wurde, wird die Kamerapose in dieser Arbeit anhand eines hochpräzisen Faro-Messarms bestimmt. Hierdurch wird eine höhere Genauigkeit erreicht als bei Bestimmung der Kamerapose anhand eines Marker Trackers, was die Aussagekraft der Evalierungsergebnisse erhöht.

Alem, Leila (Ed.) et al.: Recent Trends of Mobile Collaborative Augmented Reality Systems. Berlin, Heidelberg, New York: Springer, 2011, pp. 21-38

This chapter discusses the current state, issues, and direction of the development and use of international standards for use in Augmented Reality (AR) applications and services. More specifically, the paper focuses on AR and mobile devices. Enterprise AR applications are not discussed in this chapter. There are many existing international standards that can be used in AR applications but there may not be defined best practices or profiles of those standards that effectively meet AR development requirements. This chapter provides information on a number of standards that can be used for AR applications but may need further international agreements on best practice use.

Diese Arbeit gibt einen Einblick in die Grundlagen der 3D-Anwendungen im Zusammenspiel mit verschiedenen Customer Devices. In diesem Fall ist die Anwendung ein 3D-Planetarium unseres Sonnensystems für ein Museum. Ziel ist es, ein Konzept zur intuitiven und immersiven Navigation durch das virtuelle Planetarium mittels preiswerte Customer Devices zu erstellen. Die Besucher sollen sich frei und ohne großen Aufwand im Sonnensystem bewegen können. Dabei soll sich der Besucher auf die Simulation konzentrieren können und nicht durch komplexe Steuerung schnell das Interesse an der Anwendung verlieren. Dafür werden vergleichbare Ansätze und der bisherige Forschungsstand untersucht und ein neuer Ansatz beschrieben. Als kostengünstige Customer Devices werden in dieser Arbeit die Controller der Nintendo Wii (Wiimote) und aktuelle Smartphones betrachtet. Eine genaue Analyse dieser Geräte ist Bestandteil dieser Arbeit. Ausgehend von den gewählten Geräten gibt es verschiedene Interaktionsmöglichkeiten und daraus resultierende Interaktionskonzepte. Für jedes Gerät soll ein Konzept entwickelt werden, das die gestellten Ansprüche erfüllt.

Bergamasco, Massimo (Ed.) et al.: Skill Learning and Virtual Environments : Skills Summer School 2011. Pisa: Mnemosyne & Percro, 2011, pp. 63-66

Augmented Reality (AR) based training is a current trend being investigated by several research efforts applying specific new concepts such as educational games and platforms for ICT enabled learning experiences. Hence, due to the fact that recreational computer games are extremely popular with people of any age, there is no doubt that 3D training environments determine the trend in the future of training assistance. In this context AR environments can offer the possibility for trainees to interact with the real environment (e.g. a complex industrial machine) and with virtual objects that are linked to the real environment and provide additional information. This requires the development of training platforms that offer a flexible and coherent technical infrastructure, which supports the use of Augmented Reality with different training settings in different training application domains.

Alem, Leila (Ed.) et al.: Recent Trends of Mobile Collaborative Augmented Reality Systems. Berlin, Heidelberg, New York: Springer, 2011, pp. 69-82

Training for service technicians inmaintenance tasks is a classical application field of Augmented Reality explored by different research groups. Mostly technical aspects (tracking, visualization etc.) have been in focus of this research field. In this chapter we present results of interdisciplinary research based on the fusion of cognitive science, psychology and computer science. We focus on analyzing the improvement of Augmented Reality based training of skills which are relevant for maintenance and assembly tasks. The skills considered in this work comprise sensorimotor skills as well as cognitive skills. Different experiments have been conducted in order to find recommendations for the design of Augmented Reality training systems which overcome problems of existing approaches. The suggestions concern the fields of content visualization and multimodal feedback.

BIO Web of Conferences, Vol.1 (2011), 4 p.

Augmented Reality (AR) points out to be a good technology for training in the field of maintenance and assembly, as instructions or rather location-dependent information can be directly linked and/or attached to physical objects. Since objects to maintain usually contain a large number of similar components (e.g. screws, plugs, etc.) the provision of location-dependent information is vitally important. Another advantage is that AR-based training takes place with the real physical devices of the training scenario. Thus, the trainee also practices the real use of the tools whereby the corresponding sensorimotor skills are trained.

Shumaker, Randall (Ed.): Virtual and Mixed Reality - New Trends: Part I : International Conference, Virtual and Mixed Reality 2011. Berlin, Heidelberg, New York: Springer, 2011. (Lecture Notes in Computer Science (LNCS) 6773), pp. 123-132

As the complexity of maintenance tasks can be enormous, the efficient training of technicians in performing those tasks becomes increasingly important. Maintenance training is a classical application field of Augmented Reality explored by different research groups. Mostly technical aspects (e.g tracking, 3D augmentations) have been in focus of this research field. In our paper we present results of interdisciplinary research based on the fusion of cognitive science, psychology and computer science. We focus on analyzing the improvement of AR-based training of maintenance skills by addressing also the necessary cognitive skills. Our aim is to find criteria for the design of AR-based maintenance training systems. A preliminary evaluation of the proposed design strategies has been conducted by expert trainers from industry.

The training of technicians in the acquisition of new maintenance and assembly tasks is an important factor in industry. As the complexity of these tasks can be enormous, the training of technicians to acquire the necessary skills to perform them efficiently is a challenging point. However, traditional training programs are usually highly theoretical and it is difficult for the trainees to transfer the acquired theoretical knowledge about the task to the real task conditions, or rather, to the physical performance of the task. In addition, traditional training programs are often expensive in terms of effort and cost. Previous research has shown that Augmented Reality is a powerful technology to support training in the particular context of industrial service procedures, since instructions on how to perform the service tasks can be directly linked to the machine parts to be processed. Various approaches exist, in which the trainee is guided step-by-step through the maintenance task, but these systems act more as guiding systems than as training systems and focus only on the trainees' sensorimotor capabilities. Due to the increasing complexity of maintenance tasks, it is not sufficient to train the technicians' execution of these tasks, but rather to train the underlying skills - sensorimotor and cognitive - that are necessary for an efficient acquisition and performance of new maintenance operations. All these facts lead to the need for efficient training systems for the training of maintenance and assembly skills which accelerate the technicians' learning and acquisition of new maintenance procedures. Furthermore, these systems should improve the adjustment of the training process to new training scenarios and enable the reuse of existing training material that has proven its worth. In this thesis a novel concept and platform for multimodal Augmented Reality-based training of maintenance and assembly skills is presented. This concept includes the identification of necessary sub-skills, the training of the involved skills, and the design of a training program for the training of maintenance and assembly skills. Since procedural skills are considered as the most important skills for maintenance and assembly operations, they are discussed in detail, as well as appropriate methods for improving them. We further show that the application of Augmented Reality technologies and the provision of multimodal feedback -and vibrotactile feedback in particular-have a great potential to enhance skill training in general. As a result, training strategies and specific accelerators for the training of maintenance and assembly skills in general and procedural skills in particular are elaborated. Here, accelerators are concrete methods used to implement the pursued training strategies. Furthermore, a novel concept for displaying location-dependent information in Augmented Reality environments is introduced, which can compensate tracking imprecisions. In this concept, the pointercontent metaphor of annotating documents is transferred to Augmented Reality environments. As a result, Adaptive Visual Aids are defined which consist of a tracking-dependent pointer object and a tracking-independent content object, both providing an adaptable level and type of information. Thus, the guidance level of Augmented Reality overlays in AR-based training applications can be easily controlled. Adaptive Visual Aids can be used to substitute traditional Augmented Reality overlays (i.e. overlays in form of 3D animations), which highly suffer from tracking inaccuracies. The design of the multimodal AR-based training platform proposed in this thesis is not specific for the training of maintenance and assembly skills, but is a general design approach for multimodal training platforms. We further present an implementation of this platform based on the X3D ISO standard which provides features that are useful for the development of Augmented Reality environments. This standard-based implementation increases the sustainability and portability of the platform. The implemented multimodal Augmented Reality-based platform for training of maintenance and assembly skills has been evaluated in industry and compared to traditional training methods. The results show that the developed training platform and the pursued training strategies are very well suited for the training of maintenance and assembly skills and enhance traditional training. With the presented framework we have overcome the problems sketched above. We are cheap in terms of effort and costs for the training of maintenance and assembly skills and we improve its efficiency compared with traditional training.

IEEE Computer Society: 3DIMPVT 2011 : International Conference on 3D Imaging, Modeling, Processing, Visualization and Transmission. Los Alamitos, Calif.: IEEE Computer Society Conference Publishing Services (CPS), 2011, pp. 140-147

This paper focuses on the preparative process of retrieving accurate feature maps for a camera-based tracking system. With this system it is possible to create ready-touse Augmented Reality applications with a very easy setup work-flow, which in practice only involves three steps: filming the object or environment from various viewpoints, defining a transformation between the reconstructed map and the target coordinate frame based on a small number of 3D-3D correspondences and, finally, initiating a feature learning and Bundle Adjustment step. Technically, the solution comprises several sub-algorithms. Given the image sequence provided by the user, a feature map is initially reconstructed and incrementally extended using a Simultaneous-Localization-and-Mapping (SLAM) approach. For the automatic initialization of the SLAM module, a method for detecting the amount of translation is proposed. Since the initially reconstructed map is defined in an arbitrary coordinate system, we present a method for optimally aligning the feature map to the target coordinated frame of the augmentation models based on 3D-3D correspondences defined by the user. As an initial estimate we solve for a rigid transformation with scaling, known as Absolute Orientation. For refinement of the alignment we present a modification of the well-known Bundle Adjustment, where we include these 3D-3D-correspondences as constraints. Compared to ordinary Bundle Adjustment we show that this leads to significantly more accurate reconstructions, since map deformations due to systematic errors such as small camera calibration errors or outliers are well compensated. This again results in a better alignment of the augmentations during run-time of the application, even in large-scale environments.

Computers & Graphics, Vol.35 (2011), 4, pp. 778-788

This paper focuses on the preparative process of natural feature map retrieval for a mobile camera-based tracking system. We cover the most important aspects of a general purpose tracking system including the acquisition of the scene's geometry, tracking initialization and fast and accurate frame-by-frame tracking. To this end, several state-of-the-art techniques - each targeted at one particular subproblem - are fused together, whereby their interplay and complementary benefits form the core of the system and the thread of our discussion. The choice of the individual sub-algorithms in our system reflects the scarcity of computational resources on mobile devices. In order to allow a more accurate, more robust and faster tracking during run-time, we therefore transfer the computational load into the preparative customization step wherever possible. From the viewpoint of the user, the preparative stage is kept very simple. It only involves recording the scene from various viewpoints and defining a transformation into a target coordinate frame via manual definition of only a few 3D to 3D point correspondences. Technically, the image sequence is used to (1) capture the scene's geometry by a SLAM-Method and subsequent refinement via constrained Bundle Adjustment, (2) to train a Randomized-Trees classifier for wide-baseline tracking initialization, and (3) to analyze the view-point dependent visibility of each feature. During run-time, robustness and performance of the frame-to-frame tracking are further increased by fusing inertial measurements within a combined pose estimation.

3D-Objekt Visualisierung sowie Rekonstruktion und Verfolgung von Bewegungsabläufen in Echt-Zeit ist eine enorme Herausforderung gegenwärtiger Bestrebungen im Fusionsbereich der Computer Vision und Computer Grafik. Zielstellung der Aktivitäten ist es, Nutzern und Wissenschaftlern einen intuitiveren und realistischeren Erfahrungswert über das Objektverhalten zu vermitteln. Basierend auf Methoden der Computer Vision wird versucht aus 2D-Bilddaten auf die 3D-Strukturen und Bewegungen von realen Objekten zu schließen. Die hier vorgestellte Arbeit befasst sich mit der Problemstellung ein artikuliertes, biokinematisches Menschmodell in einen von mehreren Kameras erfassten Bewegungsablauf eines Menschen einzupassen. Zugrundeliegende Bildsegmentierungsverfahren erlauben dabei eine Extraktion der menschlichen Silhouetten, in welche das digitale Modell entsprechend eingepasst und optimiert werden können. Die vorliegende Arbeit untersucht mathematische Möglichkeiten und resultierende Fragestellungen, das Menschmodell in die Silhouette ohne die Hilfe einer Datenbank einzupassen. Jeweils ein Modell soll an die Silhouetten einer Momentaufnahme der Kameras angepasst werden. Diese Anpassung erfolgt durch die Hilfe der Kamerakalibrierungsdaten und eines Optimierungsalgorithmus. Nachdem die optimalen Posen des Menschmodells zur jeweiligen Silhouette gefunden wurden, werden diese Posen verglichen, um daraus eine Modell-Pose zu approximieren, die alle Silhouetten der verschiedenen Momentaufnahmen gut nachempfindet.

ACM SIGGRAPH: Proceedings Web3D 2010 : 15th International Conference on 3D Web Technology. New York: ACM Press, 2010, pp. 185-193

We present a scalable architecture, which implements and further evolve the HTML/X3D integration model X3DOM introduced in [Behr et al. 2009]. The goal of this model is to integrate and update declarative X3D content directly in the HTML DOM tree. The model was previously presented in a very abstract and generic way by only suggesting implementation strategies. The available opensource x3dom.js architecture provides concrete solutions to the previously open points and extents the generic model if necessary. The outstanding feature of the architecture is to provide a single declarative interface to application developers and at the same time support of various backends through a powerful fallback-model. This fallback-model does not provide a single implementation strategy for the runtime and rendering module but supports different methods transparently. This includes native browser implementations and X3D-plugins as well as a WebGL-based scene-graph, which allows running the content without the need for installing additional plugins on all browsers that support WebGL. The paper furthermore discusses generic aspects of the architecture like encoding and introspection, but also provides details concerning two backends. It shows how the system interfaces with X3D-plugins and WebGL and also discusses implementation specific features and limitations.

Time-of-Flight Kameras erfassen Distanzinformationen einer 3D-Szene in Echtzeit. Die Auflösung von Time-of-Flight Kameras ist jedoch geringer als die Auflösung von üblichen Farbkameras und die gemessenen Tiefenwerte weichen teilweise von den tatsächlichen Distanzen ab. Durch Super-Resolution Verfahren kann die Auflösung der gemessenen Distanzwerte erhöht und die Genauigkeit der erfassten 3D Messwerte verbessert werden. Das in dieser Arbeit eingesetzte Super-Resolution Verfahren kombiniert ein niedrigauflösendes Time-of-Flight Bild mit einem höher auflösenden 2D Farbbild. Es basiert auf der Annahme, dass Diskontinuitäten in Farbbild und im Time-of-Flight Bild korrespondieren. Ein Markov Random Field beschreibt die Verknüpfung von Farbdaten mit 3D Messwerten und ermöglicht eine deutliche Qualitätsverbesserung der Tiefenbilder.

Avizzano, Carlo Alberto (Ed.) et al.: IEEE RO-MAN 2010 : 19th IEEE International Symposium on Robot and Human Interactive Communication. Proceedings [online]. New York: The Institute of Electrical and Electronics Engineers (IEEE), 2010, pp. 434-439

Augmented Reality (AR) is a technology which has become very popular in the last years. In this context also the idea of using of AR for training applications has become very important. AR offers a large potential for training only if the training is well focused to the skills that have to be trained and if the training protocol is well designed. On the other hand, the generation of the training content to be transferred via AR is a comprehensive problem that is addressed in this paper. Thus, this paper tries to describe the whole chain of implementations and general aspects involved in the creation of AR training applications, including examples for used multimodal devices. This chain starts with the capturing of expert actions to be hold in "digital representation of skill". The digital representation of skill is transferred to the training protocol that specifies the storyboard of the AR training session. The paper includes two different implementations of AR training systems and describes the general idea of informational abstraction from low level data up to interaction and from design to application.

Höllerer, Tobias (Ed.) et al.: 9th IEEE International Symposium on Mixed and Augmented Reality 2010 : ISMAR. Science & Technology Proceedings. Los Alamitos, Calif.: IEEE Computer Society, 2010, pp. 223-224

The creation of training applications using Augmented Reality (AR) is still a new field of research. In order to get good training results therefore evaluation should be performed. For the creation of such systems the questions arising are related to the general process of generation, visualization, evaluation and its psychological background. An important aspect of vision based AR is also the robust tracking and initialization of objects for correct augmentation. In this work we present a concept of an entire processing chain, which allows for efficient and automatic generation of such training systems that can also be used for evaluation. We do this in the context of a Lego training system. While explaining the whole process of application generation and usage, we also present a novel approach for robust marker free initialization of colored partly occluded plates and their tracking using one off the shelf monocular camera.

"Muntermacher" ist ein Videospiel für Senioren, welches unter Berücksichtigung der Kriterien altersgerechter Mediengestaltung konzipiert und prototypisch realisiert wurde. Ziel des Spiels ist es, ältere Menschen auf spielerische Weise zu mehr sportlicher Aktivität zu motivieren. Langfristig soll hierdurch ein möglichst langes und selbstständiges Leben ermöglicht werden. Um dieses Ziel zu erreichen, setzt das Konzept auf eines der wichtigsten Bedürfnisse älterer Menschen: den Erhalt geistiger Fähigkeiten. Im Gegensatz zur sportlichen Motivation ist der Anreiz sich durch "Gehirnjogging" geistig fit zu halten innerhalb der Zielgruppe stark ausgeprägt. Studien belegen jedoch, dass die allgemeine Leistungsfähigkeit durch Gehirnjogging nicht gesteigert werden kann, die Kombination mit körperlicher Aktivität jedoch sehr wirksam ist. Hier setzt "Muntermacher" an, indem es beide Bereiche miteinander verbindet. Das Spiel lässt den Nutzer in humorvoller Art und Weise verschiedene Denksport- Bereiche trainieren. Der Spieler interagiert dabei mit einem neuartigen Eingabegerät, welches im Wesentlichen aus einem modifizierten Gymnastikband und zwei Kraftbällen besteht. "Muntermacher" nutzt den Wunsch des Erhalts geistiger Fähigkeiten im Alter als motivierenden Faktor und verbessert auf effektive Weise die körperliche Fitness der Senioren.

Khan, Azam (Ed.): 2010 Proceedings of the Symposium on Simulation for Architecture and Urban Design, pp. 119-128

This paper introduces a new augmented reality framework based on a multi-source urban planning backbone aiming at interactively investigating fast "what-if" analysis of urban planning simulations and creating awareness of possible environmental impact. The process of advanced urban planning nowadays includes the simulation of physical phenomena, its analysis, visualization and interpretation in order to evaluate the impact on the layout of the planning. For example, noise and air pollution, annoyances due to both nearby transportation infrastructure and urban traffic have become a serious concern for citizens. In order to provide major aid to the involved stakeholders, especially city managers, new techniques for the preparation, representation and interpretation of the typically large amount of resulting simulation data are required. These must be designed in order to enhance the perceptual and cognitive processes of users to facilitate faster interpretation and decision making. Hence, we introduce a new augmented reality framework which not only allows users to visualize but also to analyze physical phenomena in fast "what-if"- scenarios. By changing boundary conditions, parameters and re-simulating at interactive rates results can be augmented into real world planning layouts. Augmenting reality, urban planning and layouts with resulting simulation data through real-time visualizing tools provides a new and efficient interactive post processing unit for the exploration and analysis of the environmental impact due to changing conditions.

IEEE Signal Processing Society (SPS): IEEE International Conference on Image Processing. Proceedings : IEEE International Conference on Image Processing. New York: The Institute of Electrical and Electronics Engineers (IEEE), 2010, pp. 3981-3984

In this paper, we present a markerless 3D motion capture system based on a volume reconstruction technique of non rigid bodies. It depicts a new approach for pose estimation in order to fit an articulated body model into the captured real-time information. We aim at analyzing athlete's movements in real-time within a 3D interactive graphics system. The paper addresses recent trends in vision based analysis and its fusion with 3D interactive computer graphics. Hence, the proposed system presents new methods for the 3D reconstruction of human body parts from calibrated multiple cameras based on voxel carving techniques and a 3D pose estimation methodology using Pseudo-Zernike Moments applied to an articulated human body model. Several algorithms have been designed for the deployment within a GPGPU environment allowing us to calculate several principle process steps from segmentation and reconstruction to volume optimization in real-time.

In dieser Diplomarbeit wurde untersucht, inwieweit sich der Prozess der Berechnung einer visuellen Hülle auf dem Grafikprozessor implementieren und beschleunigen lässt. Der Image Based Visual Hull Algorithmus ist ein effizientes Verfahren, um die dreidimensionale Oberfläche eines zu rekonstruierenden Objektes aus mehreren zweidimensionalen Kamerabildern zu ermitteln. Durch die durchgeführte Implementierung des Image Based Visual Hull Algorithmus auf der NVIDIA CUDA-Plattform konnte der größte Teil der Berechnungen auf der Grafikkarte massiv parallel ausgeführt werden, wodurch die Ausführungszeit des Algorithmus deutlich reduziert werden konnte. Mit einer handelsüblichen Grafikkarte (NVIDIA GeForce 9800GTX+) beträgt die erreichte Ausführungszeit im Schnitt 13 ms, das entspricht einer Bildrate von etwa 76 Bildern pro Sekunde. Im Vergleich mit der CPU-Implementierung des Algorithmus ist die in dieser Arbeit beschriebene CUDA-Implementierung um Faktor acht schneller.

International Association for Development of the Information Society (IADIS): IADIS Multi Conference on Computer Science and Information Systems 2010. Proceedings [CD-ROM] : MCCSIS 2010. IADIS Press, 2010, pp. 354-358

In this paper we present different aspects of rendering character emotions, as well as the outcome of an experimental study to find out wether considering skin changes can help improving perception of certain emotions. While posture and mimics has been subject of extensive research, we are focusing on dynamic skin changes in order to express strong emotions. To get there, we also consider psycho-physiological processes. Additionally, we shortly discuss rendering techniques for skin color changes like blushing and pallor, methods to simulate sweating and weeping in real-time, and last but not least a parameterizable model to classify and control such emotions consistently with other behavior.

ACM SIGGRAPH: Proceedings Web3D 2010 : 15th International Conference on 3D Web Technology. New York: ACM Press, 2010, pp. 147-150

3D applications, e.g. in the context of visualization or interactive design review, can require complex user interaction to manipulate certain elements, a typical task which requires standard user interface elements. However, there are still no generalized methods for selecting and manipulating objects in 3D scenes and 3D GUI elements often fail to gather support for reasons of simplicity, leaving developers encumbered to replicate interactive elements themselves. Therefore, we present a set of nodes that introduce different kinds of 2D user interfaces to X3D. We define a base type for these user interfaces called "InteractiveTexture", which is a 2D texture node implementing slots for input forwarding. From this node we derive several user interface representations to enable complex user interaction suitable for both, desktop and immersive interaction.

Institute for Systems and Technologies of Information, Control and Communication (INSTICC): VISIGRAPP 2010. Proceedings : International Joint Conference on Computer Vision, Imaging and Computer Graphics Theory and Applications. INSTICC Press, 2010, pp. 302-309

The most challenging algorithmical task for markerless Augmented Reality applications is the robust estimation of the camera pose. With a given 3D model of a scene the camera pose can be estimated via model-based camera tracking without the need to manipulate the scene with fiducial markers. Up to now, the bottleneck of model-based camera tracking is the availability of such a 3D model. Recently time-of-flight cameras were developed which acquire depth images in real time. With a sensor fusion approach combining the color data of a 2D color camera and the 3D measurements of a time-of-flight camera we acquire a textured 3D model of a scene. We propose a semi-manual reconstruction step in which the alignment of several submeshes with a mesh processing tool is supervised by the user to ensure a correct alignment. The evaluation of our approach shows its applicability for reconstructing a 3D model which is suitable for model-based camera tracking even for objects which are difficult to measure reliably with a time-of-flight camera due to their demanding surface characteristics.

Höllerer, Tobias (Ed.) et al.: 9th IEEE International Symposium on Mixed and Augmented Reality 2010 : ISMAR. Science & Technology Proceedings. Los Alamitos, Calif.: IEEE Computer Society, 2010, pp. 241-242

For many tasks like markerless model-based camera tracking it is essential that the 3D model of a scene accurately represents the real geometry of the scene. It is therefore very important to detect deviations between a 3D model and a scene. We present an innovative approach which is based on the insight that camera tracking can not only be used for Augmented Reality visualization but also to solve the correspondence problem between 3D measurements of a real scene and their corresponding positions in the 3D model. We combine a time-of-flight camera (which acquires depth images in real time) with a custom 2D camera (used for the camera tracking) and developed an analysis-by-synthesis approach to detect deviations between a scene and a 3D model of the scene.

Avizzano, Carlo Alberto (Ed.) et al.: IEEE RO-MAN 2010 : 19th IEEE International Symposium on Robot and Human Interactive Communication. Proceedings [online]. New York: The Institute of Electrical and Electronics Engineers (IEEE), 2010, pp. 422-427

This paper gives an overview of a multimodal training platform developed for minimally invasive robotic surgery, based on the DLR MiroSurge system. It describes the technological components and integration of the hardware and software platform and presents the first integrated training tasks that enable surgeons to get familiar with the robotic system. The training platform shares the same surgical operator workstation as MiroSurge and simulates the behaviour of the telemanipulator arms and the surgical instruments. Like the real system the training platform provides haptic feedback and 3D-vision. However instead of the real telemanipulator itself, a virtual environment with abstracted tasks is connected to the operator workstation. This allows reduction in costs, to provide various levels of difficulty, and to focus on the skills to be taught. Thus a training platform is presented that aims at training a surgeon's skills in handling the robotic system MiroSurge rather than training surgery in general.

Schenk, Michael (Ed.): 13. IFF-Wissenschaftstage 2010. Tagungsband : Digitales Engineering und virtuelle Techniken zum Planen, Testen und Betreiben technischer Systeme. Stuttgart: Fraunhofer Verlag, 2010, pp. 140-145

Um die globale Wettbewerbsfähigkeit nachhaltig zu sichern, die erhöhten technischen Anforderungen zu erfüllen und verkürzte Entwicklungszyklen bei gleichzeitig erhöhter Komplexität zu gewährleisten, ist der effiziente Einsatz von CAx- und virtuellen Technologien im Wertschöpfungsprozess für HDW unbedingte Voraussetzung. Dabei findet aufgrund von geringen Stückzahlen und hoher Individualität im U-Bootsbau eine enge Verzahnung von Fertigung und Entwicklung statt. Diese Verzahnung erfordert einen permanenten Abgleich zwischen digital konstruierten und real gefertigten Bauteilen. Um diese Anforderung zu unterstützen, werden im Rahmen des BMBF geförderten Projektes AVILUS Technologien entwickelt, die einerseits eine VR-gestützte Kooperation an verteilten Standorten unterstützten ("VRMeeting"), die andererseits aber mit Hilfe von Augmented Reality Technologien auch einen Abgleich von digitaler (Entwicklung) und realer Welt (Fertigung) unterstützen.

Lensch, Hendrik P. A. (Ed.) et al.: Eurographics 2010. Short Papers, pp. 49-52

Spectral rendering takes the full visible spectrum into account when calculating light-surface interaction and can overcome the well-known deficiencies of rendering with tristimulus color models. We present a variant of the precomputed radiance transfer algorithm that is tailored towards real-time spectral rendering on modern graphics hardware. Our method renders diffuse, self-shadowing objects with spatially varying spectral reflectance properties under distant, dynamic, full-spectral illumination. To achieve real-time frame rates and practical memory requirements we split the light transfer function into an achromatic part that varies per vertex and a wavelength-dependent part that represents a spectral albedo texture map. As an additional optimization, we project reflectance and illuminant spectra into an orthonormal basis. One area of application for our research is virtual design applications that require relighting objects with high color fidelity at interactive frame rates.

ACM SIGGRAPH: Proceedings Web3D 2010 : 15th International Conference on 3D Web Technology. New York: ACM Press, 2010, pp. 7-15

This paper introduces a modern, declarative surface shader for the X3D standard that allows for a compact, expressive, and implementation-independent specification of surface appearance. X3D's Material node is portable, but its feature set has become inadequate over the last years. Explicit shader programs, on the other hand, offer the expressive power to specify advanced shading techniques, but are highly implementation-dependent. The motivation for our proposal is to bridge the gap between these two worlds - to provide X3D with renderer-independent support for modern materials and to increase interoperability with DCC tools. At the core of our proposal is the CommonSurfaceShader node. This node provides no explicit shader code, only a slim declarative interface consisting of a set of parameters with clearly defined semantics. Implementation details are completely hidden and portability is maximized. It supports diffuse and glossy surface reflection, bump mapping, and perfect specular reflection and refraction. This feature set can capture the appearance of many common materials accurately and is easily mappable to the material descriptions of other software packages and file formats. To verify our claims, we have implemented and analyzed the proposed node in three different rendering pipelines: a renderer based on hardware accelerated rasterization, an interactive ray tracer, and a path tracer.

Institute for Systems and Technologies of Information, Control and Communication (INSTICC): VISIGRAPP 2010. Proceedings : International Joint Conference on Computer Vision, Imaging and Computer Graphics Theory and Applications. INSTICC Press, 2010, pp. 165-172

Spectral rendering takes the full visible spectrum into account when calculating light-surface interaction and can overcome the well-known deficiencies of rendering with tristimulus color models. In this paper we show how to represent wavelength-dependent BRDFs as factored tensors. We use this representation for realtime spectral rendering on modern graphics hardware. Strong data compression and fast rendering times are achieved for mostly diffuse and moderately glossy isotropic surfaces. The method can handle high-resolution tabulated BRDFs, including non-reciprocal ones, which makes it well-suited for measured data. We analyze our approach numerically and visually. One area of application for our research is virtual design applications that require high color fidelity at interactive frame rates.

iX, (2010), 11, pp. 54-63

3D im Web hat Geschichte. Der Erfolg ist aber bisher ausgeblieben. Das kann sich schlagartig ändern, wenn die Browser 3D-Szenen ohne weitere Hilfsmittel darstellen können. Die Open-Source-Projekte X3DOM und XM L3Dstreben dieses Ziel an. Erste Beispiele zeigen, wie es geht.

iX, Vol.12 (2010), pp. 116-121

Interaktive 3D-Szenen im Web, in die der Benutzer in seinem Browser sofort eintauchen kann, sind das Ziel der Open-Source-Projekte X3DOM und XML3D. Transformationen und neue Interaktionskonzepte öffnen den Weg in digitale Welten.

VAR. Virtual Archaeology Review [online], Vol.1 (2010), 2, pp. 32-36; [cited 04 October 2011] Available from: http://www.varjournal.es/doc/varj01 002 06.pdf

Mobile Augmented Reality is an ideal technology for presenting information in an attractive, comprehensive and personalized way to visitors of cultural heritage sites. One of the pioneer projects in this area was certainly the European project ArcheoGuide (IST-1999-11306) which developed and evaluated Augmented Reality (AR) at a very early stage. Many progresses have been done since then, and novel devices and algorithms offer novel possibilities and functionalities. In this paper we present current research work and discuss different approaches of Mobile AR for cultural heritage. Since this area is very large we focus on the visual aspects of such technologies, namely tracking and computer vision, as well as visualization.

Posenberechnungsverfahren, welche die Position einer Kamera in allen 6 Freiheitsgraden (Rotation und Translation) bestimmen, basieren auf Korrespondenzen zwischen 3D Punkten in der Welt und den 2D Projektionen dieser 3D Punkte auf das Kamerabild. Die Genauigkeit, mit der die Kameraposition berechnet werden kann, hängt hierbei in erster Linie davon ab, wie genau die 3D Positionen der getrackten Features bekannt sind. Hierfür wird häufig das Structure from Motion Rekonstruktionsverfahren eingesetzt. Ein weiteres Verfahren zur Erfassung von 3D Messwerten ist der Einsatz von Time-of-Flight Kameras. In dieser Arbeit werden diese beiden Ansätze zur online Rekonstruktion der 3D Positionen der getrackten Features vergleichend evaluiert sowie miteinander kombiniert.

Das für Kameratracking wesentliche Teilproblem der Initialisierung (d.h. der Bestimmung der Kameraposition zu Beginn des Trackings) kann sowohl durch markerlose als auch durch markerbasierte Verfahren gelöst werden. Markerlose Verfahren haben den Vorteil, dass die betrachteten Szenen zur Initialisierung nicht verändert werden müssen. Für die Entwicklung von markerlosen Initialisierungsverfahren ist es wesentlich, die Eignung dieser Algorithmen zur Initialisierung der Kamerapose evaluieren zu können. In dieser Arbeit wurden sowohl ein Verfahren als auch Softwarekomponenten entwickelt, anhand derer sich markerlose Kamerainitialisierungsverfahren evaluieren lassen. Anhand dieses Verfahrens wurde die Eignung des "Iterative Closest Point Algorithmus" (ICP) zur Initialisierung der Kamerapose untersucht. Das im Rahmen dieser Arbeit entwickelte Framework wurde so generisch konzipiert, dass sich mit diesem auch die Eignung von beliebigen anderen Algorithmen zur Initialisierung der Kamerapose evaluieren lässt. Hiermit wurde ein wichtiger Beitrag zur Entwicklung weiterer Algorithmen zur markerlosen Initialisierung von Kameraposen geschaffen.

Artusi, Alessandro (Ed.) et al.: VAST 2010. Short and Project Papers Proceedings. Goslar: Eurographics Association, 2010, pp. 53-56

With the current generation of smartphones augmented reality (AR) finally gets in the hands of end users. This is a giant leap for cultural heritage presentation. But due to software and hardware limitations of consumer devices the AR experience is still lacking the quality we have seen in research projects over the last years. In this paper we are proposing a scalable method for high quality AR presentations for cultural heritage on a wide range of consumer devices: Snapshot Augmented Reality. Instead of a live video stream superimposed with jittering annotations we are "freezing" the scene and enabling Augmented Reality Photography. The result is an interactive scene superimposed on a still image taken by a visitor. In order to outsource processing power and deliver content for a wide range of smartphones most of the sophisticated software works in the cloud. We are describing a reliable and scalable server infrastructure for tracking objects and environments and delivering context aware content to the visitors' devices.

Institute for Computer Sciences, Social-Informatics and Telecommunications Engineering (ICST): The First International ICST Conference on Sensor Systems and Software. S-CUBE 2009 [CD-ROM]. Gent, 2009, 16 p.

We illustrate the PERSONA context-awareness framework applied to a major problem in Ambient Intelligence, namely user activity monitoring, that requires to infer new knowledge from collected and fused sensor data, dealing with highly dynamic environments where devices continuously change their availability and (or) physical location.We describe the Sensor Abstraction and Integration Layer (SAIL), we introduce the Human Posture Classification component, which is one particular context information provider, and finally we describe the Activity Monitor, which is a reasoner that delivers aggregated/derived context events in terms of the context ontology.

Latoschik, Marc Erich (Ed.) et al.: 2nd Workshop on Software Engineering and Architectures for Realtime Interactive Systems (SEARIS@VR2009) : IEEE Virtual Reality 2009 Workshop. Aachen: Shaker, 2009, pp. 51-54

In this paper we introduce an architecture for rapid development and assessment of advanced 3D visual track ing algorithms. We claim, that no universal tracking approach exists, that fulfills the requirements of all possible application seenarios at the same time. On the contrary, very specific and working solutions can be developed for given situations and uses. Therefore, software for visual tracking must be designed as a highly flexible system that can be quickly re-configured in order to enable the development of optimized solutions in terms of robustness, accuracy, frame rate and delay. To this purpose we designed an architecture that offers many functionalities, which can be combined together to build a new processing chain. The overall system offers numerous advantages, such as interactive programming, run-time access to data and parameters and easy interfacing with other libraries or applications.

Fellner, Dieter W. (General Co-Chair) et al.: Proceedings Web3D 2009 : 14th International Conference on 3D Web Technology. New York: ACM Press, 2009, pp. 127-135

We present a model that allows to directly integrate X3D nodes into HTML5 DOM content. This model tries to fulfill the promise of the HTML5 specification, which references X3D for declarative 3D scenes but does not define a specific integration mode. The goal of this model is to ease the integration of X3D in modern web applications by directly mapping and synchronizing live DOM elements to a X3D scene model. This is a very similar approach to the current SVG integration model for 2D graphics. Furthermore, we propose a framework that includes a new X3D Profile for the DOM integration. This profile should make implementation simple, but in addition we show that the current X3D runtime model still scales well. A detailed discussion includes DOM integration issues like events, namespaces and scripting. We finally propose an implementation framework that should work with multiple browser frontends (e.g. Firefox andWebKit) and different X3D runtime backends. We hope to connect the technologies and the X3D/ W3C communities with this proposal and outline a model, how an integration without plugins could work. Moreover, we hope to inspire further work, which could lead to a native X3D implementation in browsers similar to the SVG implementations today.

Computers & Graphics, Vol.33 (2009), 1, pp. 59-72

This article presents a new visual-inertial tracking device for augmented and virtual reality applications and addresses two fundamental issues of such systems. The first one concerns the definition and modelling of the sensor fusion problem. Much work has been conducted in this area and several models for exploiting gyroscopes and linear accelerometers have been proposed. However, the respective advantages of each model and in particular the benefits of the integration of the accelerometer data in the filter are still unclear. A comparison of different models with special investigation of the effects of using accelerometers on the tracking performance is therefore provided. The second contribution is the development of an image processing approach that does not require special landmarks but uses natural features. The solution relies on a 3D model of the scene that is used to predict the appearances of the features by rendering the model based on data from the sensor fusion algorithm. The feature localisation is robust and accurate mainly because local lighting is also estimated. The final system is evaluated with help of ground-truth and real data. High stability and accuracy are demonstrated also for large environments.

Gutiérrez, Teresa (Ed.) et al.: SKILLS 09 : Enaction on SKILLS. Donostia - San Sebastián: SKILLS Consortium, 2009, pp. 39-45

Within the European project SKILLS Virtual and Augmented Reality platforms have been developed that are used for the realization of different training simulators in the field of sports (training of rowing and juggling), surgery (training of maxillofacial and telerobotic surgery), rehabilitation (rehabilitation of upper limp), maintenance (training of assembly procedures) and robotics (training of robot programming). These platforms are integrating capturing and rendering technologies. The capturing technologies are used to register specific criteria of skills to be hold in a digital representation. Thus, parameters relevant for specific skills are qualified and used as evaluation factors within the training simulators. The training simulators not only can simulate the virtual environment of the training situation, but this environment can be enhanced via multimodal renderings, fostering the training process and accelerating the training effect. The integrative platforms from scalable and adaptable frameworks that can be used to realize different training protocols and that can be adapted to the trainee's degree of skill. Therefore the training protocol can be specified via standardized application scripts.

Gutiérrez, Teresa (Ed.) et al.: SKILLS 09 : Enaction on SKILLS. Donostia - San Sebastián: SKILLS Consortium, 2009, pp. 129-134

The present paper describes a multimodal training system to be used in the context of Industrial Maintenance and assembly. The system is being developed by the SKILLS consortium members as a dedicated platform to conduct controlled skill transfer exercises as well as the technological platform to develop a dedicated training program. The paper provides an introduction to the current state of the demonstrator, which is now at the first stage of an iterative process that will see the final demonstrator delivered in 2011.

The 2nd Sino-German Workshop "Virtual Reality & Augmented Reality in Industry" : Invited Paper Proceedings. Participants Edition. Shanghai: Shanghai Jiao Tong University, 2009, pp. 78-83

Rapid development in processing power, graphic cards and mobile computers open up a wide domain for Mixed Reality applications. Thereby the Mixed Reality continuum covers the complete spectrum from Virtual Reality using immersive projection technology to Augmented Reality using mobile systems like Smartphones and UMPCs. At the Fraunhofer Institute for Computer Graphics (IGD) the Mixed Reality Framework instantreality (www.instantreality.org) has been developed as a single and consistent interface for AR/VR developers. This framework provides a comprehensive set of features to support classic Virtual Reality (VR) as well as mobile Augmented Reality (AR). The goal is to provide a very simple application interface which includes the latest research results in the fields of high-realistic rendering, 3D user interaction and total-immersive display technology. The system design is based on various industry standards to facilitate application development and deployment.

Gutiérrez, Teresa (Ed.) et al.: SKILLS 09 : Enaction on SKILLS. Donostia - San Sebastián: SKILLS Consortium, 2009, pp. 189-190

When a learner of a new procedural skill is provided with elaborated knowledge: "how-it-works" knowledge or "context procedures", in addition to the "how-to-do-it" knowledge or "list procedures", his performance becomes more accurate, faster, and more flexible. It is hypnotized that a display of the device which is assembled during the assembly task has the potential to support the trainee's mental model building.

International Association for Development of the Information Society (IADIS): IADIS Multi Conference on Computer Science and Information Systems 2009 : MCCSIS 2009. IADIS Press, 2009, pp. 81-88

In this work new methodologies for interactive 3D (volume) mesh manipulations integrating the overall process chain of linear static analysis are presented. It intends to proof the introduced concepts and to pave the way for conceptual simulations within virtual environments for the engineering domain. The methodologies try to close the 'user in the loop' paradigm for fast 'what-if-analysis' in view of geometrical changes of the given analysis domain within a highly interactive 3D visual environment. The paper is based on previous work of the author and presents an approach of combining real-time computations for topological operations caused by a quality measure on simplicial elements, remeshing of 3D triangular/tetrahedral unstructured meshes during a geometrical and a newly introduced submodelling procedure for complex 3D analysis. The methodologies for mesh manipulations combined with a submodelling procedure allows for local problem solving of a complex global analysis domain enabling fast preliminary local design changes and their impact to local stress fields. The work is motivated as current virtual reality systems are facing a paradigm shift away from pure visualisation and design review systems to more generative environments.

Latoschik, Marc Erich (Ed.) et al.: 2nd Workshop on Software Engineering and Architectures for Realtime Interactive Systems (SEARIS@VR2009) : IEEE Virtual Reality 2009 Workshop. Aachen: Shaker, 2009, pp. 41-50

In this paper we describe an X3D-based framework for simplifying the integration of virtual characters into dialog-based VR systems, by introducing another level of abstaction on top of X3D by means of a higher level language, which can be used for module communication and for coordinating the conversational behaviour of virtual humans. Therefore, we propose an self-contained and integrated system with matching techniques and building blocks that not only provides flexible control of the character, but also considers resultant dependencies, which need to be simulated during runtime. Furthermore, our system also takes physiological processes into account, which is essential for the correct perception of some emotions in the context of nonverbal communication. Thus, our proposed approach offers more efficiency by means of the integration into more abstact system architectures, into well established visualization techniques like the scene-graph, and into existing open standards.

Fellner, Dieter W. (General Co-Chair) et al.: Proceedings Web3D 2009 : 14th International Conference on 3D Web Technology. New York: ACM Press, 2009, pp. 51-54

This paper presents a method for the GPU-based real-time simulation of droplet flows on 3D surfaces. It is also outlined, how this approach can be embedded into X3D. Therefore, a concept and its implementation is presented, which is able to simulate droplet flow on almost any surface of a given 3D model. The droplet flow is advanced in time according to the applied external forces, and leaves a trail of liquid behind. Different viscosities are considered as well as the contact angles of droplets that are placed on the surface. Because simulation and rendering of droplet flow is completely handled on the GPU, all fluid information is hold entirely in texture memory. Hence, real-time frame rates are achieved and moreover, the number of simulated drops does not influence performance.

Fellner, Dieter W. (General Co-Chair) et al.: Proceedings Web3D 2009 : 14th International Conference on 3D Web Technology. New York: ACM Press, 2009, pp. 79-82

Creating and setting the right parameters for the virtual camera is crucial for any content creation process. However, this is not easy since most current camera models, including the X3D Viewpoint, use a 3D position and orientation in 3D space to define the final visualized image. People use authoring tools or simple interactive navigation methods (e.g. "lookAt" or "showAll") to ease the process but at the end they still move a 6D (translation and rotation) camera beacon to get the final image. We thus propose a new X3D camera model, the CinematographicViewpoint node, which does not force the content creator to move the camera but allows the author to directly define what objects he would like to see on the screen. We borrow established techniques from the film area (e.g. rule of thirds and line of action) that allow defining objects and object-relations, which the camera model will use to automatically calculate the final transformation in space. The new camera model includes additionally a model for global visual effects (e.g. motion blur and depth of field), which allows incorporating classical film effects to real-time scenes. Both approaches combined allow content creators building visual results and camera movements that are closer to traditional filming much easier. The proposed approach also supports automatic camera movements that are bound to interactive content, which has not been possible before.

Institute for Systems and Technologies of Information, Control and Communication (INSTICC): VISIGRAPP 2009. Proceedings : International Joint Conference on Computer Vision and Computer Graphics Theory and Applications [CD-ROM]. INSTICC Press, 2009, GRAPP, pp. 387-392

This paper introduces novel techniques of interacting and controlling 3D content using multi-touch interaction principles for navigation and virtual camera control. Based on applications from GIS and for the architectural design review process, implementation and usage of these interaction techniques are illustrated. A comprehensive hardware and software setup is used, which not only includes tracking, but also an X3D based layer to simplify application development. Therefore it allows designers and other non-programmers to develop multi-touch applications very efficiently, while allowing to focus on user interaction and content.

Ruttkay, Zsófia (Ed.) et al.: Intelligent Virtual Agents : 9th International Conference, IVA 2009. Berlin; Heidelberg; New York: Springer, 2009. (Lecture Notes in Artificial Intelligence (LNAI) 5773), pp. 504-505

In this paper a framework for dynamically parameterizing emotional skin changes like blushing and pallor is outlined. The parameterization is based on physiological and psychological knowledge. Furthermore, an on-surface droplet flow simulation was integrated for simulating a weeping character. The skin color changes and the droplet flow simulation can operate in real-time and thus provide an animation, which is consistent with the facial expression of the virtual character.

Schenk, Michael (Ed.): 12. IFF-Wissenschaftstage 2009. Tagungsband : Digitales Engineering zum Planen, Testen und Betreiben technischer Systeme. Magdeburg: Fraunhofer IFF, 2009, pp. 105-112

Time-of-Flight Kameras sind im Gegensatz zu herkömmlichen Kameras in der Lage, nicht nur Farb- oder Graustufenwerte sondern auch Tiefeninformationen der aufgezeichneten Szene zu erfassen. Sie liefern für jedes erfasste Pixel neben einem Intensitätsbild auch Informationen über die Entfernung des jeweiligen Pixels und erfassen somit ein 2,5D Bild. Diese Tiefeninformationen können zur Rekonstruktion eines 3D-Modells einer Szene oder eines Objektes genutzt werden. Markerlose Tracking-Ansätze für Augmented Reality nutzen häufig Geometrieinformationen über die Szene, die mit virtuellen Zusatzinformationen überlagert werden soll. Mit Hilfe von Tiefenkameras wird es möglich, die vorliegende Szene zu rekonstruieren. Dafür wird die Szene aus verschiedenen Richtungen mit der Tiefenkamera erfasst und durch das Zusammenfügen der aus den einzelnen Bildern gewonnenen Tiefeninformationen automatisch rekonstruiert. Das so gewonnene 3D-Modell kann daraufhin bei markerlosen Augmented Reality Anwendungen zum Abgleich mit der jeweils aktuellen Sicht der Szene und somit zur Bestimmung der Kamerapose verwendet werden. Die über die getrackte Szene vorliegenden Geometrieinformationen sind dabei nicht auf den vor Beginn des Trackings erfassten Bereich beschränkt, sondern können auch während des Trackings dynamisch erweitert werden.

Das Thema dieser Bachelorarbeit ist die Berechnung von 3D-Kantenmodellen einer Szene oder eines Objekts aus einer Sequenz von Tiefenbildern. Es werden Lösungsansätze entwickelt und untersucht, die sich im ersten Schritt mit der Extraktion von Kanten aus den 3D-Daten beschäftigen. Hierfür wird mittels Filtern in den graukodierten 2D-Tiefenbildern nach zweidimensionalen Kanten gesucht, welche in 3D-Kanten umgewandelt werden. Dabei wird auf Möglichkeiten eingegangen, welche sich mit dem starken Rauschen und der geringen Auflösung der momentan eingesetzten Technik befassen und die Kantenextraktion verbessern. Die erhaltenen 3D-Kanten der Einzelbilder werden mittels einer auf Kanten basierenden Abwandlung des "Iterative Closest Point"-Algorithmus registriert und so zu einem 3D Kantenmodell zusammengefügt.

Journal of Electromyography and Kinesiology, Vol.19 (2009), 5, pp. e290-e300. First published as Article in Press 5 August 2008, DOI: 10.1016/j.jelekin.2008.05.005

The aim of this study was to investigate the cervicocephalic kinaesthesia of healthy subjects for gender and age effects and its reliability in a new virtual reality test procedure. 57 healthy subjects (30 male, 27 females; 18-64 years) were immersed into a virtual 3D scene via a headmounted display, which generated specific head movements. The joint repositioning error was determined in a static and dynamic test at the times T0, T1 (T0 + 10 minutes) and T2 (T0 + 24 hours). The intrasession reliability (T0-T1) and the intersession reliability (T0-T2) were analysed. In both tests no gender- or age-specific effects were found. In the overall group the means of the static test were 6.2 - 6.9 and of the dynamic test were 4.5 -4.9 . The intratest difference in the static test was -0.16 and the intertest difference was 0.47 . The intratest difference in the dynamic test was 0.42 and the intertest difference was 0.37 . The static and dynamic test was reproducible in healthy subjects, with minor deviations, irrespective of gender and age. The smaller interindividual differences in the dynamic test could be beneficial in the comparison of healthy individuals and individuals with cervical spine disorders.

Latoschik, Marc Erich (Ed.) et al.: 2nd Workshop on Software Engineering and Architectures for Realtime Interactive Systems (SEARIS@VR2009) : IEEE Virtual Reality 2009 Workshop. Aachen: Shaker, 2009, pp. 37-40

This paper describes the implementation od a deviceless interaction 'device' using hand gesture recognition within a calibrated stereo system. Video-based interaction is one of the most intuitive kinds of Human Computer Interaction with Virtual Reality applications due to the fact that users are not wired to a computer. If interaction with three-dimensional environments is considered, pointing, grabbing and releasing are the most intuitive gestures used by humans. This paper describes a video-based gesture recognition that observes the user in front of a large displaying screen, indentifying three different hand gestures in real time using 2D feature classification and determines 3D information like the 3D position of the user's hand or the pointing direction if performed. Different scenario applications like a virtual chess game against the computer or an industrial scenario have been deployed and tested.

Gutiérrez, Teresa (Ed.) et al.: SKILLS 09 : Enaction on SKILLS. Donostia - San Sebastián: SKILLS Consortium, 2009, pp. 153-161

This paper gives an overview of the components and integration of the prototype for a multimodal skills training system developed for Minimally Invasive Telerobotic Surgery (MITS), which is based on DLR's Miro-Surge system. It describes the technological components and integration of the Hardware and Software platform. Furthermore, it presents the first integrated training environment and assessment scheme. The MITS skills trainer consists of a surgical workstation, providing force and 3D visual feedback, which is identical with the real workstation and a VR environment, in which the robotic systems and the training environment is simulated, and which can be controlled depending on the training situation and difficulty level.

IEEE Systems, Man and Cybernetics Society: IEEE International Conference on Systems, Man and Cybernetics : SMC 2009. New York: IEEE Press, 2009, pp. 857-862

In recent years, the demand for efficient systems which can capture and learn human skills has become increasingly important. In this paper an approach for acquiring and recognizing human assembly skills is presented. The underlying workflows of assembly skills are captured by using a simple multisensor data glove and camera tracking. To avoid the processing of redundant information, at first the relevant tasks of a workflow are identified by analyzing measuring information of the multisensor capturing system. Thus, only relevant data is comprised in the representation of a workflow. Unlike common approaches a workflow is modeled as entire unit using a continuous Hidden Markov Model (HMM). The recognition process of input patterns is based on an adaptive threshold model that can identify known workflow patterns and non-meaningful input patterns as well.

Virtuelle Charaktere kommen in immer mehr Anwendungen vor, wie z. B. in Computerspielen, Interfacesystemen oder Online-Communities. Diese Charaktere können in zwei Kategorien unterschieden werden. Die eine Kategorie bilden Charaktere, die eigenständig vom Computer gesteuert werden. Die andere Kategorie sind Charaktere, die in einer virtuellen Welt ein Repräsentant einer natürlichen Person sind. Diese Charaktere werden auch als Avatar bezeichnet. Eine ständig größer werdende Herausforderung ist es, diese virtuellen Charaktere in Echtzeit realistisch aussehen zu lassen, damit sie auf den Betrachter überzeugend wirken. Ein Ausdruck von Emotionen ist beispielsweise durch die Mimik erkennbar. Diese sichtbaren Bewegungen der Gesichtsoberfläche laufen in Sekundenbruchteilen ab. Die Mimik gibt Auskunft über die individuelle Gefühlslage und auch die Eigenheiten eines Menschen. Die Emotion Lachen ist beispielsweise ein Ausdruck von Freude und Zufriedenheit. Aufgrund der Tatsache, dass Emotionen ein wichtiger Bestandteil menschlicher Kommunikation sind, sollen virtuelle Charaktere durch eine menschenähnlichere Erscheinung eine größere Akzeptanz erzielen. Die Darstellung von Emotionen ist seit Jahren ein großes Forschungsgebiet, insbesondere die Mimik sowie der Gesichtsausdruck. Die Veränderung der Gesichtsfarbe bei bestimmten Emotionen, wie z. B. Erröten bei Wut, wurden jedoch bisher vernachlässigt. Auch andere physiologische Merkmale wie z. B. Weinen wurde meist nicht berücksichtigt. Gerade jedoch diese physiologischen Merkmale lassen eine Emotion bei virtuellen Charakteren lebendiger wirken. In dieser Masterarbeit wurde ein Framework realisiert, mit dem eine Parametrisierung von dynamischen Hautveränderungen wie z. B. Erröten oder Erblassen möglich ist. Diese Hautveränderungen sind in Echtzeit ausführbar und bilden mit der Mimik eine konsistente Animation. Darüber hinaus sind noch weitere Farbveränderungen der Haut möglich wie beispielsweise Altersflecken. Um die Parametrisierungen definieren zu können, wurde eine Klassifizierung möglicher Veränderungen der Haut auf der Basis physiologischer sowie psychologischer Erkenntnisse erarbeitet.

Gerndt, Andreas (Ed.) et al.: Virtuelle und Erweiterte Realität : 6. Workshop der GI-Fachgruppe VR/AR. Aachen: Shaker, 2009. (Berichte aus der Informatik), pp. 245-256

Virtuelle Charaktere erfahren derzeit eine immer stärker werdende Bedeutung in den verschiedensten Bereichen. Durch ihr natürliches Verhalten und Aussehen bieten sie ein großes Potential, da sie es erlauben, kommunikatives Verhalten einschließlich nonverbaler Kommunikation nachzubilden und zu simulieren. Wesentliche Aspekte zwischenmenschlichen Verhaltens sind dabei auch das Zeigen und Interpretieren von Gefühlen, welche beispielsweise durch die Mimik erkennbar sind. Die für den Menschen sichtbaren Bewegungen der Gesichtsoberfläche laufen in Sekundenbruchteilen ab. Die Mimik gibt dabei Auskunft über die individuelle Gefühlslage und die Eigenheiten eines Menschen. In diesem Zusammenhang müssen aber auch dynamische Form- und Farbveränderungen der Haut selbst, wie Erröten oder Blasswerden, Berücksichtigung finden. Im Gegensatz zu den Gesichtsanimationen gibt es bislang jedoch kaum Ansätze, obwohl dies mit dazu beitragen kann, wie im Rahmen dieses Beitrags noch gezeigt wird, simuliertes Verhalten besser wahrzunehmen.

IEEE Systems, Man and Cybernetics Society: IEEE International Conference on Systems, Man and Cybernetics : SMC 2009. New York: IEEE Press, 2009, pp. 565-570

This paper presents a simple yet effective approach for classification of human postures by using a time-of-flight camera. We investigate and adopt linear projection techniques such as Locality Preserving Projections (LPP), Linear Discriminant Analysis (LDA) and Principal Component Analysis (PCA), which are more widespread in face recognition and other pattern recognition tasks.We analyze the relations between LPP and LDA and show experimentally that using LPP in a supervised manner effectively yields very similar results as LDA, implying that LPP may be regarded as a generalization of LDA. Features for offline training and online classification are created by adopting common image processing techniques such as background-subtraction and blob detection to the time-of-flight data.

IEEE Signal Processing Society (SPS): 2009 IEEE International Conference on Image Processing. Proceedings : ICIP 2009. Los Alamitos, Calif.: IEEE Computer Society, 2009, pp. 2421-2424

The understanding of object's kinematic structure is one of main challenges in the area of computer vision. Especially, skeleton of deformable objects, which is familiar with human visual perception, visualizes its characteristic using few data. This paper describes an efficient approach for automatic skeleton extraction and its splitting in the space of diffusion tensor fields, which are generated from normalized gradient vector flow fields of a given image. Our method is based on two steps: Skeleton extraction using second order diffusion tensor fields, Splitting skeleton using dissimilarity measure between neighbor elements. The evaluation proofs the efficiency of our technique which might be applied to object retrieval, pose estimation and action recognition, object registration and visualization.

Gutiérrez, Teresa (Ed.) et al.: SKILLS 09 : Enaction on SKILLS. Donostia - San Sebastián: SKILLS Consortium, 2009, pp. 59-65

Skill measurement for sports analysis is still a challenging issue for sports scientists. In recent years, video based analysis of body movements and its corrections has become a widespread tool within modern athlete training centres throughout the different training stages of the athletes' pre-competition preparation. The challenges imposed by this supporting service are manifold and range from high resolution capturing of the athlete to a precise real-time reconstruction of body movements. By augmenting ideal virtual poses to the real motions, a coach is able to analyze and communicate incorrect or even incomplete motions of the athlete. For the precise measurement of body motions, typically motion capture systems (MoCap) are used. During the last decade marker based motion capture systems matured and did find their way into the area of medical and sports science. Markerless motion capturing systems, however, are still in its infancy. This paper describes a new approach to markerless motion capturing and its use for sports skills measurement and analysis.

Chen, Min (Ed.) et al.: WSCG 2009. Full Papers Proceedings. Plzen: University of West Bohemia, 2009, pp. 177-182

Skeleton extraction and visualization of 3D reconstructed target objects from multiple views continues to be a major challenge in terms of providing intuitive and uncluttered images that allow the users to understand their data. This paper presents a three-dimensional skeleton extraction technique of deformable objects based on a normalized gradient vector flow in order to analyze and visualize its characteristics. 3D deformable objects are reconstructed by an image based visual hull technique from known extrinsic and intrinsic camera parameters and silhouettes which are extracted from each camera. Our 3D skeleton extraction methodology employs the normalized gradient vector flow which is a vector diffusion approach based on partial differential equations. The euclidean distance of the magnitude of a normalized gradient vector flow is used to extract the medial axis of volume data. A markerless 3D skeletonization of reconstructed objects from multiple images might be applied to retrieve the 3D model or correct the 3D motion of the target objects.

Sablatnig, Robert (Ed.) et al.: 15th International Conference on Virtual Systems and Multimedia. Proceedings : VSMM 2009. Los Alamitos, Calif.: IEEE Computer Society, 2009, pp. 193-196

In this paper we are presenting Cultural Heritage Layers, an approach that enables the visualization of historic media like drawings, paintings and photographs of buildings and historic scenes seamlessly superimposed on reality via video see through using X3D. This enables simple, inexpensive and sustainable Augmented Reality applications in the cultural heritage and architectural area based on industry standards. The main idea is to use existing historic media from archives and superimpose them seamlessly on reality at the right spot. These locative layers are context sensitively telling the location's history and create the impression of a virtual time journey. The registration of the virtual objects in the video images is provided by a robust 6DOF tracking framework based on two technologies that work in tandem: an initialization step based on Randomized Trees and a frame-to-frame tracking phase based on KLT. The entire application runs in real time on current Ultra Mobile PCs and MIDs.

Debattista, Kurt (Ed.) et al.: VAST 2009. VAST-STAR, Short and Project Papers Proceedings. Msida: University of Malta, 2009, pp. 112-116

Museums often lack the possibilitiy to present archaeological or cultural heritage sites in a realistic and interesting way. Thus are proposing a new way to show augmented reality applications of cultural heritage sites at remote places like museums. In the exhibition space large wall-filling photographs of the real site are superimposed with interactive contextual annotations like 3D reconstructions, images and movies. Therefore we are using two different hardware setups for visualization: Standard UMPCs and a custom made revolving display. The setup has been installed and tested at SIGGRAPH 2008, Allard Pierson Museum in Amsterdam and CeBIT 2009. Museum visitors could experience Forum Romanum and Saticum in an informative and intuitive way by pointing the video see through devices on different areas of the photographs. The result is a more realistic and entertaining way for presenting cultural heritage sites in museums. Furthermore our solution is less expensive than comparable installations regarding content and hardware.

Virtual and augmented reality have been around for a long time, but for most people they are movie fantasies. Very few people outside a few research labs have worked with or experienced these systems for themselves. On the other hand, interactive 3D graphics applications are ubiquitous, mostly in the form of games. More and more people are working in animation and games, creating models and programs for interactive 3D applications on standard monitors. The goal of this class is to demonstrate that the leap to actual immersive or augmented environments is not as big as you might think. It explains how high-powered 3D graphics cards, mainstream applications of stereoscopic displays in 3D TV and movies, and webcams that achieve TV-quality images have significantly lowered the barriers to entry. And how, in combination with those hardware advances, freely available software based on open standards like X3D provides all the tools you need to access the elusive world of virtual and augmented reality applications. Following a summary of the basic principles of stereo displays, tracking systems and post-WIMP interaction metaphors, the main part of the course is a practical introduction to creating and running your own interactive and immersive applications.

Lin, Ming (Ed.) et al.: IEEE Virtual Reality 2008. Proceedings. Los Alamitos, Calif.: IEEE Computer Society Press, 2008, pp. 137-144

We present a new visual-inertial tracking device for augmented and virtual reality applications. The paper addresses two fundamental issues of such systems. The first one concerns the definition and modelling of the sensor fusion. Much work has been done in this area and several models for exploiting the data of the gyroscopes and linear accelerometers have been proposed. However, the respective advantages of each model and in particular the benefits of the integration of the accelerometer data in the filter are still unclear. The paper therefore provides an evaluation of different models with special investigation of the effects of using accelerometers on the tracking performance. The second contribution is about the development of an image processing approach that does not require special landmarks but uses natural features. Our solution relies on a 3D model of the scene that enables to predict the appearances of the features by rendering the model using the prediction data of the sensor fusion filter. The feature localisation is robust and accurate mainly because local lighting is also estimated. The final system is evaluated with help of ground-truth and real data. High stability and accuracy is demonstrated also for large environments.

Livingston, Mark A. (Ed.) et al.: 7th IEEE International Symposium on Mixed and Augmented Reality 2008. Proceedings : ISMAR Proceedings. New York: The Institute of Electrical and Electronics Engineers (IEEE), 2008, pp. 3-12

The use of a particle filter (PF) for camera pose estimation is an ongoing topic in the robotics and computer vision community, especially since the FastSLAM algorithm has been utilised for simultaneous localisation and mapping (SLAM) applications with a single camera. The major problem in this context consists in the poor proposal distribution of the camera pose particles obtained from the weak motion model of a camera moved freely in 3D space. While the FastSLAM 2.0 extension is one possibility to improve the proposal distribution, this paper addresses the question of how to use measurements from low-cost inertial sensors (gyroscopes and accelerometers) to compensate for the missing control information. However, the integration of inertial data requires the additional estimation of sensor biases, velocities and potentially accelerations, resulting in a state dimension, which is not manageable by a standard PF. Therefore, the contribution of this paper consists in developing a real-time capable sensor fusion strategy based upon the marginalised particle filter (MPF) framework. The performance of the proposed strategy is evaluated in combination with a markerbased tracking system and results from a comparison with previous visual-inertial fusion strategies based upon the extended Kalman filter (EKF), the standard PF and the MPF are presented.

Schenk, Michael (Ed.): 11. IFF-Wissenschaftstage 2008. Tagungsband [CD-ROM]. Magdeburg: Fraunhofer IFF, 2008, pp. 31-37

Virtual-Reality Simulationen konnten sich in der chirurgischen Ausbildung etablieren, wobei die angebotenen Systeme von einfachen Trainingssimulatoren bis hin zu komplexen Chirurgiesimulatoren reichen. Diese Simulationen sind oft sehr überzeugend, häufig steckt allerdings ein großer Aufwand in der Aufbereitung von Trainingsfällen und der Generierung von Falldatenbanken. Die Herausforderung besteht hier also in der Vereinfachung der Generierung der Trainingsdatenbank. Eingangsdaten für die Trainingsdatenbank sind Tomographiedaten der Patienten, die als Volumendaten vorliegen. Mit dieser Motivation werden Volumenrendering-Methoden sowie Simulationsverfahren auf Volumendaten zur Verwendung in chirurgischen Trainingssimulatoren entwickelt und präsentiert. Die entwickelten Renderingverfahren betreffen sowohl visuelles als auch haptisches Rendering, da letzteres in endoskopischen Simulationen zur Vermittlung von chirurgischen Handfertigkeiten besonders wichtig ist. Die Trainingssimulatoren unterscheiden sich hierbei darin von anderen Trainingssystemen, dass die zu untersuchenden anatomischen Strukturen nicht exemplarisch modelliert werden sondern direkt aus Tomographiedaten rekonstruiert sind. Zur Evaluation der entwickelten Verfahren zum visuellen und haptischen Volumenrendering wurden Beispielanwendungen für die HNO-Medizin entwickelt.

Augmented Reality (AR) ist eine eng mit der Virtuellen Realität (VR) verwandte Technologie. Der Anwender taucht dabei nicht komplett in eine virtuelle, computergenerierte Umgebung ein, sondern verbleibt in seiner realen Umgebung, die mit virtuellen Objekten erweitert wird. Diese virtuellen Objekte werden dabei möglichst passgenau in das Blickfeld des Anwenders eingeblendet. Wichtige klassische Forschungsthemen im Bereich der AR sind das sogenannte Tracking, d.h. die Bestimmung der Blickrichtung des Anwenders, die korrekte Beleuchtung der virtuellen Objekte, sowie Schattenwurf und Verdeckung zwischen realen und virtuellen Objekten. Ein Thema, das in den vergangenen Jahren immer stärker in den Vordergrund gerückt ist, ist die Frage nach der Systemarchitektur von AR-Systemen. Mit dieser Fragestellung befaßt sich die vorliegende Arbeit. Zunächst werden existierende VR- und AR-Systemarchitekturen analysiert. Ausgehend vom existierenden VR-Standard VRML bzw. seinem Nachfolger X3D wird dann untersucht, um welche Bestandteile dieser Standard erweitert werden muß, um auch für mobile AR-Anwendungen genutzt werden zu können. Dabei liegt der Fokus auf dem Gerätemanagement, der Kommunikation im Netzwerk und der Entwicklung und dem Debugging mobiler AR-Anwendungen.

Reuse, Bernd (Ed.) et al.: Informatikforschung in Deutschland. Berlin, Heidelberg, New York: Springer, 2008, pp. 269-282

Wachsender Wettbewerbsdruck in der Industrie verursacht steigende Produktkomplexität, eine hohe Anzahl von Produktvarianten und immer kürzer werdende Entwicklungs- und Produktionszyklen. Diese erfordern eine maximale Effizienz in Entwicklung, Produktion und Wartung. Bisher wurden die steigende Produktkomplexität mit immer mehr Information und Training für die Mitarbeiter kompensiert. Es ist jedoch absehbar, dass sich die Schere zwischen Produktkomplexität und vorhandenem Wissen der Mechaniker nicht mehr mit diesen konventionellen Methoden schließen lässt. Im BMBF-Leitprojekt ARVIKA wurden Augmented-Reality-Technologien zur Unterstützung der Mitarbeiter in den Anwendungsbereichen Entwicklung, Produktion und Wartung entwickelt. Durch das ARTESAS-Projekt konnte der deutsche Vorsprung in der Forschung und der Industrie im Umfeld der AR-basierten Technologien weiter gesichert und der Breiteneinsatz im industriellen Umfeld weiter vorbereitet werden. Ziel war es, schwerpunktmäßig neue Technologien für Tracking und AR-Geräte zu erforschen und zu evaluieren.

Braz, José (Ed.) et al.: GRAPP 2008 : Proceedings of the Third International Conference on Computer Graphics Theory and Applications. Setúbal: INSTICC Press, 2008, pp. 249-252

In this paper, we propose a combination of modern GPU-based methods that are able to generate high-quality, interactive real-time rendering for augmented and mixed reality applications. We also present a new approach to estimate surface reflection functions and materials from images using genetic algorithms.

Spencer, Stephen N. (Ed.): Proceedings WEB3D 2008 : 13th International Symposium on 3D Web Technology. New York: ACM Press, 2008, pp. 7-10

We present a lightweight framework composed of two extensions to introduce precomputed radiance transfer (PRT) to X3D. Depending on the basis function, PRT is used to simulate shading, complex light transfer and effects like subsurface scattering and caustics in real time by projecting incident light and transfer functions into frequency space, which allows the solution of the integration of the rendering equation through a simple dot product. Light transfer from incident to transferred radiance thus becomes a matter of solving dot products of coefficient vectors, which can be easily evaluated on the GPU. In this paper, we identify the minimal set of components needed for an X3D application to use spherical harmonic based PRT, and discuss how further enhancements to PRT can be implemented, like new basis functions and other features.

Cunningham, Paul (Ed.) et al.: Collaboration and the Knowledge Economy: Issues, Applications, Case Studies. Part 2. Amsterdam; Berlin: IOS Press, 2008. (Information and Communication Technologies and the Knowledge Economy 5), pp. 1331-1338

Because of the difficulties in navigating public transport networks and finding out about available activities, cultural tourists tend to follow a pre-planned itinerary and to visit a fairly small set of well known attractions. An analogous situation emerges at the cultural heritage sites themselves: while cultural heritage sites typically have a large amount of archive material, only a small amount of information can be presented, therefore visitors tend not to explore the culturalsignificance of exhibits in depth. Our solution represents a complete mobile information system for travellers intended to encourage exploration. The system consists of three modules: firstly location-based information intended to enhance the cultural tourist's understanding and to suggest exploratory activities based on modelling the users interests; secondly ad-hoc itinerary planning functionality to give the user the confidence to explore and a novel augmented reality system for presenting information in a user friendly way using markerless tracking. This paper covers the research and development aspects of iTACITUS, a sixth framework programme project, reporting on both technical and coordination issues, as well as interaction issues encountered during the project trials.

Cunningham, Steve (Ed.) et al.: WSCG 2008. Communications Papers. Plzen: University of West Bohemia, 2008, pp. 137-143

This paper discusses the requirements for Virtual Learning Environments from a didactical and implementational point of view, and also identifies structure and typical elements. Following modern educational theories one of the most important aspects is to provide interactive elements in order to "grasp" the learning matter. In this context different interaction types are elaborated. Besides this, the paper also shows that narration, just as with (serious) games and digital storytelling, is another crucial principle that helps to provide the learner with some background information and structure for understanding the new concepts and building adequate mental models. This implies, that meaningful virtual objects and actions should be arbitrarily utilizable and combinable, in order to be able to create Virtual Learning Environments which are customized to the learning matter. Finally methods and building blocks for enabling instructors to "write" interactive 3D learning environments are presented.

Braz, José (Ed.) et al.: GRAPP 2008 : Proceedings of the Third International Conference on Computer Graphics Theory and Applications. Setúbal: INSTICC Press, 2008, pp. 387-394

In this paper, we focus on the different aspects of real time visualization and animation of realistic virtual characters. The common goal was to come up with solutions based on the concepts of the open ISO standard X3D and if necessary to propose generalized extensions to the standard. First we describe the high level control language PML and its implementation, which is also suitable for non-graphics experts. Then we focus on realistic rendering, how X3D must be extended to allow special effects and realization of novel rendering algorithms, including skin and emotion rendering. Next we explain the challenges of dynamics related to virtual characters covering play-back and blending of pre-defined animations, online simulation of locomotion and last but not least hair simulation.

Spencer, Stephen N. (Ed.): Proceedings WEB3D 2008 : 13th International Symposium on 3D Web Technology. New York: ACM Press, 2008, pp. 57-65

In this paper we describe a layered approach to simplify character animation in X3D. Therefore, we present an interface and control language for specifying and synchronizing animations and similar actions at a higher level. Because this requires to have the accordant features on the lower X3D-based levels, we furthermore propose a set of nodes for realizing these demands. This includes for instance an audio node for text-to-speech that automatically calculates the actual phonemes and weighting factors for the corresponding visemes in order to achieve lip synchronization. To bridge the gap between these layers we also propose nodes for controlling animations, which are capable to convert the scripted schedules, and to mix an arbitrary number of interpolation based animations, whilst still being extensible to new concepts of on-line motion generation.

Spencer, Stephen N. (Ed.): Proceedings WEB3D 2008 : 13th International Symposium on 3D Web Technology. New York: ACM Press, 2008, pp. 27-30

Multi-touch interaction on tabletop displays is a very active field of todays HCI research. However, most publications still focus on tracking techniques or develop a gesture configuration for a specific application setup. Very few explore generic high level interfaces for multi-touch applications. In this paper we present a comprehensive hardware and software setup, which includes an X3D based layer to simplify the application development process. We present a robust FTIR based optical tracking system, examine in how far current sensor and navigation abstractions in the X3D standard are useful and finally present extensions to the standard, which enable designers and other non-programmers to develop multi-touch applications very efficiently.

Spencer, Stephen N. (Ed.): Proceedings WEB3D 2008 : 13th International Symposium on 3D Web Technology. New York: ACM Press, 2008, pp. 43-51

Nowadays medical training simulators play an important role in education and further training of surgeons. With Virtual Reality based training systems it is possible to simulate a surgery under realistic conditions. Input data for the visualization of anatomic structures is tomographic image data. For the visualization of medical datasets direct volume rendering is the method of choice. In this paper we introduce a system based on the new X3D extension proposal of the Medical Working Group for a volume rendering component, with some extensions for controlling the speed vs. quality trade-off. For a convincing and instructive training simulation, our implementation delivers high performance combined with high quality visualization of medical datasets. Furthermore, it integrates haptic forcefeedback devices to assure realistic interactions.

Diese Masterarbeit befasst sich mit der hardwarebeschleunigten Echtzeitsimulation von Tropfenfluss auf 3D-Modellen. Nach Einführung in strömungsmechanische Grundlagen wird ein Konzept und dessen Implementierung als OpenSG-Anwendung vorgestellt, mit dem Tropfenfluss auf annähernd beliebigen Oberflächen von 3D-Modellen simuliert wird. Tropfen fließen darin entsprechend der wirkenden Kräfte und hinterlassen eine Flüssigkeitsspur. Ebenfalls werden unterschiedliche Viskositäten berücksichtigt und bei der Platzierung von Tropfen auf der Oberfläche werden deren Randwinkel berücksichtigt. Durch Nutzung von Grafikshadern läuft die Berechnung und Darstellung der Tropfensimulation in Echtzeit.

Schumann, Marco (Ed.) et al.: Virtuelle und Erweiterte Realität : 5. Workshop der GI-Fachgruppe VR/AR. Aachen: Shaker, 2008. (Berichte aus der Informatik), pp. 149-156

Dieses Paper präsentiert das Konzept und die prototypische Umsetzung einer grafikkartenbasierten Echtzeitsimulation von Tropfenfluss auf beliebigen 3D-Oberflächen. Dabei werden auf die Flüssigkeit wirkende externe Kräfte - wie etwa Wind und Schwerkraft - sowie innere Reibung (Viskosität) berücksichtigt. Zudem wird für die Modellierung einzelner Tropfen eine Parametrisierung vorgeschlagen, die durch Oberflächenspannung entstehende Randwinkel korrekt wiedergibt.

Diese Arbeit behandelt die Rekonstruktion von monokularen Bildfolgen mittels Kanten. Die Fehlertolleranz soll dabei durch die Verwendung von Snakes, zum Tracken der Kanten, erheblich verbessert werden. Geprüft wurde ob und in welchem Maß dieser Ansatz zu einer Verbesserung bzw. Optimierung führt. In dem dabei entstandenen Plugin für die Visionlib des Fraunhofer IGD werden die Snakes direkt auf den Kantenfeatures initialisiert. Mittels Gradientenwerten, Spannung und Krümmung bleiben die Snakes auf Features durch die Sequenz erhalten. Ausreißer werden erkannt und zurück auf das entsprechende Feature geführt, ohne das eine neue Snake erstellt werden muss. Die Ergebnisse zeigen, dass der Energieterm der Snakes allein schon zu einer signifikanten Verbesserung der Robustheit führt, da einmal begangene Fehler durch weitere Iterationen wieder behoben werden können. Die Präzision kann derweil mit anderen Verfahren mithalten und liegt bei einer Abweichung von ca. 1-2 Grad. Snakes bieten somit eine effiziente Möglichkeit das Tracking von Kanten zu optimieren, ihr Potential sollte in diesem Bereich weiter ausgeschöpft werden.

Schumann, Marco (Ed.) et al.: Virtuelle und Erweiterte Realität : 5. Workshop der GI-Fachgruppe VR/AR. Aachen: Shaker, 2008. (Berichte aus der Informatik), pp. 197-208

Rendering on mobile devices is established very well by now. This technology can be excellently used by service technicians as a supportive medium. Due to its small size and the descriptive ability of virtual reality based techniques, mobile devices are an ideal medium for interactive on-site manuals. To improve this approach, augmented reality is a method to combine the real environment with virtual information blended into the field of view of the user. The result is a step-by-step manual of reparation tasks that are presented in completely different ways, like pure virtual information, virtual information overlaid over a preset image, or even information calibrated over an image made by the technician on site. This paper presents an architecture that allows the creation of different kinds of task presentations. It is based on elementary modules, which can be linked together to create chains representing a special type of task.

Mit dem Vorhabem "Virtuelles Kompetenznetzwerk zur Virtuellen und Erweiterten Realität" (ViVERA) wurde das Ziel verfolgt, Kompetenzen von VR- und AR-Entwicklern zu vernetzen, Entwicklungsbedarf zu identifizieren, Erfahrungen von Entwicklern und Anwendern zu bündeln und auf andere Anwendungsbereiche zu übertragen. Im Fokus standen hier die Branchen Automobil-, Maschinen-, Anlagen- und Schiffbau sowie die Medizintechnik. Innerhalb des Projektes konzentrierten sich die Forschungsarbeiten zunächst auf anwendungsübergreifende Basistechnologien. Im Ergebnis des Projektes entstanden aus der Kombination von Basistechnologien und einer anwendungsspezifischen Weiterentwicklung von neun prototypischen Demonstrantoren, die neue Einsatzszenarien von VR/AR-Technologien in den Zielbranchen aufzeigen. Die Demonstratoren stehen in den durchführenden Instituten zur Verfügung und bilden dort die Grundlage für weitere Entwicklungen nach Anforderungen von Industriepartnern, um diese in einen praktischen Einsatz zu überführen.

Computerized and virtual reality training systems - many of which utilize haptic feedback - have gained increasing acceptance and sophistication in recent years. Those tools such as laparoscopic surgical simulation, help to invent techniques not available with traditional training methods. In the past years not only the idea of training the machine was developed, but also of a machine acting as a trainer. In the fields of medicine, sport and entertainment, scientists are working on the development of systems, which can be used to teach human. Developing a machine which can perform human skill, poses an enormou challenge. After collecting the sensor data which characterizes the skill, this data should be transformed into a machine understandable form.This diploma thesis is concentrated on giving a solution to the challenging task of learning and recognition of skills. The complexity of this problem is already discussed in the previous two sections. The goal of the thesis is to introduce and discuss possible solution for reducing the complexity of the representation of a skill and its transfer to a machine.

Die Arbeit beschäftigt sich mit der Konzeption eines Systems zur Erstellung von Annotationen in immersiven Umgebungen unter der Verwendung VR spezifischer Interaktionsmetaphern. In diesem Zusammenhang wurde ein Annotationssystem entwickelt, das unter Verwendung VR spezifischer Interaktionsmetaphern die Dokumentation von Ergebnisprotokollen innerhalb der VR Umgebung unterstützt. Das System beinhaltet das Erstellen von Annotationen unterschiedlicher Art (Text, Skizze, Symbol, Audio, etc.), verschiedene Formen zur Darstellung der Anmerkungen, sowie das Erzeugen und Einlesen eines Protokolls über alle vorhandenen Annotationen. Das Konzept wurde innerhalb des VR-Systems AVALON implementiert und getestet.

ACM SIGCHI: Proceedings VRST 2008 : ACM Symposium on Virtual Reality Software and Technology. New York: ACM, 2008, pp. 263-264

Multi-touch interaction on tabletop displays is a very active field of todays HCI research. However, most publications still focus on tracking techniques or develop gesture configurations for a specific application setup using a small set of simple gestures. In this work we present a new approach to easily set up the recognition of even complex gestures for multi-touch applications. Our gesture recognition module is based on Hidden Markov Models, which offer a robust recognition of multiple gestures in real-time. An X3D interface of the recognition module is provided to qualify designers and other non-programmers to apply gesture recognition functionalities to multi-touch applications in an easy and straightforward manner.

One of the key problems of augmented reality is the tracking of the camera position and viewing direction in real-time. Current vision-based systems mostly rely on the detection and tracking of fiducial markers. Some markerless approaches exist, which are based on 3D line models or calibrated reference images. These methods require a high manual preprocessing work step, which is not applicable for the efficient development and design of industrial AR applications. The problem of the preprocessing overload is addressed by the development of vision-based tracking algorithms, which require a minimal workload of the preparation of reference data. A novel method for the automatic view-dependent generation of line models in real-time is presented. The tracking system only needs a polygonal model of a reference object, which is often available from the industrial construction process. Analysis-by-synthesis techniques are used with the support of graphics hardware to create a connection between virtual model and real model. Point-based methods which rely on optical flow-based template tracking are developed for the camera pose estimation in partially known scenarios. With the support of robust reconstruction algorithms a real-time tracking system for augmented reality applications is developed, which is able to run with only very limited previous knowledge about the scene. The robustness and real-time capability is improved with a statistical approach for a feature management system which is based on machine learning techniques.

Bebis, George (Ed.) et al.: Advances in Visual Computing. Proceedings Part I : ISVC 2008. Berlin, Heidelberg, New York: Springer, 2008. (Lecture Notes in Computer Science (LNCS) 5358), pp. 530-539

Camera-based tracking systems which reconstruct a feature map with structure from motion or SLAM techniques highly depend on the ability to track a single feature in different scales, different lighting conditions and a wide range of viewing angles. The acquisition of high quality features is therefore indispensable for a continuous tracking of a feature with a maximum possible range of valid appearances. We present a tracking system where not only the position of a feature but also its surface normal is reconstructed and used for precise prediction and tracking recovery of lost features. The appearance of a reference patch is also estimated sequentially and refined during the tracking, which leads to a more stable feature tracking step. Such reconstructed reference templates can be used for tracking a camera pose with a great variety of viewing positions. This feature reconstruction process is combined with a feature management system, where a statistical analysis of the ability to track a feature is performed, and only the most stable features for a given camera viewing position are used for the 2D feature tracking step. This approach results in a map of high quality features, where the real time capabilities can be preserved by only tracking the most necessary 2D feature points.

5th Intuition 2008. Proceedings : Virtual Reality in Industry and Society: From Research to Application. Turin, 2008, 7 p.

This paper describes the development of a virtual factory application based on multi-touch interaction, high resolution projection technology and industry standards like X3D. The application is a presentation tool to describe hidden complex physical processes inside a plant for bulk material handling. We are covering the project objectives, the scene architecture and the CAD and physical simulation production pipelines.

Ashley, Michael (Ed.) et al.: VAST 2008. Proceedings. Aire-la-Ville: Eurographics Association, 2008, pp. 71-77

We present Reality Filtering, an application that makes it possible to visualize original content like drawings or paintings of buildings and frescos seamlessly superimposed on reality by using filtered augmented reality. This enables simple and inexpensive applications in the cultural heritage and architecture area. The main idea is that the video stream showing the reality is filtered on the fly to acquire the same presentation style as the virtual objects. This allows for a better integration of original historic content and creates the impression of a virtual time journey. The registration of the virtual objects in the video images is provided by a robust 6DOF tracking framework based on two technologies that work in tandem: an initialization step based on Randomized Trees and a frame-to-frame tracking phase based on KLT. For the initialization, we present the novel concept of temporally distributed computational load (TDCL), which is able to automatically detect and register multiple objects while maintaining a constant video frame rate of 20 frames / sec. For mid- to long-range augmentation a pure 2- dimensional tracking with 3DOF is applicable and leads to significant performance gain. The entire application runs in real time on Ultra Mobile PCs.

Institute of Electrical and Electronics Engineers (IEEE): Proceedings of 3DTV-CON 2007 [CD-ROM] : Capture, Transmission and Display of 3D Video, 4 p.

In this paper we introduce a novel architecture for rapid development and assessment of advanced 3D visual tracking systems. Indeed, we notice that it does not exist up to now a universal tracking approach that fulfils the requirements of all possible application scenarios at the same time. On contrary, very specific and performing solutions can be developed for given situations and uses. Therefore, software for visual tracking must be designed as a highly flexible system that can be quickly re-configured in order to enable the development of optimised solutions in terms of accuracy, robustness, frame rate and delay to this purpose we designed an architecture that offers many functionalities which can be combined together, and thus build a new processing chain. The overall system offers numerous advantages, such as interactive programming, real-time access to the data and parameter at runtime.

IEEE Computer Society: IEEE Virtual Reality 2007. VR Tutorial and Workshop Proceedings [CD-ROM] : IEEE Symposium on 3D User Interfaces. Piscataway, NJ: IEEE Service Center, 2007, 5 p.

The semantics of the X3D ISO standard describe an abstract functional behavior of time-based, interactive 3D, multimedia information. It is independent of any specific software or hardware setup. However, X3D clients and applications today are mainly built for desktop systems running a web-browser. During the last years we have build a VR environment which utilizes the VRML- and X3DISO standards as a basis for an application programming and description language. In this paper we discuss some of our results and experiences. We present necessary extensions to the ISO standard, e.g. to support different interaction and navigation tasks, and discuss how existing parts can be interpreted differently in a VR environment.

Journal of Real-Time Image Processing, Vol.2 (2007), 2-3, pp. 161-175

Many of the recent real-time markerless camera tracking systems assume the existence of a complete 3D model of the target scene. Also the system developed in the MATRIS project assumes that a scene model is available. This can be a freeform surface model generated automatically from an image sequence using structure from motion techniques or a textured CAD model built manually using a commercial software. The offline model provides 3D anchors to the tracking. These are stable natural landmarks, which are not updated and thus prevent an accumulating error (drift) in the camera registration by giving an absolute reference. However, sometimes it is not feasible to model the entire target scene in advance, e.g. parts, which are not static, or one would like to employ existing CAD models, which are not complete. In order to allow camera movements beyond the parts of the environment modelled in advance it is desired to derive additional 3D information online. Therefore, a markerless camera tracking system for calibrated perspective cameras has been developed, which employs 3D information about the target scene and complements this knowledge online by reconstruction of 3D points. The proposed algorithm is robust and reduces drift, the most dominant problem of simultaneous localisation and mapping (SLAM), in realtime by a combination of the following crucial points: (1) stable tracking of longterm features on the 2D level; (2) use of robust methods like the well-known Random Sampling Consensus (RANSAC) for all 3D estimation processes; (3) consequent propagation of errors and uncertainties; (4) careful feature selection and map management; (5) incorporation of epipolar constraints into the pose estimation. Validation results on the operation of the system on synthetic and real data are presented.

SMPTE Motion Imaging Journal, Vol.116 (2007), 7/8, pp. 266-271

In order to insert a virtual object into a TV image, the graphics system needs to know precisely how the camera is moving, so that the virtual object can be rendered in the correct place in every frame. Nowadays this can be achieved relatively easily in post-production, or in a studio equipped with a special tracking system. However, for live shooting on location, or in a studio that is not specially equipped, installing such a system can be difficult or uneconomic. To overcome these limitations, the MATRIS project is developing a real-time system for measuring the movement of a camera. The system uses image analysis to track naturally occurring features in the scene, and data from an inertial sensor. No additional sensors, special markers, or camera mounts are required. This paper gives an overview of the system and presents some results.

Journal of Real-Time Image Processing, Vol.2 (2007), 2-3, pp. 69-79

The term ''Augmented Reality'' covers a wide range of applications, from the overlay of virtual graphics on a real scene using a head-mounted display for use in areas such as industrial maintenance, through to the insertion of real-time virtual graphics in TV programmes. Fundamental to all these applications is the need to be able to accurately track the motion of the camera, so that the graphics may be rendered so as to appear rigidly locked to the real world. To overcome the limitations of existing tracking systems, the MATRIS project has developed a real-time system for measuring the movement of a camera, which uses image analysis to track naturally occurring features in the scene, and data from an inertial sensor. No additional sensors, special markers, or camera mounts are required. This paper gives an overview of the system, provides the context for the other articles in this journal and presents some results.

ACM SIGGRAPH: Proceedings WEB3D 2007 : 12th International Conference on 3D Web Technology. New York: ACM Press, 2007, pp. 27-36

In this paper, we explore and discuss X3D as an application description language for advanced mixed reality environments. X3D has been established as an important platform for today's web-based visualization and VR applications. Yet, there are very few examples for augmented reality systems utilizing X3D beyond a simple geometric description format. In order to fulfill the image compositing and synthesis requests of today's augmented reality applications, we propose extensions to X3D, especially with a focus on lighting and realistic rendering.

International Journal of Virtual Reality, Vol.6 (2007), 4, pp. 55-66

In this paper, we focus on the different aspects of real time visualization and animation of realistic virtual characters. The common goal for our research was to come up with solutions based on the concepts of the ISO standard X3D and if necessary propose generalized extensions to the standard. First we describe a high level control language and its implementation suitable for non-graphics experts. Then we focus on the different aspects of realistic rendering, how X3D must be extended to allow special effects and realization of novel rendering algorithms, including skin and emotion rendering. Next we explain the challenges of dynamics related to virtual characters covering play-back and blending of pre-defined animations, online simulation of locomotion and hair simulation. We will briefly introduce the issues related to creation of character geometries and animations as well as simple storytelling. All the work described in this paper was carried out in the project Virtual Human. During the past four years we made several observations for the graphics part of virtual characters, which can be found in a special section of this paper.

Latoschik, Marc Erich (Ed.) et al.: Virtuelle und Erweiterte Realität : 4. Workshop der GI-Fachgruppe VR/AR. Aachen: Shaker, 2007. (Berichte aus der Informatik), pp. 47-54

In der Geologie und Archäologie versteht man unter Stratigraphie die Untersuchung von Schichtungen und deren zeitliche Abfolge. Das zu untersuchende Volumen wird während der Untersuchung oft zerstört. Während heutzutage genaue Messungen und Datenaufzeichnungen zur computerbasierten Speicherung und Rekonstruktion der archäologischen Daten durchgeführt werden, wurden früher lediglich rudimentäre Informationen wie ungefähre Umrisslinien, bedeutsame Höhenpunkte oder Fundstücke vermerkt. Im Folgenden wird eine Methode zur dreidimensionalen Rekonstruktion vorgestellt, die selbst bei sehr schlechter Datenqualität gute Ergebnisse erzielt. Weiterhin werden Verfahren zur interaktiven Exploration und Analyse des rekonstruierten Datensatzes vorgestellt. Hierzu gehören nicht nur klassische Verfahren des VR-Designreviews sondern auch moderne, shaderbasierte Techniken. So erlauben funktionale Shader beispielsweise, Anomalien wie kleinere Risse oder Unebenheiten, die mit dem bloßen Auge nicht erkennbar sind, aufzudecken, oder auch eine Krümmungsanalyse der rekonstruierten Oberflächen durchzuführen.

International Association for Pattern Recognition (IAPR): ICVS 2007 - Vision Systems in the Real World [Online] : Adaptation, Learning, Evaluation [online]. [cited 14 June 2007] Available from: http://www.icvs2007.org/programme.php 2007, 10 p.

In Augmented Reality applications, a 3D object is registered with a camera and visual augmentations of the object are rendered into the users field of view with a head mounted display. For correct rendering, the 3D pose of the users view w.r.t. the 3D object must be registered and tracked in real-time, which is a computational intensive task. This contribution describes a distributed system that allows to track the 3D camera pose and to render images on a light-weight mobile front end user interface system. The front end system is connected by WLAN to a backend server that takes over the computational burden for real-time tracking. We describe the system architecture and the tracking algorithms of our system.

Der Begriff "Augmented Reality" (AR) bezeichnet die Erweiterung der Realität durch Überlagerung der realen Szene mit zusätzlichen virtuellen Objekten. Die Art der zusätzlichen Information hängt von der Zielsetzung der Anwendung ab. Es kann sich dabei beispielsweise um Text, 2D-Applikationen oder 3D-Volumen handeln. Augmented Reality Technologien bieten in vielerlei Hinsicht neue Möglichkeiten zur Informationspräsentation und werden zunehmend in den verschiedensten Bereichen eingesetzt. In der Medizin können zum Beispiel Chirurgen sowohl bei der präoperativen Planung als auch bei Operationen selbst von überlagerten Einblendungen profitieren. Auch bei der industriellen Montage und Wartung, in der Unterhaltungsbranche und beim Militär wird mehr und mehr auf AR-Technologie gesetzt. In der Automobilindustrie wird das Potential von AR -neben dem Einsatz in Entwurfsprozessen oder bei der Verarbeitung- auch verstärkt zu Werbezwecken eingesetzt, beispielsweise um den Erlebnischarakter von Autozentren zu steigern. Der Besuch eines Autozentrums dient meistens dazu, sich über neue Modelle zu informieren und sich eventuell zum Kauf eines Autos zu entschließen. In klassischen und neuen Medien würde die gewünschte Information üblicherweise separat vom Auto, z.B. als gedruckte Broschüre oder als Animation auf einem Display visualisiert werden. Durch Augmented Reality Technologie bietet sich die Möglichkeit, die zusätzliche Information direkt auf den Wagen zu projizieren. So wird der Kunde in die Lage versetzt, sich Informationen in unmittelbarem Bezug zum ausgestellten Fahrzeug anzeigen zu lassen. Wird außerdem auch die Gelegenheit zur Interaktion, beispielsweise durch die Auswahl verschiedener Ansichten, geboten, kann diese neue Art der Informationsvermittlung unter Einbeziehung des Nutzers dem Besuch eines Autozentrums einen ganz neuen Reiz verleihen.

Viele aktuelle Ansätze zur markerlosen Kameraverfolgung basieren auf der Kenntnis eines vollständigen 3D-Modells der Szene, das durch aufwändige Vorverarbeitung erzeugt werden muss. Die markerlose Kameraverfolgung in unbekannten Umgebungen wird möglich durch die Echtzeit-Rekonstruktion der Umgebungsstruktur. Entsprechende Techniken werden in der Robotik eingesetzt. In der Robotik wird das Problem der Poseschätzung bei gleichzeitigem Aufbau einer Umgebungskarte als SLAM (simultaneous localisation and mapping) bezeichnet. Die vorliegende Arbeit stellt statistische Verfahren vor, die eingesetzt werden können um SLAM mit einer einzigen Kamera durchzuführen. Im folgenden wird die Konzeption und Implementierung eines markerlosen Kamera-Trackingverfahrens für unbekannte Umgebungen dokumentiert. Das Verfahren verwendet den Extended Kalman Filter für die Schätzung der Kamerapose und der Umgebungsmerkmale. Die Verwendung inverser Tiefeninformation zur Repräsentierung der Umgebungsmerkmale ermöglicht eine Kameraverfolgung ohne jegliche Vorkenntnis der Struktur der Szene. Das Verfahren wurde auf synthetischen und realen Bildsequenzen getestet.

Journal of the Society for Information Display, Vol.15 (2007), 9, pp. 679-689

A major issue when setting up multi-projector tiled displays is the spatial non-uniformity of the color throughout the display's area. Indeed, the chromatic properties do not only vary between two different projectors, but also between different spatial locations inside the displaying area of one single projector. A new method for calibrating the colors of a tiled display is presented. An iterative algorithm to construct a correction table which makes the luminance uniform over the projected area of one single projector is presented first. This so-called intra-projector calibration uses a standard camera as a luminance measuring device and can be processed in parallel for all projectors. Once the color inside each projector is spatially uniform, the set of displayable colors - the color gamut - of each projector is measured. On the basis of these measurements, the goal of the inter-projector calibration is to find an optimal gamut shared by all the projectors. Finding the optimal color gamut displayable by n projectors in time O(n) is shown, and the color conversion from one specific color gamut to the common global gamut is derived. The method of testing it on a tiled display consisting of 48 projectors with large chrominance shifts was experimentally validated.

Das direkte Rendering von Volumendaten ermöglicht vielfältige Visualisierungsverfahren, welche in unterschiedlichen Bereichen Anwendung finden können. Ein sehr bekanntes Einsatzgebiet ist der Bereich der medizinischen Visualisierung. In dieser Diplomarbeit wurde ein Volumenrenderer basierend auf moderner Graphikhardware und dem Szenengraphsystem OpenSG umgesetzt. Dem Renderer liegt dabei der Singlepass Raycasting Ansatz zugrunde, welcher sich durch seine hohe Flexibilität und die qualitativ hochwertigen Ergebnisse in diesem Kontext besonders anbietet. Für die Erzielung einer hohen Renderingperformance kam nach der Analyse verschiedener Verfahren ein object-order Empty-Space Skipping Verfahren zum Einsatz, mit welchem mittels verfeinerter Bounding Geometrie äußere leere Bereiche des Volumens übersprungen und das Volumen so effizienter traversiert werden kann. Weiterhin ermöglicht dieser Ansatz die Integration von Geometrieschnitten und einem Fly-Through Mode, was insbesondere für den Einsatz des Volumenrenderers in einem Szenengraphsystem wie OpenSG von Relevanz ist. Hierbei konnte auch ein Ansatz zur Entfernung von Kantenartefakten im Zusammenhang mit dem Empty-Space Skipping Verfahren entwickelt werden. Das eingesetzte object-order Empty-Space Skipping wurde außerdem mit einem image-order Empty-Space Skipping Verfahren auf Basis eines Uniform Grids kombiniert, um so auch innere leere Bereiche des Volumens überspringen zu können. Darüber hinaus wurde eine frühzeitige Terminierung des Strahls bei Erreichen maximaler Opazität während der Traversierung durch Integration des Early-Ray Termination Verfahrens erreicht. Zur Verbesserung der Renderingqualität kamen verschiedene Verfahren zum Einsatz, welche Artefakte aus dem Sampling der Daten oder der Klassifikation aber auch die während der Beleuchtungsberechnung auftretenden Artefakte deutlich verringern. Im Rahmen dieser Arbeit entstand so ein modular konzipiertes und flexibel erweiterbares Framework. Aufgrund des eingesetzten Prinzips des Shader Compositings wird der entsprechende Volumenshader je nach gewählten Modulinstanzen, welche die Eigenschaften des Volumens näher spezifizieren, aufgebaut. Mit diesem Volumen Rendering Framework können so verschiedene Arten von Volumendaten in unterschiedlichen Rendermodi mit einer guten Renderinggeschwindigkeit visualisiert werden.

HCI International 2007. [Proceedings CD-ROM] : With 8 further Associated Conferences. Berlin, Heidelberg, New York: Springer, 2007. (Lecture Notes in Computer Science (LNCS)), LNCS 4551, pp. 689-699

In this paper we present evaluation results of an innovative application designed to make collaborative design review in the architectural and automotive domain more effective. Within IMPROVE, a European research project in the area of advanced displays, we are combining high resolution multi-tile displays, TabletPCs and head-mounted displays with innovative 2D and 3D Interaction Paradigms to better support collaborative mobile mixed reality design reviews. Our research and development is motivated by application scenarios in the automotive domain involving FIAT Elasis from Naples, Italy and in the architectural domain involving Page/Park architects from Glasgow, Scotland. User evaluation took place at Glasgow (UK), Naples (ITA) and Darmstadt (GER), where we tested the integrated IMPROVE prototype application. The tests were conducted based on several heuristics such as ergonomics and psychomotorial factors and they were conducted based on guidelines recommended by ISO 9241 to verify whether the developed interfaces were suitable for the applications scenarios. Evaluation results show that there is a strong demand for more interactive design review systems, allowing users greater flexibility and greater choice of input and visualization modalities as well as their combination.

HCI International 2007. [Proceedings CD-ROM] : With 8 further Associated Conferences. Berlin, Heidelberg, New York: Springer, 2007. (Lecture Notes in Computer Science (LNCS)), LNCS 4563, pp. 376-385

In this paper we present evaluation results of an innovative application designed to make collaborative design review in the architectural and automotive domain more effective. Within IMPROVE, a European research project in the area of advanced displays, we are combining high resolution multi-tile displays, TabletPCs and head-mounted displays with innovative 2D and 3D Interaction Paradigms to better support collaborative mobile mixed reality design reviews. Our research and development is motivated by application scenarios in the automotive domain involving FIAT Elasis from Naples, Italy and in the architectural domain involving Page/Park architects from Glasgow, Scotland. User evaluation took place at Glasgow (UK), Naples (ITA) and Darmstadt (GER), where we tested the integrated IMPROVE prototype application. The tests were conducted based on several heuristics such as ergonomics and psychomotorial factors and they were conducted based on guidelines recommended by ISO 9241 to verify whether the developed interfaces were suitable for the applications scenarios. Evaluation results show that there is a strong demand for more interactive design review systems, allowing users greater flexibility and greater choice of input and visualization modalities as well as their combination.

HCI International 2007. [Proceedings CD-ROM] : With 8 further Associated Conferences. Berlin, Heidelberg, New York: Springer, 2007. (Lecture Notes in Computer Science (LNCS)), LNCS 4563, pp. 543-553

In this paper we introduce an innovative application designed to make collaborative design review in the architectural and automotive domain more effective. For this purpose we present a system architecture which combines variety of visualization displays such as high resolution multi-tile displays, TabletPCs and head-mounted displays with innovative 2D and 3D Interaction Paradigms to better support collaborative mobile mixed reality design reviews. Our research and development is motivated by two use scenarios: automotive and architectural design review involving real users from Page\Park architects and FIAT Elasis. Our activities are supported by the EU IST project IMPROVE aimed at developing advanced display techniques, fostering activities in the areas of: optical see-through HMD development using unique OLED technology, marker-less optical tracking, mixed reality rendering, image calibration for large tiled displays, collaborative tablet-based and projection wall oriented interaction and stereoscopic video streaming for mobile users. The paper gives an overview of the hardware and software developments within IMPROVE and concludes with results from first user tests.

IJIDeM - International Journal on Interactive Design and Manufacturing, Vol.1 (2007), 2, pp. 115-126

In this paper we introduce an innovative application aiming at combining large, tablet-based and headmounted displays for collaborative mobile mixed reality design reviews. Our research and development is motivated by two use scenarios: automotive and architectural design review involving real users from Page\Park architects and Elasis FIAT. Our activities are supported by the EU IST project IMPROVE. It covers activities in the areas of: HMD development using unique OLED technology, markerless tracking, augmented reality rendering, image calibration for large tiled displays, collaborative tablet-based and projection wall oriented interaction and stereoscopic video streaming for mobile users. The paper gives an overview of the hardware and software developments within IMPROVE and concludes with results from first user test.

IEEE Computer Society: ISMAR 2007 : Proceedings of the Sixth IEEE and ACM International Symposium on Mixed and Augmented Reality. Los Alamitos, Calif.: IEEE Computer Society, 2007, pp. 281-282

Since the last ten years product development in automotive industry is changing radically. Most physical mock-ups have vanished and are now replaced by digital ones. But they are still needed for final evaluations or issues, which cannot be adequately simulated. During their production, deviations from the CAD model may be made. Since digital and real mock-up must match for the further product development, the transfer of differences between physical and digital mock-up to the CAD format is a crucial issue. In this paper an Augmented Reality (AR) based tool-chain is presented, which allows matching the CAD data with real mock-ups and documents the differences between them. Essential functions like measurement and online construction are provided, allowing the end-users to create information in AR space and feeding them back into the CAD model.

Schenk, Michael (Ed.): 10. IFF-Wissenschaftstage 2007. Tagungsband [CD-ROM] : 15 Jahre Fraunhofer IFF. Magdeburg: Fraunhofer IFF, 2007, VR-Teil, pp. 193-200

Immer kürzer werdende Produktionszyklen und erhöhte Komplexitäten von Maschinen erfordern eine effektive und zeitsparende Entwicklungsumgebung, in der Simulation eine zunehmend wichtige Rolle spielt. In diesem Zusammenhang werden auch immer mehr Technologien aus dem Bereich der Virtuellen Realität (VR) eingesetzt, um Ergebnisse von CAE Prozessen in den verschiedenen Entwicklungsstufen zu visualisieren und um die nächsten Entwicklungsschritte zu diskutieren. Schwierigkeiten bereitet allerdings die Protokollierung der Absprachen und Diskussionsergebnisse. Dieses Paper beschreibt eine Annotationssystem, das die Erstellung, Integration und Protokollierung von Annotationen in Form von Texten, Skizzen, Bildern/Symbolen, Interaktionen, Audio- und Videoclips, sowie deren Darstellung auf zwei unterschiedliche Arten. Die Darstellungsformen der Annotationen basieren auf realen Metaphern, die in VR übertragen wurden.

Yagi, Yasushi (Ed.) et al.: Computer Vision - ACCV 2007. Berlin; Heidelberg; New York: Springer, 2007. (Lecture Notes in Computer Science (LNCS) 4843), LNCS 4843, pp. 769-778

In dynamic scenes with occluding objects many features need to be tracked for a robust real-time camera pose estimation. An open problem is that tracking too many features has a negative effect on the real-time capability of a tracking approach. This paper proposes a method for the feature management which performs a statistical analysis of the ability to track a feature and then uses only those features which are very likely to be tracked from a current camera position. Thereby a large set of features in different scales is created, where every feature holds a probability distribution of camera positions from which the feature can be tracked successfully. As only the feature points with the highest probability are used in the tracking step, the method can handle a large amount of features in different scale without losing the ability of real time performance. Both the statistical analysis and the reconstruction of the features' 3D coordinates are performed online during the tracking and no preprocessing step is needed.

Journal of Virtual Reality and Broadcasting, Vol.4 (2007), 1, 9 p.

In this paper we present a model-based approach for real-time camera pose estimation in industrial scenarios. The line model which is used for tracking is generated by rendering a polygonal model and extracting contours out of the rendered scene. By un-projecting a point on the contour with the depth value stored in the z-buffer, the 3D coordinates of the contour can be calculated. For establishing 2D/3D correspondences the 3D control points on the contour are projected into the image and a perpendicular search for gradient maxima for every point on the contour is performed. Multiple hypotheses of 2D image points corresponding to a 3D control point make the pose estimation robust against ambiguous edges in the image.

Kropatsch, Walter G. (Ed.) et al.: Computer Analysis of Images and Patterns. Proceedings : CAIP 2007. Berlin, Heidelberg, New York: Springer, 2007. (Lecture Notes in Computer Science (LNCS) 4673), pp. 20-27

In this paper we present a novel analysis-by-synthesis approach for real-time camera tracking in industrial scenarios. The camera pose estimation is based on the tracking of line features which are generated dynamically in every frame by rendering a polygonal model and extracting contours out of the rendered scene. Different methods of the line model generation are investigated. Depending on the scenario and the given 3D model either the image gradient of the frame buffer or discontinuities of the z-buffer and the normal map are used for the generation of a 2D edge map. The 3D control points on a contour are calculated by using the depth value stored in the z-buffer. By aligning the generated features with edges in the current image, the extrinsic parameters of the camera are estimated. The camera pose used for rendering is predicted by a line-based frame-to-frame tracking which takes advantage of the generated edge features. The method is validated and evaluated with the help of ground-truth data as well as real image sequences.

Arnold, David (Ed.) et al.: Vast2007 - Future Technologies to Empower Heritage Professionals : Short and Project Papers from VAST 2007. Budapest: Archaeolingua, 2007, pp. 110-117

iTACITUS is a sixth framework programme project and aims to privide a mobile cultural heritage information system for the individual. By combining itinerary planning, navigation and rich content on-site information, based upon a dispersed repository of historical and cultural resources it enables a complete information system and media experience for historical interested travellers. This paper covers the development of a "Mobile Augmented Reality (AR) Guide Framework" for Cultural Heritage (CH) sites. The framework delivers advanced markerless tracking on mobile computers as well as new interaction paradigms in AR featuring touch and motion capabilities. In addition to visual components like annotated landscapes and superimposed environments the framework will feature a reactive accoustic AR module. The markerless tracking is based on optical flow. Only pure camera rotation is estimated, assuming the user is staying in place. The system is capable of running at real-time frame rates on mobile computers which allows for wide range of applications both indoors and outdoors. The visual AR application gives users the ability to explore the digital information about the site in a very straight way. By holding a mobile computer in front of a point of interest the user immediately gets further information as AR overlay on the screen. This effect appears like looking through the mobile computer's display and seeing the real world enhanced with virtual objects or information. Virtual Objects are reacting on the user's position. Direct interaction with the virtual objects is possible for example by touching the display or shaking the mobile computer. Spatial accoustic AR transports a place's original ambience. While walking through a room the user gets an accoustic impression about how the place has been before, about people and their activities by listening to the conversations and the environment sounds. Due to the 3D position of the sound the user will create himself an spatial image of the situation.

Jorge, Joaquim (Ed.) et al.: WSCG 2006. Short Papers Proceedings. Plzen: University of West Bohemia, 2006, pp. 109-115

Accurate acquisition of camera position and orientation is crucial for realistic augmentations of camera images. Computer vision based tracking algorithms, using the camera itself as sensor, are known to be very accurate but also time-consuming. The integration of inertial sensor data provides a camera pose update at 100 Hz and therefore stability and robustness against rapid motion and occlusion. Using inertial measurements we obtain a precise real time augmentation with reduced camera sample rate, which makes it usable for mobile AR and See-Through applications. This paper presents a flexible run-time system, that benefits from sensor fusion using Kalman filtering for pose estimation. The camera as main sensor is aided by an inertial measurement unit (IMU). The system presented here provides an autonomous initialisation as well as a predictive tracking procedure and switches between both after successfull (re)-initialisation and tracking failure respectively. The computer vision part performs 3D model-based tracking of natural features using different approaches for yielding both, high accuracy and robustness. Results on real and synthetic sequences show how inertial measurements improve the tracking.

Institute of Electrical and Electronics Engineers (IEEE): ISMAR 2006 : Proceedings of the Fifth IEEE and ACM International Symposium on Mixed and Augmented Reality. Los Alamitos, Calif.: IEEE Computer Society, 2006, pp. 56-65

One of the key requirements of augmented reality systems is a robust real-time camera pose estimation. In this paper we present a robust approach, which does neither depend on of.ine pre-processing steps nor on pre-knowledge of the entire target scene. The connection between the real and the virtual world is made by a given CAD model of one object in the scene. However, the model is only needed for initialization. A line model is created out of the object rendered from a given camera pose and registrated onto the image gradient for finding the initial pose. In the tracking phase, the camera is not restricted to the modeled part of the scene anymore. The scene structure is recovered automatically during tracking. Point features are detected in the images and tracked from frame to frame using a brightness invariant template matching algorithm. Several template patches are extracted from different levels of an image pyramid and are used to make the 2D feature tracking capable for large changes in scale. Occlusion is detected already on the 2D feature tracking level. The features' 3D locations are roughly initialized by linear triangulation and then refined recursively over time using techniques of the Extended Kalman Filter framework. A quality manager handles the influence of a feature on the estimation of the camera pose. As structure and pose recovery are always performed under uncertainty, statistical methods for estimating and propagating uncertainty have been incorporated consequently into both processes. Finally, validation results on synthetic as well as on real video sequences are presented.

Schulze, Thomas (Ed.) et al.: Simulation und Visualisierung 2006. Proceedings. Erlangen: SCS-European Publishing House, 2006, pp. 49-62

Funktionelle Störungen stellen die Ursache chronischer Schmerzen nach Schleudertrauma dar und verursachen immense Kosten im Gesundheitssystem. In diesem Verfahren wird durch den kombinierten Einsatz von Virtual Reality (VR) und Messungen der muskulären Aktivität die Diagnose chronischer Schmerzen nach Schleudertrauma verbessert. Die Diagnose resultiert in einer Kraftrückkopplung, die gezielt Kräfte auf den Kopf des Patienten übertragen soll. Hierzu wird der Patient mit Hilfe eines "Head Mounted Displays" (HMD) in eine virtuelle Welt versetzt. Der Patient verfolgt ein optisches Signal in der virtuellen Szene und wird dadurch animiert, spezifische Kopfbewegungen auszuführen. Durch das Einleiten fein dosierter Gegenkräfte soll die Nackenmuskulatur der Schmerzpatienten dabei, gesteuert durch VR Techniken, sensibel trainiert werden. Zeitgleich wird die bei den Bewegungen generierte elektrische Aktivität (EMG) des Musculus semispinalis capitis gemessen. Sie dient als Signal, um über einen Rückkopplungsmechanismus (Bio- Feedback) eine Überlastung des Patienten während der Therapie zu verhindern.

Das Gefühl des Eintauchens ist in der Virtuellen Welt neben der richtigen Visualisierung einer der wichtigsten Punkte, die bei der Erstellung von virtuellen Umgebungen beachtet werden müssen. Die Technik der Visualisierung ist schon weit vorangeschritten, schaut man sich Cave oder große Stereo-Projektionsleinwände an. Sie vermitteln schon ein sehr gutes Gefühl, in der virtuellen Welt zu sein. Allerdings schwächt oft die Interaktion mit Maus oder Tastatur das Immersionsgefühl stark ab. Eine andere Art und Weise, wie mit virtuellen Objekten interagiert werden kann muss gefunden werden. Spacemäuse oder Flightsticks bieten schon ein besseres Gefühl, sich in der virtuellen Welt zu bewegen. Eine weitere Interaktionsmöglichkeit sind Gesten der Hand. Ein solches System ist im Laufe der Diplomarbeit entwickelt worden. Dabei war die erste Überlegung, wie man die Hand am geeignetsten verfolgt werden kann. Dazu wurde ein LED Tracker entwickelt, der drei farbige LEDs, die an einem schwarzen Handschuh befestigt sind, verfolgt. Zeigefinger, Daumen und Handrücken sind die Punkte, an denen die LEDs befestigt sind. Da die LEDs in rot, grün und blau vorlagen, war es kein Problem diese zu identifizieren und korrekte Korrespondenzen zu erhalten. Zwei Webcams nehmen die Hand bzw. die LEDs auf, so dass aus den beiden Bildern mittels Triangulierung drei 3D Punkte erstellt und diese zur Gestenerkennung genutzt werden können. Funktionen wie Selektieren, Verschieben oder Rotieren sind mit dem entwickelten System möglich. Einfache Selektion kann durch "drauf-zeigen" durchgeführt werden. Eine Trigger-Geste, in diesem Fall die Bewegung des Daumens an den Zeigefinger, löst die Selektion aus. Um ein Objekt zu verschieben, kann eine Geste entlang einer der Hauptachse des Koordinatensystems durchgeführt werden. So kann ein Objekt in eine Feste Richtung, um eine feste Distanz verschoben werden. Durch Drehung der Hand ist es möglich das Objekt zu drehen. Um weitere Intuitivität zu erlangen, wurden weitere Gestenformen implementiert. Eine Greifgeste, die einem Drag & Drop ähnelt, sollte die Bewegungen in der Realität nachempfinden. Man Greift nach einem Objekt, und kann, so lange man es festhält, es an jede mögliche Position verschieben, und um jeden Winkel drehen. Tests haben ergeben, dass solche intuitiven Gesten sehr viel weniger an Traingszeiten benötigen, bis der Nutzer die Interaktion erlernt hat und damit weniger Fehler macht. Verbesserungen in der Geschwindigkeit des Systems würde die Akzeptanz dieser Eingabevariante noch erhöhen, allerdings bringt es schon jetzt eine bessere Bedienung der virtuellen Welten als normale Maus und Tastatur

International Broadcasting Convention (IBC): IBC 2006. London, 2006, pp. 321-328

In order to insert a virtual object into a TV image, the graphics system needs to know precisely how the camera is moving, so that the virtual object can be rendered in the correct place in every frame. Nowadays this can be achieved relatively easily in post-production, or in a studio equipped with a special tracking system. However, for live shooting on location, or in a studio that is not specially equipped, installing such a system can be difficult or uneconomic. To overcome these limitations, the MATRIS project is developing a real-time system for measuring the movement of a camera. The system uses image analysis to track naturally occurring features in the scene, and data from an inertial sensor. No additional sensors, special markers, or camera mounts are required. This paper gives an overview of the system and presents some results.

Typische "Mixed-Reality-Systeme" leiden unter einem stetigen Konflikt zwischen visueller Qualität und Rendergeschwindigkeit - wahrscheinlich mehr als jegliche anderen Grafikanwendungen. Um reale und virtuelle Welten erfolgreich miteinander zu vermischen müssen virtuelle Objekte mit der Umgebung in Echtzeit interagieren und dabei gleichzeitig dem Betrachter optisch so gut vermittelt werden, dass dieser sie nicht von echten Objekten trennen kann. In den in der Vergangenheit vorgestellten Systemen wurde oft nur einer dieser beiden Aspekte näher betrachtet, wodurch eine wirkliche "Vermischung" der beiden Welten nie statt fand. Im Rahmen dieser Arbeit wurden Rekonstruktionsmethoden untersucht, die sowohl Licht als auch Materialeigenschaften aus Bilddaten über moderne Grafikhardware ableiten. Dazu wurden Verfahren untersucht, die vor allem in aktuellen Renderframeworks und in der Spieleindustrie eingesetzt werden. Ein Global Illumination Verfahren wird dabei zusammengesetzt aus dynamischem "Ambient Occlusion", Schattenwurf über in OpenSG implementierte Verfahren wie z.B. PCSS und eine Beleuchtungsmethode durch "Irradiance-Mapping". Letztere wird durch den Einsatz von "Spherical Harmonics" massiv beschleunigt und da- zu genutzt, andere Informationen über die realen Lichtverhältnisse wie z.B. die Helligkeit der Umgebung zu ermitteln. Materialeigenschaften realer Oberflächen werden in dieser Arbeit mit einem neuen Ansatz ermittelt. Eine bereits bestehende Methode welche analytisch versucht, mit unvollständigen Daten über die Szene die Rendergleichung rückwärts auszuwerten, benötigt zur Herleitung komplexer Materialeigenschaften nicht-lineare Optimierung. In dieser Arbeit wurde untersucht, ob statt dessen eine einfachere und vor allem allgemeinere Lösung über den Einsatz von genetischen Algorithmen gefunden werden kann.

Association for Computing Machinery (ACM): VRST Cyprus 2006. Proceedings. New York: ACM, 2006, pp. 193-196

Simulating the visual appearance and lighting of human skin is a difficult task, which is addressed by researchers for several years. Because of the availability of high performance, programmable graphics boards, now it is possible to use techniques formerly only available to offline rendering. In this paper we present solutions to improve the visual quality of skin by enhancing such techniques to real-time application. Furthermore dynamic properties like aging and emotional changes in the appearance of a face like blushing and weeping are introduced to obtain convincing results at interactive frame rates for immersive virtual worlds.

International Journal of Virtual Reality, Vol.5 (2006), 2, pp. 25-30

In this paper, we will explain our approach to create and animate virtual characters for real-time rendering applications in an easy and intuitive way. Furthermore we show a way how to develop interactive storylines for such real-time environments involving the created characters. We outline useful extensions for character animation based on the VRML97 and X3D standards and describe how to incorporate commercial tools for an optimized workflow. These results were developed within the Virtual Human project. An overview of the project is included in this paper.

Diese Arbeit beschreibt ein Rahmensystem zur effektiven Visualisierung von sehr großen Landschaftsdaten in Clustersystemen. Die beiden wichtigsten Beiträge sind dabei die Vorstellung eines neuen Level-of-Detail Algorithmus, der für den Einsatz mit modernen Grafikkarten optimiert wurde und die Beschreibung eines Rahmensystems, zur Visualisierung von Landschaftsdaten in verteilten Systemen mittels OpenSG. Dieses Rahmensystem unterstützt sowohl den Einsatz von effizienten Kompressions- und Out-of-Core Mechanismen, als auch die Verwendung von verschiedenen Level-of-Detail Algorithmen. Die neue Level-of-Detail Methode ist eine blockbasierte Variante des Quadtree Algorithmus, die nicht auf einzelnen Dreiecken, sondern auf Blöcken von Dreiecken arbeitet, und dadurch besser für den Einsatz mit aktuellen Grafikkarten geeignet ist. Trotzdem ist die Methode relativ einfach zu verstehen und zu implementieren, und sehr gut für den Einsatz in Clustersystemen geeignet, da die Synchronisierung der Clusterknoten durch die Unabhängigkeit der Blöcke voneinander stark vereinfacht wird.

In dieser Diplomarbeit wird das Problem der Rekonstruktion von 3D-Linienmodellen aus Videodaten behandelt. 3D-Rekonstruktion ist ein interessantes Forschungsgebiet, das seit den 1970er Jahren große Beachtung findet. Ziel dieser Diplomarbeit war es dabei, ein System zur vollautomatischen Generierung von Linienmodellen zu erstellen, welche später zum markerlosen Tracking verwendet werden können. Die automatische Generierung hat dabei den Vorteil, daß dieselben Verfahren zur Kantenerkennung zum Einsatz kommen wie später beim Tracking. Weiterhin wurde ein Verfahren zum inkrementellen Update der bestehenden Rekonstruktion aus weiteren Videodaten entwickelt und evaluiert. Die Ergebnisse haben gezeigt, daß das Problem generell lösbar ist, aber auch, daß es noch viel Verbesserungsbedarf hinsichtlich Geschwindigkeit und Stabilität gibt. Es existieren verschiedene Ansätze zur 3D-Rekonstruktion, die bedeutendsten davon sind Faktorisierungsansätze -- meist gefolgt von Bündelblockausgleich (bundle adjustment) -- und Verfahren über die Fundamentalmatrix (two-view, Punktfeatures) beziehungsweise den Trifokaltensor (three-view, Linienfeatures). In der Diplomarbeit wird aus mehreren Gründen das Verfahren über den Trifokaltensor gewählt. Der Algorithmus wurde unter Zuhilfenahme der VisionLib-Bibliothek implementiert, die in der Abteilung A4 des Fraunhofer IGD entwickelt wird. Die Implementierung wurde mit Hilfe von synthetischen und realen Daten evaluiert. Die Ergebnisse waren vielversprechend, es gelangen gute Rekonstruktionen auf Basis von realen Videodaten. Allerdings zeigte sich auch, daß es noch Probleme hinsichtlich Stabilität und Geschwindigkeit gibt.

The Society for Imaging Science and Technology (IS&T): Fourteenth Color Imaging Conference. Final Program and Proceedings : Color Science and Engineering Systems, Technologies, and Applications. Springfield: IS&T, 2006, pp. 291-296

We address the problem of calibrating the colors of a multiple projector tiled display. Differences in the characteristics of the projectors lead to varying color and intensity among the tiles of the display. These differences do generally not only arise between two different projectors, but also between different spatial locations on the projected surface of one single projector. In this paper, we present two algorithms for calibrating the colors of a tiled display. The first method is an automatic procedure to make the luminance uniform over the projected surface of one single beamer, using a common digital camera as a luminance measuring device. The second method aims at uniformizing the colors of multiple projectors by computing the set of color commonly displayable by all the beamers (the common gamut). We show how to find an optimal color gamut displayable by all the projectors in linear time, and derive the color conversion from one color gamut to the common gamut. We successfully tested the method on a tiled display made of 48 projectors with large chrominance shifts.

Müller, Stefan (Ed.) et al.: Virtuelle und Erweiterte Realität : 3. Workshop der GI-Fachgruppe VR/AR. Aachen: Shaker, 2006. (Berichte aus der Informatik), pp. 119-130

This paper presents a practicable approach for augmented reality on embedded systems like PDAs and smart phones. It describes an implementation of a complete AR-assistance system for industrial maintenance. The goal is to provide a future handbook which supports multiple kinds of media documents like SMIL, video and 3D augmented reality views of complex maintenance tasks. The main issue of the system is its usability, as well as its capability to support a mobile worker without overstraining him. The idea is to start from the application and consider AR as a technology that can be invoked on-demand. Similarly, it is assumed offering AR capability on still image snapshots of the real scene is sufficient for many maintenance applications. In particular, two approaches for automatic scene calibration are used, a robust gradient-based marker calibration and a markerless approach, which relies on the registration of a 3D line-model onto the image.

Heinrich, Alan (Ed.) et al.: EG PGV 2006. Proceedings : 6th Eurographics Symposium on Parallel Graphics and Visualization. Aire-la-Ville: Eurographics, 2006, pp. 119-126

The core advantage of sort last rendering is the theoretical nearly linear scalability in the number of rendering nodes, which makes it very attractive for very large polygonal and volumetric models. The disadvantage of sort last rendering is that a final image composition step is necessary in which a huge amount of data has to be transferred between the rendering nodes. Even with gigabit or faster networks the image composition introduces an overhead that makes it impractical to use sort last parallel rendering for interactive applications on large clusters. This paper describes the Sorted Pipeline Composition algorithm that reduces the amount of data that needs to be transferred by an order of magnitude and results in a frame rate that is at least twice as high as the widely used binary swap image composition algorithm.

Jorge, Joaquim (Ed.) et al.: WSCG 2006. Full Papers Proceedings. Plzen: University of West Bohemia, 2006, pp. 55-62

Sort-first or image space parallel rendering has been the subject of a significant amount of research. Its limited scalability is well known. Nevertheless, sort-first has noticeable advantages over other approaches: it has moderate and predictable communication overhead, and it has no problems with multipass or transparent rendering. Especially for multi-projector display systems, driven by a cluster of standard PCs with limited network bandwidth, it is the first choice to achieve interactive frame rates. In this paper we present an approach to do load balancing for arbitrary multi projector systems, based on a sort-first approach.

Journal of Virtual Reality and Broadcasting, (2006), 3, 13 p.

In this paper the software architecture of a framework which simplifies the development of applications in the area of Virtual and Augmented Reality is presented. It is based on VRML/X3D to enable rendering of audio-visual information. We extended our VRML rendering system by a device management system that is based on the concept of a data-flow graph. The aim of the system is to create Mixed Reality (MR) applications simply by plugging together small prefabricated software components, instead of compiling monolithic C++ applications. The flexibility and the advantages of the presented framework are explained on the basis of an exemplary implementation of a classic Augmented Reality application and its extension to a collaborative remote expert scenario.

Fischer, Xavier (Ed.) et al.: Research in Interactive Design. Volume 2. Proceedings : Proceedings of the Virtual Concept 2006. Paris, Berlin, Heidelberg: Springer, 2006, 11 p.

In this paper we introduce an innovative application aiming at combining large, tablet-based and headmounted displays for collaborative mobile mixed reality design reviews. Our research and development is motivated by two use scenarios: automotive and architectural design review involving real users from Page\Park architects and Elasis FIAT. Our activities are supported by the EU IST project IMPROVE. It covers activities in the areas of: HMD development using unique OLED technology, markerless tracking, augmented reality rendering, image calibration for large tiled displays, collaborative tablet-based and projection wall oriented interaction and stereoscopic video streaming for mobile users. The paper gives an overview of the hardware and software developments within IMPROVE and concludes with results from first user test.

Baltsavias, Emmanuel (Ed.) et al.: Recording, Modeling and Visualization of Cultural Heritage. Proceedings. London: Taylor & Francis, 2006, pp. 431-439

Traveling in time and space represents an old dream, which excited the imagination of numerous writers and artists. Virtual and augmented reality pushes this idea to a new level, and enable to achieve the first steps in this direction. In this paper we give an overview of several cultural heritage applications using virtual and augmented reality. We show the large diversity of applications, the new possibilities they offer, and finally, their potential in involving the user. Four exemplary applications "Virtual Stratigraphy", "the virtual Cathedral of Siena", "ArcheoGuide, an personalized AR-Guide" and the "AR-Telescope" are briefly presented. Then, the results, success factors as well as limitations are discussed. We conclude each statement by presenting new results of current research.

Für diese Diplomarbeit wurde eine teilweise Lösung des Initialisierungsproblems von Trackingverfahren basierend auf kürzlich vorgestellten Neuerungen im Bereich der Computer Vision entwickelt und analysiert. Derzeit muss in Augmented- oder Mixed-Reality-Systemen die Relation von verfolgtem Objekt und virtueller 3D-Geometrie oft manuell eingestellt werden. Um die dazu notwendige, ausgesprochen komplexe Analyse von 2-dimensionalen Bilddaten durchzuführen, wurden diverse Bildbeschreibungs-Verfahren, fortgeschrittene numerische Methoden wie Non-Negative Matrix Factorization implementiert und existierende Machine-Learning-Software als Methode zur Regression in einem Lernen-am-Beispiel-Framework eingesetzt.

Die vorliegende Arbeit beschreibt eine Softwareplattform für die Erstellung von Anwendungen im Umfeld mobiler Erweiterter Realitäten. Dabei wurde vor allem auf eine ganzheitliche Erfassung von Erweiterten Realitäten als Prozess, der neben der Laufzeitumgebung auch das Authoring umfasst. Neben der Softwarearchitektur liegt ein weiterer Schwerpunkt der Arbeit auf der Entwicklung speziell auf den Einsatz im mobilen Umfeld angepaßte Techniken der Präsentation und Interaktion.

Hochschule für Technik Stuttgart: 1. Internationales Symposium "Geometrisches Modellieren, Visualisieren und Bildverarbeitung". Proceedings. Stuttgart, 2006, pp. 105-112

Dieses Paper beschreibt mehrere bildbasierte Trackingmethoden, welche für industrielle Augmented Reality (AR) Anwendungen genutzt werden können. Jeder der vorgestellten Algorithmen hat Stärken und Schwächen und daher ist keines dieser Verfahren für alle möglichen Szenarien geeignet. Vielmehr ergänzen sich die verschiedenen Verfahren, so dass von jedem Algorithmus die Stärken genutzt werden können und damit ein robustes und echtzeitfähiges Tracking möglich ist. Es werden folgende verschiedenen Stadien des Trackings beschrieben: Die Initialisierung zur Bestimmung der ersten Kameraposition, das Tracken von Bild zu Bild, und die Reinitialisierung nach dem gescheiterten Tracking.

Müller, Stefan (Ed.) et al.: Virtuelle und Erweiterte Realität : 3. Workshop der GI-Fachgruppe VR/AR. Aachen: Shaker, 2006. (Berichte aus der Informatik), pp. 155-164

In this paper we present a model-based approach for real-time camera pose estimation in industrial scenarios. The line model which is used for tracking is generated by rendering a polygonal model and extracting contours out of the rendered scene. By un-projecting a point on the contour with the depth value stored in the z-buffer, the 3D coordinates of the contour can be calculated. For establishing 2D/3D correspondences the 3D control points on the contour are projected into the image and a perpendicular search for gradient maxima for every point on the contour is performed. Multiple hypotheses of 2D image points corresponding to a 3D control point make the pose estimation robust against ambiguous edges in the image.

Die Bewegung virtueller Charaktere ist von zentraler Bedeutung, wenn ein realistischer Eindruck des virtuellen Charakters gewährleistet werden soll. In dieser Arbeit steht die Fortbewegung im Vordergrund. Als Grundlage für das Motion-Blending dienen vorhandene Bewegungsdaten in Form von Motion-Capture- oder Modellierungs-Daten. Bestandteile der Umsetzung sind Gewichtsberechnung, Bewegungsdateninterpolation (Quaternionenblending), Timewarping, Bewegungspfadbehandlung und ein Parametrisierungsmodell für Fortbewegung. Durch Angabe eines Parametervektors zur Laufzeit wird die Zielfortbewegung eingestellt und anschließend ein neuer Fortbewegungszyklus generiert. Übergänge zwischen Fortbewegungszyklen mit verschiedenen Parameterwerten sind jederzeit und in allen Parameterdimensionen möglich. Für die Gewichtsberechnung werden Kardinalbasisfunktionen aufgestellt. Quaternionen werden auf die Oberfläche einer 4D-Einheitshalbkugel projiziert und das Quaternionenblending wird als gewichtete lineare Interpolation mit anschließender Normalisierung umgesetzt.

Kuhlen, Torsten (Ed.) et al.: Virtuelle und Erweiterte Realität : 2. Workshop der GI-Fachgruppe VR/AR. Aachen: Shaker, 2005. (Berichte aus der Informatik), pp. 107-118

In this paper, we present an overview of several visual tracking methods for industrial augmented reality applications. We show that no universal algorithm can deal with the large number of possible scenes, and that the different methods have to be seen as complementary approaches that all have their strengths and weaknesses. The main difficulty, then, consists in combining existing building blocks in the right manner so that the overall system enables stable tracking. This paper addresses each phase of the tracking, i.e. Initialization, Tracking, Re-Initialization, and proposes a first choice of appropriate algorithms. Finally, a global system is designed, tested and evaluated with help of video sequences of different real environments.

Virtual Reality Systeme haben in den letzten 20 Jahren eine enorme Entwicklung erfahren. Durch fehlende praxisrelevante Funktionalitäten und hohe Investitionskosten bleibt aber besonders mittelständischen Unternehmen der Zugang zu innovativen VR-Lösungen immer noch verwehrt. Im Rahmen des VRAX-Verbundprojektes der Fraunhofer Institute IGD, IWU, IAO und IPK sollen in Analogie zu bestehenden CAX-Infrastrukturen VR-Technologien zur durchgängig immersiven Produktentwicklung am Beispiel des Werkzeugmaschinenbaus eingesetzt werden. Dabei wird die VR-Technologie erstmals als aktives Entwicklungs- und Konstruktionsmedium zur Modellierung genutzt, d.h. in VR erzeugte Daten werden wieder in den Gesamtprozess der Entwicklung zurückgeführt. Basierend auf dem VR-System Avalon des Zentrums für Graphische Datenverarbeitung e.V. (ZGDV) und des Fraunhofer Instituts für Graphische Datenverarbeitung (IGD) wird eine VR-Benutzerschnittstelle zu diesem System entwickelt. Die völlig freie Interaktion, wie sie in CAD-Programmen verwendet wird, kann in VR nur bedingt eingesetzt werden. Das Hauptproblem ist dabei die fehlende physische Rückkopplung, wodurch dem Benutzer präzise Eingaben erschwert werden. Der Konstruktionsprozess ist daher stark zu vereinfachen. Maschinen werden meist aus standardisierten Bauteilen mit definierten Verbindungsstellen zusammengesetzt. Ziel dieser Arbeit ist die Entwicklung von Positionierungshilfen, die den Benutzer bei der Interaktion mit Bauteilen in der VR-Umgebung unterstützen. Bauteile können aus einem frei konfigurierbaren virtuellen Baukasten ausgewählt, in der virtuellen Szene platziert und an definierten Einraststellen miteinander verbunden werden. Dabei bleiben die Bauteile innerhalb definierter Freiheitsgrade (Gelenke) beweglich. Die entwickelte Lösung wurde am Beispiel der Konstruktion einer Werkzeugmaschine in einem Prototyp integriert. Zur Demonstration des modellierbaren Gelenkverhaltens wurde außerdem ein Skelett-Baukasten erstellt, mit dem sich ein menschliches Skelett zusammensetzen und entsprechend der definierten Gelenkverbindungen bewegen lässt.

Schenk, Michael (Ed.): 8. IFF-Wissenschaftstage 2005. Tagungsband : Virtual Reality and Augmented Reality zum Planen, Testen und Betreiben technischer Systeme. Magdeburg: Fraunhofer IFF, 2005, pp. 121-130

HCI International 2005. [Proceedings CD-ROM]. Mahwah, New Jersey: Lawrence Erlbaum Associates, Inc., 2005, 10 p.

All modern VR and AR toolkits provide some kind of sensor abstraction for different types of input and output devices and user interaction. Almost all systems today define a single layer of abstraction. Most toolkits usually support only low level data streams leaving most of the user interface implementation work to the IT professional. Some provide only high level interaction responder (e.g. X3D) without the possibility to access low level I/O information and streams. No toolkit supports adoption of UI elements to the environment the user is working in, e.g. immersive or desktop. In our approach we build three level of abstraction for user interaction which leads to a more flexible and scalable result. Application programmers are free to use low level streams (e.g. tracker data) directly, high level responder (e.g. the user `touched' something) and even application requests (e.g. the systems needs a float input or a list of selected objects) which are automatically mapped to 2D UI elements or immersive responder, depending on the environment and used devices. Two examples illustrate the flexibility and efficiency of our approach.

Auf der Grundlage der Szenengraphenstruktur wurde in dieser Arbeit ein einheitliches Modell von Graphen entwickelt, das es erlaubt, alle dynamischen Aspekte einer Mixed Reality (MR) Applikation mit Hilfe von Komponenten und typisierten Kanten zu modellieren. Das Konzept abstrahiert die klassischen topologischen Beziehungen sowie statische und dynamische Nachrichtenkanäle als Kanten innerhalb unterschiedlich gerichteter Graphen. Es wurden daraus abgeleitete Anforderungen diskutiert und entsprechende Lösungen entwickelt. Dabei wurden in dieser Arbeit insbesondere Problemstellungen wie Erweiterbarkeit, die Verwaltung und Bereitstellung von Metabeschreibungen und die korrekte Verarbeitung von Nachrichten untersucht und neuartige Ansätze entwickelt. Aufbauend auf dem einheitlichen Graphenmodell wurden neue Interaktionsmechanismen entwickelt. Dabei wurde gezeigt, dass bisherige MR-Systeme sich meist auf eine statische Abstraktion von virtuellen Gerätegruppen beschränken und kaum darauf aufbauende Interaktionsmodelle anbieten. Aus diesem Grund wurde in dieser Arbeit ein neuartiges, mehrstufiges Sensorkonzept entwickelt und vorgestellt, das unabhängig von Geräteklassifikationen Interaktionsverfahren beinhaltet, welche abhängig von der Ausprägung der Laufzeitumgebung interaktive Elemente bereitstellt. Es wurden drei aufeinander aufbauende Sensorgruppen entwickelt, die als Komponenten der dynamischen und hierarchischen Graphen zum Einsatz kommen. Ein weiterer Schwerpunkt dieser Arbeit ist die Entwicklung von Verfahren zur Abbildung der Parallelverarbeitung von Prozessen und deren Skalierbarkeit. Hierbei wurden die typischen Abläufe in einem VR-System untersucht und eine Lösung entwickelt, die zwei unterschiedliche Ansätze der Parallelisierung beinhaltet. Einerseits wurde die klassische Trennung der Applikation und Darstellung verallgemeinert, andererseits wurde zusätzlich ein neuartiges Verfahren entwickelt und vorgestellt, welches die automatische Parallelisierung auf den Ereigniskanten der Applikationsgraphen bereitstellt. Um globale Applikationsvorgaben erfüllen zu können, wie zum Beispiel das Darstellen mit einer fixen Bildwiederholrate, ist eine globale Skalierbarkeit der Kosten gefordert. Zur Lösung dieses Problems wurde ein globales Modell einwickelt und eingeführt, das automatisch lokale Kosten der Prozesse zur Darstellung und Veränderung skaliert. Das in dieser Arbeit entwickelte Modell zur Parallelisierung und Skalierung von MR-Systemen ist eine wesentliche Verbesserung gegenüber den bisherigen Verfahren, da es auf der Grundlage der globalen Zielvorgaben und der Applikationsgraphen selbständig und automatisch den Ressourcenverbrauch regelt und verteilt.

Arabnia, Hamid R. (Ed.) et al.: ICAI'05 Volume II : Proceedings of the 2005 International Conference on Artificial Intelligence. Las Vegas: CSREA Press, 2005, pp. 709-715

This paper presents an action selection mechanism which makes use of a memory, especially designed for autonomous agents, to choose actions while considering earlier experiences. A reinforcement mechanism separates the more successful choices from the others. But the selection mechanism is still kept open to new actions or older ones, which failed more often, to be adaptable to future changes in the animat's environment.

The Society for the Study of Artificial Intelligence and the Simulation of Behaviour (SSAISB): Proceedings of the Second International Symposium on the Emergence and Evolution of Linguistic Communication : EELC '05. Brighton: AISB, 2005, pp. 8-16

This paper reports results of a computer simulation which models the behavior of different species of communicative agents which share the same habitat. The agents use signals to communicate. This communication is in a male/female context: males use their signals to attract females. Since both share the same habitat, the signals of the species have to be distinguishable, allowing females to identify a male of her own species. But signals used by males of the same species should be similar. The simulation shows that these conventions can emerge using mechanisms of self-organization.

Capcarrere, Mathieu S. (Ed.) et al.: Advances in Artificial Life : Workshop Proceedings CD-ROM. Canterbury: University of Kent, 2005, 10 p.

Flowers need insects for their pollination and insects rely on the nectar and the pollen as a food resource. But instead of visiting all flowers, the insects limit their visits to a small number. This paper presents a simulation of the behavior of the insects which results in a specialized perception of blossom colors and fragrances by the insects. A coevolution can be observed only based on simple interactions modified over generations by a genetic algorithm. The results show a mutual benefit expressed in more rewards for the insects and more efficient pollination of the flowers.

Capcarrere, Mathieu S. (Ed.) et al.: Advances in Artificial Life : Workshop Proceedings CD-ROM. Canterbury: University of Kent, 2005, 10 p.

The architecture of a memory for autonomous agents is presented. It is based on an interconnected network of data containers. The memory design principles follow the requirements of supporting action selection mechanisms, planning, and learning capabilities. Different types of data are organized in four segments.

Ribeiro, Bernadete (Ed.) et al.: Adaptive and Natural Computing Algorithms. Proceedings : Proceedings of the International Conference in Coimbra, Portugal, 2005. Wien, New York: Springer Verlag, 2005, pp. 316-320

This paper presents a simulation of the behaviour of different species of birds, which share the same habitat, but manage to use different times of the day to sing their songs. Therefore, they avoid a vocal competition and improve the conditions to find a mate. Communicative agents are used to model the birds and their behavior. A simple set of rules is used to make the decisions when and how to change the time for the search for a mate. By incorporating damping and amplifying feedback loops the collective behavior of each species led the system to a solution which was favorable to all agents.

Skala, Vaclav (Ed.): WSCG 2005. Full Papers. Plzen: University of West Bohemia, 2005, pp. 47-54

In this paper we present a new solution for real-time 3D camera pose estimation for Augmented Reality (AR) applications. The tracking system does not require special engineering of the environment, such as placing markers or beacons. The required input data are a CAD model of the target object to be tracked, and a calibrated reference image of it. We consider the whole process of camera tracking, and developed both an autonomous initialization and a real-time tracking procedure. The system is robust to abrupt camera motions, strong changes of the lighting conditions and partial occlusions. To avoid typical jitter and drift problems the tracker performs feature matching not only in an iterative manner, but also against stable reference features, which are dynami-cally cached in case of high confidence. We present experimental results generated with help of synthetic ground truth, real off-line and on-line image sequences using different types of target objects.

Für eine glaubwürdige und realistisch wirkende Animation von virtuellen Charakteren ist die korrekte Simulation von Kleidung und Haaren von großer Bedeutung. Dabei stellt die Berechnung der Bewegungsabläufe in Echtzeit eine besondere Herausforderung dar. Eine Möglichkeit der Beschleunigung ist der Einsatz von adaptiven Strukturen. In dieser Diplomarbeit wurde deren Verwendung im Zusammenhang mit der Simulation von Kleidung und Haaren in Echtzeit untersucht. Dabei wurde ein Überblick über adaptive Strukturen gegeben und verschiedene Möglichkeiten des Level of Detail für Stoff und Haare vorgestellt. Am Beispiel von Haaren wurde gezeigt, wie eine adaptive Simulation in der Praxis aussehen kann und welche Vorteile sie bietet. Als Kontrollstruktur für die Dynamiksimulation wurde ein Masse-Feder-System gewählt. Die Adaption erfolgt zum einen über unterschiedlich aufgelöste Kontrollstrukturen und zum anderen über unterschiedlich feine Geometrien. Die unterschiedlichen Auflösungen werden vorberechnet und in einer hierarchischen Datenstruktur gespeichert. Für das Speichern der Hierarchie wurde eine Quadtree-Datenstruktur verwendet. Zur Laufzeit wird, abhängig von folgenden Kriterien, im Quadtree auf- und abgestiegen. Die Kriterien sind die einwirkende Kraft auf die Haare und der Abstand des Betrachters. Wird eine starke Kraft ausgeübt oder ist der Betrachter sehr nahe an den Haaren wird ein feineres Level of Detail verwendet, indem im Quadtree eine tiefere Ebene gewählt wird. Das Simulationssystem wurde in die VR-Umgebung Avalon integriert. Für das Rendering wurde die OpenGL-basierte API OpenSG verwendet. Die Modelle, die getestet wurden, wurden mit dem Cinema4D-PlugIn HairDepartment erzeugt.

Over the last fifteen years volume rendering have become an important part of examining, exploring and evaluating volume data. Huge medical datasets generated by Computed Tomography (CT) or Magnetic Resonance Imaging (MRI) have with volume rendering been made possible to explore in 3D. Even interaction with the data is today possible and it has been shown that this is of great value when diagnosing, practicing and/or learning. In order to make interactive volume rendering possible a range of sophisticated methods have been developed. Often high-end graphic hardware are applied when developing applications for 3D volume rendering. This is an obstacle when it comes to integrating the techniques into the normal hospital environment. It would be preferable if the applications are general enough to run on standard computers. In this thesis a volume renderer for standard computers with good visual result and a relatively high update rate, sufficient for interaction, is developed. The last years tremendous development of graphic hardware have made it possible to write programs, so called shaders, directly communicating with the graphic pipeline. The developed renderer employs the use of such shaders because of its superiority in speed to normal software rendering. One purpose for the renderer is that it will be used for exploring medical data as a part of a project between Fraunhofer Institut and the Hospital of Mainz.

Echtzeitgenerierte virtuelle Szenen, die nah an der Realität liegen sollen, sind ohne qualitativ hochwertige Schatten nicht vorstellbar. Schon seit längerem werden gerade für komplexe Szenen Shadow-Mapping-Verfahren eingesetzt, da diese weitgehend unabhängig von der Komplexität der Szene arbeiten. Dieses Verfahren hat jedoch einige Nachteile, wie die relativ schlechte Schattenqualität, auf die in dieser Arbeit eingegangen, und entsprechende Lösungen vorgestellt werden. Der Schwerpunkt lag dabei in der Implementation eines Shadow-Viewports in das Open Source Szenengraphensystem "OpenSG". Dabei ist der Shadow Viewport Modular aufgebaut und erweiterbar. Er bietet die Möglichkeit, aus verschiedenen Schattenverfahren zu wählen und diese auf eine gegebene Szene anzuwenden. Darunter befinden sich Verfahren zur Erzeugung von harten als auch weichen Schatten. Für harte Schatten wurden, neben dem Standard Shadow Mapping, verschiedene perspektivische Shadow-Mapping-Verfahren betrachtet. Für die Erzeugung weicher Schatten wird auf Verfahren auf Basis eines PCF-Filters eingegangen und eine Modifikation vorgestellt, mit der auch perspektivisch korrekte Soft-Shadows in Echtzeit berechnet werden können. Am Ende werden die gewonnenen Ergebnisse aufgezeigt und anhand von Screenshots in verschiedenen Situationen hinsichtlich der erreichten Schattenqualität miteinander verglichen, um die Stärken und Schwächen der gezeigten Verfahren aufzuzeigen.

Maybury, Mark (Ed.) et al.: Intelligent Technologies for Interactive Entertainment. Proceedings : First International Conference, INTETAIN 2005. Berlin; Heidelberg; New York: Springer, 2005. (Lecture Notes in Artificial Intelligence (LNAI) 3814), pp. 240-245

We present a method for realistic, real-time simulation of human hair, which is suitable for the use in complex virtual reality applications. The core idea is to reduce the enormous amount of hair on a human head by combining neighbored hair into wisps and use our cantilever beam algorithm to simulate them. The final rendering of these wisps is done using special hard-ware accelerated shaders, which deliver high visual accuracy. Furthermore we present our first attempt for interactive hair styling.

Trucco, Emanuele (Ed.) et al.: Vision, Video, and Graphics. Proceedings 2005. Aire-la-Ville: Eurographics Association, 2005, pp. 229-236

We present a method for realistic rendering and simulation of human hair in real-time, which is suitable for the use in complex virtual reality applications. Neighbouring hairs are combined into wisps and animated with our cantilever beam based simulation system, which runs numerically stable and with interactive update rates. The rendering algorithm utilizes latest graphics hardware features and can even handle light coloured hair by including anisotropic reflection and internal transmission.

Fröhlich, Bernd (Ed.) et al.: IEEE Virtual Reality 2005. Proceedings. Los Alamitos, Calif.: IEEE Computer Society, 2005, pp. 237-240

As of today one of the major application domains for Augmented Reality is the service and maintenance of manufactured products, e.g. cars, planes, large machinery. In this area, Augmented Reality is used to support service personnel in carrying out their repair tasks by displaying context-sensitive, additional, virtual information in their field of view. One major problem is the creation of such information. In this paper the authors describe a concept, which heavily simplifies the creation of AR based manuals and even allows people without special AR and IT skills to carry out this task.

In den letzten Jahrzehnten hat es große Fortschritte im Bereich der Computergrafik gegeben. Insbesondere durch die Hardware beschleunigte Rasteriesierungsverfahren - und hier vor allem OpenGL - ist es möglich auch sehr komplexe Objekte und Szenen interaktiv darzustellen. Neben dem Rasterisierungsverfahren, welches vor allem für eine schnelle - und somit interaktive - Darstellung geeignet ist, wurden auch globale Beleuchtungsmodelle wie Radiosity und Raytracing, welche photorealistische Darstellung zu erreichen suchen, immer weiter verbessert. Heute ist vor allem Echtzeit-Raytracing ein schnell wachsendes Forschungsgebiet, welches zwar noch nicht mit hardware beschleunigten Rasterisierungsverfahren konkurieren kann, jedoch grade in Clustern ein interaktives Arbeiten möglich macht. Das Hauptproblem ist, dass diese Echtzeit Raytracer nicht mit Displays mit sehr hoher Auflösung zu gebrauchen sind, wegen dem zu hohen Hardwareaufwand. Das Ziel dieser wissenschaftlichen Arbeit ist die Entwicklung eines hybriden Renderingverfahren, welches die Vorteile der Rasterisierungsverfahren und des Raytracings verbindet. Diese Arbeit schließt die Implementierung und Anpassung eines eigenen echtzeit Raytracingverfahren ein, da eine enge Anbindung an das OpenGL basierte Szenengraphsystem OpenSG geplant ist.

Anwendungen in der 3D-Computergrafik werden immer anspruchsvoller, da Modelle durch die Anzahl der Polygone und die Verwendung von Shadern immer realistischer werden. Dazu kommt der Wunsch, realistische Szenen in Echtzeit darstellen zu können. Für diese Aufgabe werden schnellere Hardware-Systeme, wie Supercomputer benötigt. Allerdings werden aus Kostengründen immer öfter auch Cluster eingesetzt. In dieser Arbeit werden bereits bestehende Verfahren zur Aufteilung einer Szene im Cluster, wie Sort-First, Sort-Middle und Sort-Last, diskutiert. Außerdem wird ein kurzer Einblick in die Arbeitsweise von Szenengraphen gegeben. Im Hauptteil wird ein neues Verfahren zur Szenenaufteilung für zusammengesetzte Projektionssysteme entwickelt. Dazu wird eine Gruppierung von Geometrien verwendet, bei der jede Gruppe verschiedene Arten von Kosten aufweist. Auf dieser Grundlage wird eine Lastverteilung durchgeführt. Zum Abschluß werden die Ergebnisse des entwickelten Algorithmus diskutiert. Dies geschieht einerseits anhand von Performancetests und andererseits durch Beispielaufteilungen von Szenen mit Hilfe der "HEyeWall" und der "CAVE" des Instituts.

Die vorliegende Arbeit beschreibt den Einsatz von PC Clustern für die interaktive Visualisierung dreidimensionaler polygonaler Modelle. Ziel der Arbeit war es, durch Bündelung der Leistung vieler Rechner die Qualität der Darstellung zu verbessern. Darüber hinaus sollte die Entwicklung neuer Cluster basierter graphischer Anwendungen vereinfacht werden. Es wird gezeigt, wie ein Szenengraphsystem erweitert werden muss, um eine verteilte Bildberechnung in einem Cluster zu ermöglichen. Hierfür wurden verschiedene Synchronisationsmechanismen untersucht und neue Netzwerkprotokolle entwickelt. Auf der Basis des verteilten Szenengraphen wurden verschiedene Parallelisierungsstrategien erforscht und optimierte Verfahren für die parallele Berechnung des Bildraums und die parallele Berechnung der Szene vorgestellt. Mit Hilfe der entwickelten Verfahren lassen sich beliebige zusammengesetzte Projektionssysteme wie z.B Tiled Display, Workbench oder Cave sehr effizient mit Hilfe eines PC-Clusters betreiben. Weiterhin ist es möglich, auch sehr große Szenen mit hohen Bildwiederholraten anzuzeigen.

Bei Blüten sind verschiedene Bestäubungsarten vertreten. Neben Selbst- und Windbestäubung gibt es vor allem die Tierbestäubung, die durch Insekten, Vögel oder Fledermäuse ausgeführt wird. Einige Blütenarten spezialisierten sich dabei auf bestimmte Tierarten und passten ihre Form, Lock- und Reizmittel den Eigenarten dieser Tiere an. Im Gegenzug haben sich auch bestimmte Tierarten, z.B. Bienen, an die Gegebenheiten der Blüten angepasst. In dieser Arbeit liegt das Hauptaugenmerk jedoch auf den Insekten. Es wurde eine Simulation der Co-Evolution von Blüten und Insekten erarbeitet, um die Spezialisierung bestimmter Blütenarten auf bestimmte Insektenarten nachvollziehen zu können. Hierzu wurden die Insekten als autonome Agenten programmiert, die über eine Wiese voller Blumen flogen. Der Aufbau der Insekten und der Blüten wurde in Genomen kodiert. Mittels eines genetischen Algorithmus wurden diese dann verändert. Als Fitnesskriterien diente die Anzahl erfolgreicher Bestäubungen. Die Simulationsergebnisse zeigen, dass es durch einfache Feedback-Schleifen zu einer Co-Evolution kommen kann, die sowohl für Insekten und als auch für Blüten Vorteile hat.

In the available Master Thesis a system was developed with that a graphic user interface can be inserted in a scenegraphbased Virtual Reality. The advantage of a graphic user interface is to be able to insert exact values. The user knows the user interface from the WIMP (Window, Icon menu, Pointing Device) environment. The graphic user interface is stored in an abstract format, in the description file. Storage takes place in a XML syntax. The structure of the graphic user interface is realized over a new produced knot in Avalon. Avalon is a run time environment that can display VRML and X3D files. The graphic user interface will be build up at run-time. It can be adapted to different user and hardware profiles. The individual control elements of the graphic user interface were realized as prototype under vrml. A prototype is uniquely in the scene graph . Different instances of a prototype can be produced. The administration of the control elements at run-time is taken over by the GUIManager, a produced knot. If a change at the control element takes place, this change is communicated to the GUIManager. This takes place over a status package with a fixed syntax. Each control element has a fixed number of conditions. Each condition is stored in the description file. Further the field and the knot are stored, which can be changed by the GUIManager. If a change in status at the control element takes place, the GUIManager is informed. This adapts the value of the target field. If a change at the target field takes place, this is transferred to the GUIManager. The GUIManager adapts the control element to the new value. The representation between the connected control element and the virtual object is synchronous. The user can make with the graphic user interface simply changes of values. He is informed about the status of individual control elements. The developed system was developed under Avalon. The individual control elements were developed under VRML. The description file was made with QT (from Trolltech) and an defined XML syntax.

Heutige Konstruktions- und Visualisierungsprogramme machen zunehmend Gebrauch von Virtueller Realität. Um alle eingesetzten Materialien und Bauteile sowie die einzelnen Produktionsschritte in Virtueller Realität simulieren zu können, sind Verfahren nötig, welche sich sowohl in vorhandene interaktive Simulationsumgebungen integrieren lassen, als auch die physikalischen Eigenschaften der Originalbauteile in Kollision und Bewegung korrekt nachbilden. Das in dieser Arbeit vorgestellte Verfahren ermöglicht die dynamische Simulation des Verhaltens von Kabeln in Virtueller Realität. Mit Hilfe der Impulstechnik zur Simulation von Starrkörpern wird ein Verfahren entwickelt, welches die speziellen Anforderungen einer interaktiv nutzbaren Kabelsimulation erfüllt. Die Kabelsimulation integriert neben der eigentlichen Kabeldynamik die Eigenkollision und die Kollision des Kabelmodells mit einem gegebenen Volumen, sowie die Gleit- und Haftreibung. Weiterhin sind Manipulatoren und Klipse integriert, welche dem Anwender die Interaktion mit dem Kabelmodell ermöglichen. Abgesehen von dem Verfahren zur Erkennung der Eigenkollision, besitzt das Simulationsverfahren bezogen auf die Anzahl der modellierten Segmente einer Kabeldiskretisierung ein lineares Laufzeitverhalten. Auf einem Rechner mit einem Athlon 64 3200+ Prozessor lässt sich ein Kabelmodell bei einer Zeitschrittweite von 0.01 s mit bis zu 150 Segmenten in Echtzeit berechnen. In der interaktiven Simulation zeigt das Kabelmodell im Eigenverhalten sowie bei Kollision eine gute Annäherung an das physikalisch korrekte Verhalten. Das Simulationsverfahren bietet sich neben der Möglichkeit einer Kabelsimulation auch als Verfahren zur Simulation anderer längenkonstanter Körper an, wie zum Beispiel flexible Schläuche und Rohre in technischen oder Arterien in medizinischen Anwendungen. Dabei ist das Verfahren nicht auf eine einheitliche Form der Segmente beschränkt, sondern kann bei entsprechender Implementierung unterschiedliche Körper in das Simulationsmodell eingebunden bzw. als Verfahren in andere Simulationen integriert werden.

Diese Diplomarbeit wurde im Fraunhofer Institut für Graphische Datenverarbeitung in Darmstadt von Dezember 2004 bis Mai 2005 durchgeführt. Sie untersucht die Möglichkeit des Einsatzes des aus der 3-Bilder-Geometrie bekannten Trifocal Tensors für die Zwecke markerloser Positions- und Orientierungsbestimmung einer Kamera unter Echtzeitbedingungen. In diesem Zusammenhang wurde die vorhandene Softwarebibliothek VisionLib um Module zur Tensorberechnung und -auswertung erweitert und eine Referenzimplementierung zur Verwendung des Trifocal Tensors für das tracking von Livebildern erstellt.

In der vorliegenden Arbeit werden neue Methoden vorgestellt und etablierte Algorithmen geprüft, die das Erscheinungsbild menschlicher Haut qualitativ hochwertig und auf physikalischer Basis umsetzen. Dabei werden Streuungseffekte in der Haut, Oberflächenreflexionen, Alterung und durch Emotionen hervorgerufene Hautreaktionen betrachtet. Ausserdem wird ein Ansatz für dynamische, weiche Schatten vorgestellt, um die Darstellungsqualität weiter zu erhöhen. Als Resultat wurden die dargelegten Algorithmen für den Einsatz auf Mainstream-Hardware implementiert und anhand ihrer Performanz bewertet. Die vorgelegten Methoden sind im Rahmen der Abteilung "Virtuelle und Erweiterte Realität" des Fraunhofer Instituts für graphische Datenverarbeitung entstanden, die Projektpartner des BMBF - Verbundprojekts Virtual Human und für die graphischen Output-Komponenten zuständig ist.

The presented project intends to imitate the locomotion of animals by constructing physically based animats (artificial animals). The main objective is to study man-made systems that exhibit characteristic behaviors of natural living systems. The program autonomously creates animats and optimizes them by using genetic algorithms. In order to model the animat, it is constructed by means of the physics engine ODE (Open Dynamics Engine). The body is made up of solid elements which are connected by joints. Locomotion is achieved by applying forces to the joints. Instead of manually constructing and optimizing such an animat, a genetic algorithm is used. The information needed to construct an animat are encoded in a genome. Starting with a generation of randomly constructed animats, the algorithm evaluates the fitness of each animat. Therefore, the phenotype (the fully functional animat) is constructed using the information from its genome. During a simulation run the performance - how fast the animat can move - is measured. The better an animat performs, the higher its chance to pass its genome to the next generation. To achieve variations the copied genomes are mutated. The project can be divided into three main areas: designing the structure of information that defines the animat both physically and with regards to movement, the immersion of the animat in a 3-dimensional environment, where it can move and interact, and the graphical representation of the simulation results. The results were visualized using OpenSG. For the genetic algorithm the GAlib and for the physics engine the ODE library had been used.

Die Arbeit beschäftigt sich mit der Konzeption eines Systems zur Erstellung von Annotationen in immersiven Umgebungen unter der Verwendung VR spezifischer Interaktionsmetaphern. In diesem Zusammenhang wurde ein Annotationssystem entwickelt, das unter Verwendung VR spezifischer Interaktionsmetaphern die Dokumentation von Ergebnisprotokollen innerhalb der VR Umgebung unterstützt. Das System beinhaltet das Erstellen von Annotationen unterschiedlicher Art (Text, Skizze, Symbol, Audio, etc.), verschiedene Formen zur Darstellung der Anmerkungen, sowie das Erzeugen und Einlesen eines Protokolls über alle vorhandenen Annotationen. Das Konzept wurde innerhalb des VR-Systems AVALON implementiert und getestet.

Institute of Electrical and Electronics Engineers (IEEE): ISMAR 2005 : Proceedings of the Fourth IEEE and ACM International Symposium on Mixed and Augmented Reality. Los Alamitos, Calif.: IEEE Computer Society, 2005, pp. 62-69

We present a real-time model-based line tracking approach with adaptive learning of image edge features that can handle partial occlusion and illumination changes. A CAD (VRML) model of the object to track is needed. First, the visible edges of the model with respect to the camera pose estimate are sorted out by a visibility test performed on standard graphics hardware. For every sample point of every projected visible 3D model line, a search for gradient maxima in the image is then carried out in a direction perpendicular to that line. Multiple hypotheses of these maxima are considered as putative matches. The camera pose is updated by minimizing the distances between the projection of all sample points of the visible 3D model lines and the most likely matches found in the image. The state of every edge's visual properties is updated after each successful camera pose estimation.We evaluated the algorithm and showed the improvements compared to other tracking approaches

Spencer, Stephen N. (Ed.): Web3D 2004. Proceedings : Ninth International Conference on 3D Web Technology. New York: ACM, 2004, pp. 71-78, 182

Conceptually, the semantics of X3D describe an abstract functional behaviour of time-based, interactive 3D, multimedia information and do not all specify a specific software or hardware setup. However X3D clients and applications today are mainly built for desktop systems running a web browser. In this papr we explore how suitable X3D and W3C technologies can be utilized as an application and programming model for immersive virtual environments. We present a system implementation, necessary extensions to the X3D specification and discuss how standard nodes can be interpreted differently in an immersive setting.

Institute of Electrical and Electronics Engineers (IEEE): IEEE 4th International Conference on Intelligent Systems Design and Application : ISDA 2004 [CD-ROM]. Budapest, 2004, pp. 765-770

To improve the abilities of a behavior based autonomous agent a biologically inspired memory is introduced. The memory content is built up from scratch. The data containers, called mnemograms, are general and flexible enough to handle different kinds of data. Using a reinforcement mechanism valuable mnemograms are separated from those of lesser value. Mnemograms are stored in three hierarchically ordered layers to separate new from older ones. This is important for organizing search runs. The data containers are linked together, thus, a first level of semantical information is created. A first simple behavior takes advantage of these structures. It enables the agent learn to distinguish between food particles and other particles.

Die 3D-Erfassung der Kameraposition und -orientierung stellt die Hauptaufgabe der Integration eines virtuellen Objekts in ein Bild der realen Welt dar. Dabei ist eine exakte Datenermittlung erforderlich, um das virtuelle Objekt in 3D lagerichtig zu positionieren und mit der richtigen Perspektive im Bild einzublenden. Das Ziel dieser Diplomarbeit besteht in der Entwicklung eines optischen Kamera-Trackingverfahrens, das einerseits echtzeitfähig ist und andererseits nur mit Hilfe der natürlichen Merkmale der Szene arbeitet. Innerhalb dieser Diplomarbeit soll davon ausgegangen werden, dass 3D-Kenntnisse der Szene vorhanden sind. Zur Lösung dieser Problemstellung wird ein 3D-Modell- und Feature-basierter Ansatz gewählt. Die Initialisierung, das heißt die Errechnung der initialen Kamerapose in einem globalen Referenz-Koordinatensystem, erfolgt vollautomatisch mit einem kalibrierten Referenzbild des Zielobjekts. Dabei wird der Startpose der Kamera ein vergleichsweise großer Spielraum gewährleistet. Zur Erhöhung der Stabilität und des Arbeitsvolumens dient weiterhin ein CAD-Modell als Offline-Referenzdatum. Das Konzept basiert auf der Verfolgung interessanter Punkte unter ständiger Rückprojektion derselben auf das bekannte 3D-Modell. Die dynamische Gewinnung der 3D-Koordinaten fördert die Robustheit des Verfahrens gegenüber Veränderungen der Szene durch Verdeckungen oder unterschiedliche Beleuchtungssituationen. Die Poseberechnung erfolgt auf Basis der ermittelten 2D/3D-Korrespondenzen. Das Trackingmodul wird in unterschiedlichen Varianten bezüglich der Feature-Extraktion und der Poseberechnung implementiert und auf realen sowie auf synthetischen Bildsequenzen getestet. Das entwickelte System stellt eine vollständige Lösung für 3D-markerloses Kamera-Tracking mit einem statischen Zielobjekt dar. Es kann zum Tracking sowohl mit einfachen als auch komplexen planaren und nicht planaren Objekten verwendet werden, sofern ein CAD-Modell zur Verfügung steht.

Göbel, Stefan (Ed.) et al.: Technologies for Interactive Digital Storytelling and Entertainment : TIDSE 2004. Berlin, Heidelberg, New York: Springer, 2004. (Lecture Notes in Computer Science (LNCS) 3105), pp. 79-88

This paper describes the usage of Computer Graphics and Interactive, Digital Storytelling Concepts within the Virtual Human project and its technical platform. Based on a brief overview of the Virtual Human approach, global aims and first R&D results, the Virtual Human platform is introduced. Hereby, methods and concepts for the authoring environment, the narration engine and the avalon player as rendering platform are provided as well as an overview of the Direction and Player Markup Language used for interfaces purposes between these components. Finally, our current Virtual Human demonstrator recently presented at CeBIT 2004 in Hannover using these methods and concepts is described and further R&D activities are pointed out within a brief summary and outlook.

In der vorliegenden Diplomarbeit wurde am Fraunhofer IGD in Darmstadt ein Konzept zur Gruppeninteraktion für das VR Exponat "Der Virtuelle Weltraum" entwickelt und als Prototyp umgesetzt. Die Arbeit baut auf der Diplomarbeit "Gruppeninteraktion in Virtuellen Umgebungen" auf, die sich mit den theoretischen Aspekten der Gruppeninteraktion befasst. Das entwickelte Konzept ist auf drei Benutzer ausgelegt, die gleichzeitig mit dem Virtuellen Weltraum interagieren können. Dazu wurden die vorhandenen Interaktionsmöglichkeiten auf die Benutzer verteilt und um zusätzliche Interaktionen erweitert. Die Steuerung des VR Systems erfolgt über drei Touchpanels, für welche dementsprechend drei verschiedene Userinterfaces erstellt wurden. Die Userinterfaces wurden mit Macromedia Director umgesetzt. Die Kommunikation zwischen den Benutzeroberflächen erfolgt über den MultiUser Server von Macromedia. Der Gruppeninteraktion liegt eine Aufgabenstellung zugrunde, die von den drei Benutzern nur durch gemeinsame Interaktion und Kommunikation gelöst werden kann. Das Ziel der Gruppe ist es, in der Simulation des Sonnensystems die Monde der Planeten zu finden und dadurch Punkte zu erhalten. Durch die gemeinsame Interaktion soll das Benutzen der Anwendung zu einer positiven Gruppenerfahrung beitragen und durch das Einbeziehen mehrerer Personen soll der Personendurchsatz des Exponats erhöht werden.

Bisherige Forschungsprojekte zum Thema AR-Technologie in Montage und Wartung konzentrierten sich auf die Evaluation von Basistechnologien wie z.B. Trackingsystemen und mobilen Computern. Die intuitive Erstellung von AR-Szenen, als Mittel zur Akzeptanzsteigerung und Voraussetzung für den flächendeckenden Einsatz der Technologie, wurde dabei vernachlässigt. In der vorliegenden Arbeit wird ein Konzept für eine AR-Autorenumgebung entworfen und implementiert. Der entwickelte Prototyp dient der Sammlung erster Erfahrungen auf diesem Gebiet und stellt die Grundlage für weitere Entwicklungen dar.

Encarnação, José L. (Honorary Chair) et al.: ACM SIGGRAPH International Conference on Virtual Reality Continuum and its Applications in Industry. Proceedings : ACM SIGGRAPH International Conference on Virtual Reality Continuum and its Applications in Industry. New York: ACM, 2004, pp. 352-354

In this paper we present the Augmented Reality Ocular, an extension of the traditional coin-operated binocular with augmented reality capabilities. The Augmented Reality Ocular enables a real implementation of the augmented reality paradigm and makes the technology available to a large public. After a review of the state of the art and a presentation of current related projects, we describe our approach of implementation. Finally different concept and purpose of applications are described in order to demonstrate the wide field of application of this new augmented reality device.

In der heutigen Informationsgesellschaft wird es immer notwendiger sich Wissen anzueignen und komplexe Informationen zu veranschaulichen. Schon in der Schule müssen immer mehr und kompliziertere Sachverhalte vermittelt werden. Dieser Vorgang setzt sich in den Universitäten, aber auch im Berufsleben fort. Moderne didaktische Prinzipien versuchen verstärkt dem Lerner Wissen durch selbsttätiges Handeln und eigene Erfahrungen vermitteln. Solche Prinzipien lassen sich gut durch die Technologie der Virtuellen und Erweiterten Realität abbilden. Das Ziel dieser Dissertation ist es, Konzepte zum Einsatz von Virtueller und Erweiterter Realität zur interaktiven Wissensvermittlung zu entwickeln. Dazu werden zu Anfang die Anforderungen, die an eine Virtuelle Lernwelt gestellt werden, analysiert. Betrachtet werden hierbei sowohl technologische, als auch didaktische Anforderungen. Aufbauen auf diese Anforderungen wird ein Rahmensystem für Virtuelle Lernwelten entworfen. Dieses Rahmensystem beinhaltet sowohl den Erstellungsprozess Virtueller Lernwelten, als auch die benötigten Präsentationskomponenten. Der Erstellungsprozess gliedert sich in die Teile Modellierung, Authoring und Adaption, wobei der Schritt der Adaption auch von Personen ohne Fachkenntnisse über Virtuelle Welten durchführbar sein müssen. Die für die Präsentation entwickelten Komponenten sind Lerner- und Lernobjektdaten, ein Lernweltverwalter und die Interaktion. Eine wichtige Möglichkeit um Wissen in Virtuellen Welten zu vermitteln ist die Interaktion mit dieser Welt. Im Rahmen dieser Dissertation werden die möglichen Interaktionsszenarien, von Einzelbenutzer- bis zu Gruppenszenarien, untersucht und auf die vier Sozialformen des Unterrichts abgebildet. Da Lernen immer auch eine soziale Komponente hat, sind Szenarien zur Gruppeninteraktion für Virtuelle Lernwelten von grosser Bedeutung. Daher wird diese Interaktionsform besonders betrachtet. Für die Interaktion in Virtuellen Lernwelten ist eine geeignete Auswahl an Interaktionsgeräten wichtig. Spezielle VR Geräte sind oft zu kompliziert, zu fehleranfällig und zu teuer, um sie zur Wissensvermittlung zu nutzen. Um diese Probleme zu lösen wird in dieser Arbeit ein universelles Interaktionsgerät für Virtuelle Lernwelten entwickelt. Dieses Interaktionsgerät nutzt virtuelle Geräte zur Interaktion mit der Virtuellen Welt. Durch den Einsatz virtueller Geräte zur Interaktion mit der Lernwelt wird die Anzahl der benötigten Geräte auf ein Gerät reduziert und gleichzeitig ein sehr flexibel einsetzbares Interaktionsgerät geschaffen. Das Ausgabegerät, welches zur Anzeige der virtuellen Geräte genutzt wird kann auch für die Darstellung weiterer Lerninhalte genutzt werden. Die in dieser Dissertation beschriebenen Konzepte wurden genutzt um mehrere Virtuelle Lernwelten zu erschaffen. Diese Lernwelten wurden u.a. auf der EXPO 2000 in Hannover und den cybernarium days in Darmstadt und München der Öffentlichkeit vorgestellt.

Ein wichtiger Schritt im Radiosity-Verfahren ist die Beseitigung von visuellen Artefakten. Dabei können so genannte T-Vertices Artefakte innerhalb eines unterteilten Polygons effizient beseitigt werden, aber an den Polygonrändern ist das Problem noch nicht effizient gelöst worden. Das Radiosity-Verfahren ist als globales Beleuchtungsmodell nicht nur von theoretischem Interesse in Lehre und Forschung, sondern findet seine Anwendung auch in der Industrie. Dort werden in den meisten Fällen viel detailliertere und komplexere Szenen berechnet als im akademischen Bereich, wo die Verfahren entwickelt werden, was zu schlechter Laufzeit der Radiositysimulation führt. Darum muß beim Entwurf von Radiosity-Komponenten auf diesen Aspekt Rücksicht genommen werden. Diese Studienarbeit beschäftigt sich mit der effizienten Beseitigung der T-Vertices Artefakte durch die Verwendung des Patchpunkte Pools. Dadurch werden keine neuen Datenstrukturen angelegt, sondern die schon bestehenden werden auf eine neue Art verwendet.

Computers & Graphics, Vol.28 (2004), 1, pp. 63-66

The support for multi-threaded applications in current scene graphs is very limited, if it is supported at all. This work presents an approach for a very general multi-threading framework that allows total separation of threads without total replication of data. It also supports extensions to clusters, both for sort-first and sort-last rendering configurations. The described concepts have been implemented in the OpenSG scene graph and are widely and successfully used.

In the context of this diploma a concept for a VR exhibit was created, which is particularly suitable for the employment in museums. The tasks of a museum and the requirements to an exhibit, as well as the different techniques and use of Virtual Reality were analysed, in order to be able to describe the interfaces between both complexes. The feature of the developed concept is the own created partitioning of navigation in the information and space level. Thereby it is possible for two visitors to explore the exhibit together in a playfully and informative form. Of course, the exhibit can also be served by only one visitor. The moreover several passive visitors are able to see the application. This is possible by using the Stereo-Largescreen-Projection. The created VR exhibit offers an intuitive operability and a robust user interface. The easy operability is possible by a clearly partitioned menu square, which contains exclusively symbols. The demanded robustness is realized by employing videobased tracking, which can perceive and analyse the body movements of a visitor. Fundamental parts of the total concept were realized in form of a prototype, which presents the "Fasanenschlösschen Moritzburg".

Diese Arbeit beschreibt eine Anwendung, die auf Basis der Augmented Reality (AR) erlaubt, Informationen - insbesondere naturhistorischer oder kultureller Ausrichtung - eingebettet in ihren örtlichen Kontext interaktiv zu vermitteln. Es kommt dabei das Augmented-Reality-Fernglas zum Einsatz, eine Art weiterentwickeltes stationäres Münzfernrohr mit Augmented-Reality-Funktionen. Nach einem einführenden allgemeinen Überblick über Technologie und Anwendungen der Augmented Reality wird das AR-Fernglas als Interface vorgestellt und grundsätzliche Voraussetzungen und Berechnungen zur technischen Konzeption des Geräts diskutiert. Hiervon ausgehend wird ein Konzept für die Präsentation von Inhalten entwickelt, wobei insbesondere auf Interaktion eingegangen wird. Das Konzept wurde prototypisch in Form einer Simulation implementiert; diese Umsetzung wird in einem eigenen Kapitel ausführlich dokumentiert.

International Journal of Computerized Dentistry, Vol.7 (2004), 4, pp. 371-377

The use of existing devices for object orientation in 3D CAD applications requires some practice and familiarization. In this article, the development of Cercon® move, a navigation aid for intuitive control of object movements in dental 3D CAD, is presented. Its navigation concept and ergonomics are tailored for the requirements of dental technicians in computer-aided manufacturing of dental restorations.

Wolfgang, Friedrich (Ed.): ARVIKA - Augemented Reality für Entwicklung, Produktion und Service. Erlangen, München: Publicis Verlag, 2004. (ARVIKA : Augmented Reality für Entwicklung, Produktion und Service), pp. 52-93

Die AR-Basistechnologien bilden die Systembasis für die applikationsspezifischen Entwicklungen in ARVIKA und sind somit substanzieller Bestandteil der AR-Anwendungsszenarien. Alle Dienste, die nicht applikationsspezifischer Natur sind, sind Teil des Basissysterns, dessen Architektur und Bestandteile im Folgenden beschrieben werden. In der Architekturstudie "Study on Software Architectures for Augmented Reality Systems" [101 wurde die ARVIKA-Architektur mit zur Zeit in der Forschungslandschaft befindlichen Architekturen verglichen und bewertet (s. Kap. 4.15). Abschließend wird noch auf den Vergleich der ARVlKA-Konzepte und Entwicklungen mit internationalen AR-Aktivitäten eingegangen (Kap. 4.16).

Two images of a single scene are related by the epipolar geometry, which can be described by a fundamental matrix if images' internal parameters are unknown. It captures all geometric information contained in two images, and its determination is very important in many applications such as scene modelling, vehicle navigation and object reconstruction, which are widely used in Augmented Reality (AR) to enhance and augment the user's view with additional information generated from a computer model. In this work an introduction to the epipolar geometry is given, and a review of the current techniques for estimating the fundamental matrix and its optimization are provided. This report also discusses the implementation particularities and presents the results obtained by comparative tests with the application that I developed.

EURESCOM: Evolution of Broadband Services. Proceedings : Satisfying User and Market Needs. Berlin u.a.: VDE-Verl., 2003, pp. 19-24

This paper presents the development of a new e-(motion)-commerce system. The term "e-(motion)-commerce" is introduced to suggest a new system for product presentation, which offers a new experience to common e-commerce applications. The user of the e-(motion)-commerce system has the possibility to virtually visualize the product in his/her favoured real environment and get the feeling that the product already exists in the scene. This paper covers the technical aspects of the realization of augmented reality applications on a handheld device. It focuses on the development of solutions, which take into account the hardware limitations, namely the low performance CPU, the low display resolution and the restricted interaction form with the stylus. The implementation and evaluation of the system is achieved on a Compaq Ipaq handheld PC with an additional image capturing extension. The complete augmented reality application, i.e. the image capture, the image calibration, the 3D-reconstruction, and the 3D-graphics visualization takes place on the handheld device.

Verteilte virtuelle Welten erlauben ihren Benutzern Echtzeit-Interaktion, auch wenn Sie sich physisch an verschiedenen Orten befinden. Moderne Computerspiele vermitteln einen Eindruck von realistischer Visualisierung virtueller Umgebungen. Unter dem Aspekt der Verteilung hat der virtuelle Raum eine interessante Eigenschaft: Da dieser an sich nicht physisch existiert, ist auch seine Darstellung in Form von Computergraphik nicht an feste Orte gebunden. Durch Computernetze wird es möglich, ein und die selbe virtuelle Welt an verschiedenen physischen Orten darzustellen und zu betreten. So kann der Spezialist aus Tokyo mit dem Chef-Designer aus München kooperativ die Integration seiner Arbeit in ein gemeinsames Modell vornehmen. Derzeitig vorhandene VR-Systeme sind für ihre jeweilige Anwendung spezialisiert. Die seit Jahren vom WEB3D-Konsortium angestrebte Standardisierung hat bis heute nur unzureichend stattgefunden. Letzter Stand sind das 3D-Dateiformat VRML sowie entsprechende VRML-Browser zum Anzeigen statischer und dynamischer 3D-Szenen (aus dem Jahr 1997). Diese Browser lassen nur unzureichende Interaktion innerhalb und zwischen den dargestellten Szenen zu. Mit dem Avalon-Projekt des ZGDV (Zentrum für graphische Datenverarbeitung) in Zusammenarbeit mit dem Fraunhofer IGD (Institut für graphische Datenverarbeitung) entsteht ein leistungsfähiges komponentenbasiertes System, mit dem man Anwendungen zur virtuellen Realität einfach modellieren und an übrige Umgebungen anpassen kann. Das Ziel dieser Arbeit ist die Konzeption und Implementierung weiterer Komponenten, auf denen verteilte Multiuser-Systeme aufgebaut werden können. Dazu wurden die vorhandenen Ansätze verteilter virtueller Welten mit ihren spezifischen Ausprägungen kurz skizziert: Beginnenden militärischen Anwendungen (SIMNET) folgten akademische und kommerzielle Systeme (z.B. DIVE). Versuche auf diese Art Internetkommunikation zu betreiben wurden von den Nutzern bislang nur wenig angenommen. Um im Umfeld verteilter interaktiver Systeme Erfahrungen zu sammeln, wurde im Vorfeld dieser Erweiterung des VR-Systems Avalon ein Kurzprojekt in Form eines verteilten 3D-Spiels (distributed 3D Pong) durchgeführt. Die im Anschluss daran entwickelte zusätzliche Avalon-Komponente erlaubt Netzwerk-Verbindungen von Szenen auf VRML-Ebene (remote Routes).

Chen, Jim (Ed.) et al.: IEEE Virtual Reality 2003 Conference. Proceedings. Los Alamitos, Calif.: IEEE Computer Society, 2003, pp. 97-101

Computer assisted operation planning systems win more and more recognition in the field of surgery. These systems offer new possibilities to prepare an intervention with the goal to shorten the expansive time in the operation room required for the intervention. The safest and most effective surgical approach should be selected. But often, it is difficult to transfer the output of the planning system to the intra-operative situation and so to consider the planning results in the real intervention. At the Fraunhofer Institute for Computer Graphics (IGD) in Darmstadt and the Centre for Advanced Media Technology (CAMTech) in Singapore, methods are developed to bridge the gap between the external planning session and the intra-operative case: Augmented Reality (AR) techniques are used to overlap preoperative scanned image data as well as results of the planning session to the operation field.

Diese Arbeit widmet sich in ihrem Kern der Interaktion von Gruppen in virtuellen Umgebungen. Sie schließt neben der Einführung in das Themengebiet eine ausführliche Beschreibung der aktuellen Forschungsergebnisse und des State of the Art ein. Im weiteren Verlauf der Arbeit werden die Faktoren der Gruppeninteraktion mit Schwerpunkt auf der gemeinsamen Interaktion erörtert und diskutiert, um die Problematik des Gebietes zu veranschaulichen. Eine universell gültige Musterlösung kann bei der Komplexität des Gebietes nicht gegeben werden und stellt nicht die Intention des Autors dar. Dem Leser wird vielmehr ein umfassender Einblick in technische, organisatorische und psychologische Prozesse der Gruppeninteraktion, mit speziellem Bezug auf die Interaktion in virtuellen Umgebungen, gegeben. Zusätzlich soll diese Arbeit als Referenzwerk und Leitfaden gruppenbasierter VR Anwendungen dienen, für deren Gestaltung und Konzeption anwendungsspezifische Maßnahmen und Methoden abgeleitet werden können.

Highly detailed graphic objects as needed for industrial visualizations and virtual reality applications use up vast amounts of memory resources. To allow interactive real-time rendering the data and with it the quality and completeness has to be reduced. In the context of the scene graph system OpenSG the Memory Management Framework developed here will be used to secure constant quality, completeness and interactivity. The Framework takes advantage of Levels of Detail and allows the selective loading of only those detail levels needed to create the optimal quality for the display's limited resolution. The neglecting of redundant data saves large amount of memory, which is needed to display highly detailed features. The Framework uses a flexible customisable Memory Pipeline build around a central priority queue. The transfer of data between two types of memory, for example hard disc and system memory, is done by Transitions, which allows easy extension through the introduction of a new memory type and its transition. The concept is designed for asynchronous processing as memory instances request allocation of data from their predecessor in the pipeline. The managed objects such as models and textures hold their individual levels of detail as the atomic objects of management. These are managed independent of their type, as their special features are expressed in the interface and attributes of managed object subclasses. This makes the introduction of new types through subclasses of the general managed object possible. Texture Management is already included as part of this thesis. Priorities are handled through application specific modular quality managers to be registered with the framework. This leaves room for optimisation by the user of the framework. The quality manager built for priority handling of textures does so by calculating the visible resolution through bounding information given by the application. The result of this thesis is a customisable framework for memory management that allows interactive visualization of scenes that otherwise could not be rendered in their full extend. As long as multiple levels of detail exist, there are no limits set for the size of the scene to be rendered.

Jacko, Julie A. (Ed.) et al.: HCI International 2003. Proceedings of the 10th International Conference on Human-Computer Interaction. Volume 4 : Inclusive Design in the Information Society. Mahwah, New Jersey: Lawrence Erlbaum, 2003, pp. 1101-1105

The simulation of deformable objects is one of the classical disciplines in computer graphics. The main focus of development is the facial animation, the simulation of clothes, hair, fluids and aeriform objects like clouds and smoke. In addition to these procedures many simulation algorithms for medical applications have been created. The methods can simulate different deformation characteristics and various body structures. Especially in real-time simulation procedures, special objects characteristics like edges and bends are not preserved during the simulation calculation. The simulation of detailed objects is a problem, too. To solve these actual problems the combined simulation procedures are developed. By the combination of different methods diverse deformation characteristics of one object can be simulated. There are three types of combination: - The vertical combination - The horizontal combination - The intern combination Simulation procedures linked with the vertical combination method are relatively autonomous. The used procedures need no special adaptation. The communication between the procedures occurs by the force vectors, by the simulation model or by boundary conditions. To realize the vertical combination two kinematically based simulation procedures for a cable simulation have been developed.The vertical combination does not work in all application areas. The introduction of the horizontal combination provides an expansion of the combination method usability. Here the simulation procedures are more closely linked. The fundamental attribute of this combination is: Procedure i+1 controls and affects the simulation results of the procedure i. Thereby special object characteristics like edges or bends can be preserved during the simulation. The principle of the horizontal combination was realized in a simulation procedure for light induced plant movement. The vertical and the horizontal combination can be arranged by an normal user, but the internal combination can not. Here a programmer is required, because significant adaptations in the simulation procedures are needed. The internal combination always produces new simulation methods. An example is the Abalone-Interpolation which is a method for the visual interpolation of flow based datasets. It is used for the calculation of clouds movement based on few meteorological datasets.

Diese Arbeit stellt ein Konzept für moderne Benutzerschnittstellen im Augmented-Reality-Bereich (AR) und dessen Implementierung vor. Neben den Grundlagen von AR werden auch die bisherigen Ergebnisse und Entwicklungen im Gebiet der Benutzerschnittstellen behandelt. In AR werden dem Benutzer virtuelle Objekte oder computergenerierte Informationen zusätzlich zur realen Umgebung dargeboten. AR-Systeme erweitern die Wahrnehmung des Benutzers, wobei der Kontakt zur realen Umwelt vollständig erhalten bleibt. So kann er seiner gewohnten Tätigkeit nachgehen, während der Computer im Idealfall wichtige Informationen direkt einblenden kann, ohne dass der Benutzer seine Tätigkeit unterbrechen muss. Ein großes Problem bei derzeitigen AR-Prototypen ist jedoch die Interaktion mit diesen Systemen. Oft erfordern unzureichende Benutzerschnittstellen das Unterbrechen der Arbeit, im schlimmsten Fall sogar die Eingabe von Befehlen an einem Desktop-Computer. In dieser Arbeit werden bestehende Interaktionstechniken verglichen und eine Benutzerschnittstelle beschrieben, die für mobile (also nicht stationär an einen Raum gebundene) AR-Systeme geeignet ist. Diese beruht auf der Verwendung eines Graphiktabletts oder eines Tablett-PCs. Es kommen jedoch auch weitere Eingabegeräte, wie z.B. eine Gyroskop-Maus oder ein Trackball in Frage. Die vorgestellte Benutzerschnittstelle bietet die Vorteile, universell einsetzbar und leicht konfigurierbar zu sein, wodurch deren Verwendung für eine Vielzahl von AR-Anwendungen erleichtert wird.

This diploma thesis deals about the didactic potential of Virtual Reality and the technological requirements for the design of Virtual Learning Environments (VLE). Because the main focus lies on the problem of how to design VLEs which could be used in schools, at first the reader gets an comprehensive insight into didactic principles in general as well as into the most common learning theories with special regards to E-Learning. The paper further includes a discussion about popular examples of modern VLEs and a detailed description of current results of the research in this field. Although the study of educational science shows, that there does not exist the one and only answer on how to integrate curricular given contents into virtual worlds, in the course of this thesis a conceptual UML-based framework was developed, which on the one hand provides the basic ideas of how to design VLEs. On the other hand it is based on the insight, that besides real time rendering, immersion and interaction virtual worlds must contain a forth dimension (called narration), that provides the learner with some background information and structure in order to help him to understand the concepts and to build adequate mental models. Based on that framework a VLE for ages 12 to 14 about the medieval way to build churches was designed and implemented using the VR-system Avalon for stereoscopic rendering as well as a web-interface for remotely controlling navigation and object-manipulation in VR. Besides encapsulating the still quite difficult interaction with VR-input-devices the interface has the great advantage that it can provide the learner with additional textual and multimedia information in order to enhance his VR-experience.

Jacko, Julie A. (Ed.) et al.: HCI International 2003. Proceedings of the 10th International Conference on Human-Computer Interaction. Volume 1 : Theory and Practice (Part I). Mahwah, New Jersey: Lawrence Erlbaum, 2003, pp. 1158-1162

In this paper we will present a classification scheme for applications, the 4W-model, which helps to derive requirements for the design of a VR user interface for a given application type. Furthermore we will present several basic rules for the design of a VR based interaction technique. Finally we outline how the 4W-model is used on the application area "Design Review" and how the software systems are designed.

Virtuelle Realität - Eine Technologie, die sich gerade in den letzten Jahren sehr stark entwickelte und heute in vielen Anwendungsbereichen anzutreffen ist. Spezielle Ein- und Ausgabegeräte, Echtzeitgraphik und immersive Anwendungen prägen das heutige Bild der virtuellen Realität (VR). Aber Virtuelle Realität ist vor allem eins: Eine neuartige Mensch-Maschine Schnittstelle, die sich zum Ziel gesetzt hat, das Interagieren mit dem Virtuellen natürlich, intuitiv und interaktiv zu gestalten. Trotz oder vor allem wegen dieses Anspruches, stellen sich bei jedem Entwurf einer neuen VR-basierten Anwendung dieselben Fragestellungen: Zum einen das Herausarbeiten und Umsetzen der Funktionalitäten, die diese neue Anwendung abdecken muss. Hier kann die Forschung vor allem dabei helfen, dem Anspruch der Echtzeitanwendung gerecht zu werden. Zum anderen das Design und die Umsetzung der Interaktionsschnittstelle, denn diese ist essenziell für die gesamte Benutzbarkeit des Systems und hat somit vor allem auch große Auswirkung auf die Akzeptanz seitens der Anwender. Hier mangelt es jedoch an zielgerichteten Vorgehensweisen und definierten Basiskonzepten, die den Schritt des Erarbeitens der Bedienoberfläche wesentlich vereinfachen würden. In den letzten Jahren wurden zwar immer wieder Ansätze und Lösungen entwickelt, die den Anspruch an VR basierte Benutzerschnittstellen teilweise erfüllten, jedoch die fehlende Möglichkeit, diese in ein vorgegebenes Schema oder einen globalen Kontext einzuordnen, schränkte deren Wiederverwendbarkeit sehr stark ein. Ziel dieser Arbeit war es, eine ganzheitliche Vorgehensweise zu entwickeln, die es erlaubt, die für das Design der Benutzerschnittstelle entscheidenden Variablen, Parameter und Randbedingungen zu identifizieren und zu klassifizieren. Auf Basis der Klassifikation konnte dann ein Leitfaden für die Entwicklung der VR-Benutzerschnittstelle abgeleitet und die für die Anwendung passenden Interaktionstechniken bestimmt werden. Um auch eine Wiederverwendbarkeit entwickelter Komponenten zu erreichen, sowie seitens einer Anwendung flexibel auf Veränderungen der die Benutzeroberfläche betreffenden Randbedingungen reagieren zu können, sind geeignete Softwarebasiskonzepte notwendig. Um dem Anspruch des ganzheitlichen Ansatz gerecht zu werden, waren auch diese Aspekte Teil der Zieldefinition und wurden u.a. mittels der im Rahmen der Arbeit entwickelten BIT-Architektur gelöst. Als Anwendungsbeispiel wurde VR-Design Review gewählt, welches in der Industrie sehr weit verbreitet ist. Dadurch konnte gewährleistet werden, dass die erarbeiteten Lösungsansätze auf breiter Basis eingesetzt werden können. Weiterhin adressiert VR-Design Review auch funktionale und inhaltliche Fragestellungen unter Randbedingungen, die bis heute in der Forschung wenig betrachtet wurden. Auch diese wurden im Rahmen der Arbeit behandelt und entsprechende Lösungen entwickelt.

In der Computergrafik ist man meist bestrebt, möglichst realistische Bilder zu erzeugen und bedient sich hierbei üblicherweise der Lichtsimulation, um Beleuchtungsverhältnisse und Schattensituationen zu berechnen. Das Ergebnis einer solchen Simulation ist jedoch oft nur ein nettes Bild ohne physikalische Aussagekraft. Eine physikalisch korrekte Simulation, und damit also photometrische und colorimetrische Konsistenz sind daher von essentieller Wichtigkeit, um auf Basis von Simulationsdaten Entscheidungen treffen zu können. Aber selbst das Vorhandensein korrekt simulierter Daten reicht noch nicht aus, um Design, Ablesbarkeit oder gar Blendung wirklich beurteilen zu können, da insbesondere bei der Bildwiedergabe auf unterschiedlichen Displaysystemen Farben und Helligkeiten jedesmal unterschiedlich sind. Das Konzept der photometrischen und colorimetrischen Konsistenz muß daher auf die Darstellung erweitert werden, indem verwendete Displays entsprechend kalibriert werden, sodaß eine 1:1-Wiedergabe der simulierten Daten ermöglicht wird, sofern das verwendete Display entsprechende Helligkeiten wiedergeben kann. Ein dritter Aspekt ist das aktuelle Gebiet der Augmented Reality, bei der in Fotos realer Szenen virtuelle Objekte eingeblendet werden. Diese Objekte wirken meist sehr künstlich, da sie unabhängig von den realen Lichtverhältnissen erzeugt und in die Szene eingefügt werden. Eine Rekonstruktion der tatsächlichen Beleuchtungsverhältnisse aus dem Foto ist daher erforderlich, um die virtuellen Objekte konsistent zur realen Beleuchtung auszuleuchten, und sie so nahtlos in ein vorliegendes Foto zu integrieren. Die offenen Problemstellungen, die sich hieraus ergeben, wurden in dieser Arbeit untersucht, sowie effiziente Lösungen entwickelt und realisiert: Ausgehend von den Rohdaten eines C-A-D-Modells oder der Pixelwerte in einem Foto wurden stark vereinfachte Aufbereitungs- bzw. Rekonstruktionsmethoden für Geometrie, Materialien und Lichteigenschaften realisiert. Diese dienen dem in dieser Arbeit entwickelten Lichtsimulationssystem als Eingabedaten, welches komplexe Szenen mit effizientem, strukturiertem Refinement und verläßlicher Sichtbarkeitserkennung simuliert. Die so berechneten Daten werden bei dem Schritt der Bildwiedergabe dargestellt, wobei unterschiedliche Displays anhand eines neuartigen automatischen Displaykalibrierungsverfahrens bezüglich Farbraum, Schwarzwert, Gammaverhalten und Helligkeitsausgleich kalibriert werden, wodurch unabhängig von der Art des Displays sowohl photometrisch konsistente Daten 1:1 wiedergegeben, als auch unkalibrierte Informationen wie z.B. Fotos oder Präsentationsfolien auf unterschiedlichen Displays identisch dargestellt werden können. Durch die gesamte Pipeline wurde die Erhaltung der photometrischen und colorimetrischen Konsistenz und damit quantitative Korrektheit sichergestellt sowie die Anwendbarkeit in den einzelnen Schritten durch entsprechende Automatisierung entscheidend verbessert. Weitere wichtige Punkte dieser Arbeit sind eine kontrollierbare, d.h. bedienbare Lichtsimulation, die flexibel auf unterschiedliche Benutzeranforderungen eingehen kann, sowie die Integration von AR-Applikationen in die konsistente Visualisierungspipeline. Hieraus ergibt sich ein umfassendes Konsistenz-Framework als geschlossene Lösung zur Simulation und Wiedergabe unterschiedlicher Eingangsdaten.

Deisinger, Joachim (Ed.) et al.: Immersive Projection Technology and Virtual Environments. Proceedings 2003 : Eurographics/Fraunhofer IAO Workshop Proceedings. New York: ACM, 2003, pp. 271-279; p. 335

Digital projectors have a significant advantage over CRTs for IPT setups: brightness. But they also have a number of disadvantages, one of which is color consistency. This problem is exacerbated when using the Infitec method for stereo separation, which in itself has some strong advantages for CAVE and tiled wall setups. In this paper we will describe a method for color and brightness correction of multi-projector display systems. The method itself is used in two new projection systems, which are currently under construction at Fraunhofer-IGD: The HEyewall and the Digital CAVE. The HEyeWall is the first stereo capable tiled display worldwide. The Digital CAVE is the first CAVE with digital projectors and stereo separation based on Infitec(tm). In this paper we present these new IPTs in more detail and also present our experience with digital projectors. To calibrate all the involved projectors photometric measurements of the different projectors are used to calculate a common gamut in a linear colorspace. Input colors are mapped into this gamut and from there mapped into the individual projector's colorspace. This method allows to adjust the rendering output of two or more projectors with different color gamuts in such a way that the projected images are photometrically calibrated. Since the correction has to be done for each pixel, a straightforward implementation would be very slow and far away from realtime. Consequently we will outline a method how to improve performance and overcome this limitation.

Idee dieser Diplomarbeit ist es die motivierenden Merkmale von Computerspielen mit den Merkmalen von Lernsoftware zu kombinieren, um ein Erlebnisorientiertes Lernen zu ermöglichen. Im theoretischen Teil dieser Arbeit werden deshalb die Eigenschaften von Software zum Spielen und Software zum Lernen herausgearbeitet. Exemplarisch erfolgt eine Analyse bestehender Softwaretitel; ebenfalls werden Programme zum Spielen und Lernen (Edutainment-Software) untersucht. Anschließend wird im praktischen Teil eine Lernwelt konzeptioniert und prototypisch mit VRML realisiert.

Laboratoire Lorrain de Recherche en Informatique et ses Applications (LORIA): ORASIS 2003: Actes [Online]. [cited 31 July 2007] Available from http://orasis2003.loria.fr/actes/actes.php 2003, pp. 323-331

Dans le cadre de l'augmentation d'images avec des objets virtuels, nous étudions le problème classique de calcul de pose à partir de n correspondences de points 2D/3D aussi connu sous le nom "problème P-n-P". En particulier, nous présentons sept solutions à ce problème. Ces solutions sont évaluées au moyen de simulations afin de tester leur robustesse. Nous analysons les résultats obtenus de manière à facilitier le choix d'une solution particulière.

Gausemeier, Jürgen (Ed.) et al.: Augmented und Virtual Reality in der Produktentstehung : Grundlagen, Methoden und Werkzeuge. Paderborn: Heinz Nixdorf Institut, 2003. (HNI-Verlagsschriftenreihe 123), pp. 41-52

Display hardware for Virtual Reality applications has changed a lot over the years. HMDs have largely been replaced by large screen immersive projections and PCs are becoming the favorite computing platform, replacing large workstation systems. The development has gained tremendous momentum and there is no end is sight. To make optimal use of the new capabilities, software system for Virtual Reality have to adapt, and be ready for further adaptations for new developments. This article describes some of the requirements on the fundamental software side of Virtual Reality systems arising from these changes, especially in terms of extensibility, flexibility, multi-threading and cluster support, and how they have been solved in the context of the Open Source OpenSG Scenegraph system.

Numerical weather simulation models, like these of the German Weather Service (DWD), produce twice a day large quantities of simulation data, which must be visualized for the presentation on television. Special weather phenomena, which occur only locally, would disturb and are not desired or implemented in such a general view in today TV shows. The requirements change as soon as one tries to make a local weather presentation. They result from the combination of the techniques of Augmented Video and Scientific Visualisation. If weather visualisation should be integrated into a video film, the schematic, global representation of the clouds is not longer acceptable. On the one hand the spectator can compare the artificial clouds with the genuine world presented in the video. Any break in the representation diverts from the actual information and irritates the spectator. On the other hand only a realistic cloud representation yields understandable weather forecasts. The actuality of the data in the presentation is an important restriction for the selection of the visualisation methods. This work presents efficient methods to generate Augmented Video visualisations from weather forecast data. Several presented algorithms include the naturalistic generation of clouds and sky for the automatic insertion into the video sequence. Another part of the work deals with manipulation of the video sequences themselves for a better integration of the computer generated parts of the image and the mapping of the sky colours at the video sequence. The introduction of a general model for the visualization in augmented video closes the work.

Current developments in surgery and computer science expose many new technologies and techniques. In the context of minimal invasive surgery, the surgeon is using very small instruments, which are inserted into patient's body through ports. The disadvantage of new surgical approaches like minimal invasive techniques is the more difficult intraoperative orientation for the surgeon, based on intraoperative sensors that deliver only a small part of the intraoperative situation. To assist the surgeon also preoperative data will be acquired. Those data can be used in combination with techniques of augmented reality to enhance the field of view of the surgeon. Registration aims to close the gap between the preoperative operating planning scenario and the intraoperative support by calculating the transformation that maps one data set onto the corresponding other. In the underlying medical scenario, the developed registration algorithm calculates the transformation that maps preoperative data onto intraoperative data. The main idea is not to calculate the transformation in a traditional way by building point correspondences on both data sets based on minimal distances, like the Iterative Closest Point-algorithm. The developed algorithm instead characterizes preoperative and intraoperative surface data to build the desired correspondences between both data sets. Those characteristics can be created for vertices for example and encodes the local neighborhood around such vertices. The integration of additional information like directed characteristics or histological information is elementary and was implemented to enhance the accuracy and performance of the algorithm.

Jacko, Julie A. (Ed.) et al.: HCI International 2003. Proceedings of the 10th International Conference on Human-Computer Interaction. Volume 2 : Theory and Practice (Part II). Mahwah, New Jersey: Lawrence Erlbaum, 2003, pp. 801-805

This paper describes a novel approach to Interaction with Augmented Reality Environments. In Tangible user interfaces (TUI) the user can interact with the virtual parts of the environment through associated real objects. Virtual objects that are not part of the TUI remain unreachable for the user. Integrating a physical simulation can diminish this gap. Every object that is part of the simulation can at least be manipulated indirectly.

Computers & Graphics, Vol.27 (2003), 6, pp. 887-891

This paper presents and discusses the results of the project ARVIKA. After a short introduction and presentation of the project goals, the augmented reality system is described. It consists in a Plug-In for internet-browser in which all the software components have been integrated. The advantages and disadvantages of the adopted approaches, as well as the lessons learned from the project are presented in details. Finally, the open issues are discussed and future work to be achieved until a possible implementation of augmented reality in an industrial context is proposed.

Peng, Shietung (Ed.) et al.: First International Symposium on Cyber Worlds. Proceedings 2002. Los Alamitos, Calif.: IEEE Computer Society, 2002, pp. 553-560

Are Virtual and Augmented Reality (VR/AR) well suited for entertaining and educating a lay audience? In this paper we try to find an answer to this question and work out the conditions and requirements for successful installations. We will describe our testbed, the Cybernarium Days 2002, the world s first public exhibition exclusively dedicated to Virtual and Augmented Reality, which attracted more than 10.000 visitors in 6 days. We also present the results of the user questioning, which took place during the exhibition, and the lessons learnt . Furthermore we focus on software aspects, which enabled us to use low cost hardware and offered a way to build new exhibits in a short time. Since the raise or fall of a VR/AR installation is mainly influenced by its user interface, we present a classification scheme for devices and outline their advantages and disadvantages, offering other VR/AR-developers a guideline for their work on public VR/AR-exhibits.

International Journal of Computerized Dentistry, Vol.5 (2002), 2, pp. 101-106

The virtual articulator (VA) is intended for use as a tool for the analysis of the complex static and dynamic occlusal relations. Its chief application is in individual diagnosis and the simulation of the mechanical articulator. As entry data, the VA requires digital, 3-dimensional representations of the jaws and patient-specific data on jaw movement. It then simulates jaw movement and provides a dynamic visualization of the occlusal contacts. If no patient-specific data are available, the modus operandi of the mechanical articulator can be simulated. Virtual reality (VR) techniques applied in computer-aided diagnosis are revolutionizing medical routine in many disciplines. Particularly in the field of dental engineering, VR combined with CAD/CAM technology has great potential in implant planning and design in terms of greater precision and shorter treatment duration. The geometry of teeth can be digitized, the implant models can be designed with specialized CAD systems, and the final implants can be manufactured with a CNC machine. In this context the virtual articulator completes the digital manufacturing process.

Institute of Electrical and Electronics Engineers (IEEE): Sixth IEEE International Conference on Information Visualisation 2002. Proceedings. Los Alamitos, Calif.: IEEE Computer Society, 2002, pp. 600-602

The use of Virtual Reality (VR) techniques for Computer-Aided Diagnosis is revolutionizing the medical routing in various medical disciplines. Especially in the field of dentistry VR in combination with CAD/CAM technologies offers a high potential for implant planning/design resulting in a higher accuracy and a shorter therapy time period. The geometry of the teeth is recognisable and digitisable using an intraoral camera, the implant models can be designed with specialized CAD systems and the final implants are generated using a CNC machine. In this context the "Virtual Articualtor" (VA) completes the digital manufacturing pipeline and offers the possibility to consider patient-specific jaw biomechanics in the implant generation process. The objective of this project is the development of a system for dental occlusion diagnosis. For this important diagnosis in today's dental routine the mechanical articulator is used. The VA simulates and augments the functionalities of the mechanical articulator. Therefore it takes a digital 3-D representation of the jaws as input data, generates a simulation of the jaw movements, and delivers a dynamical visualization of the occlusion points. The high technical demands to the system are given through the high accuracy necessary for dental applications and the large models that have to be handled in the system.

When the semantics of time-variant three-dimensional atmospheric data is correctly considered and described by mathematical means, new methods of efficient data compression, time interpolation, and visualization can be developed and applied. This thesis will investigate the nature of simulated viscous masses, take such a semantic approach, demonstrate its benefits, and compare its results to currently comparable solutions. Visualizing dynamic atmospheric data has its very own challenges. Mostly, large data-sets must be stored in main memory to access them quickly for interactive graphics. Fast mapping algorithms are applied to these data-sets in order to produce geometric objects for direct viewing or for the offline production of animations. All currently applied methods of data storage (arrays with high or reduced numerical accuracy) and of visualization (iso-surfaces or direct volume rendering) as well as time-interpolation (linear or higher order) have significant and well-known shortcomings. The reason for this is the fact that they do not take advantage of the specific characteristics of dynamic atmospheric data. It must be expected that correctly considering the semantics of this special class of data will lead to new and appropriate solutions. When this data is understood more as moving and at the same time dynamically changing air masses rather than as discreet and seperately treated time steps of large arrays, new algorithms can be developed that follow these approaches: - compress the data with algorithms found in the fields of image or movie compression which take a while for the compression step but are very efficient and support rapid decompression during the visualization phase - interpolate data in time for smoother animations by following moving air mass "volumes" through the atmosphere. Without applying the full simulation model with smaller increments in time, in-between time steps can be computed by considering the specifics of animated viscous masses. - visualize with regard to the three-dimensional space and the dynamic nature of the data by effectively applying modern culling methods during the data filtering and data mapping stages of the visualization pipeline. Thus, this new approach in the treatment and internal representation of the data leads to innovative new possibilities for the visualization of dynamic atmospheric data. This thesis will develop such an approach and implement prototypes of software modules for the areas listed above. The results are compared to the state of the art.

Hutten, Helmut (Ed.) et al.: Second European Medical and Biological Engineering Conference. Proceedings Vol. 2 : Advancement of Medicine and Health Care through Technology - the Challenge to Biomedical Engineering in Europe. Graz: Verlag der Technischen Universität, 2002, pp. 1170-1171

Automobiltechnische Zeitschrift (ATZ): Virtual Product Creation. Proceedings 2002 : iViP- Abschlusskonferenz. Berlin, 2002

Virtuelle Realität in der Produktentwicklung ist in den letzten Jahren Realität geworden und so finden sich in den unterschiedlichsten Sparten spezifische VR-Lösungen, die das Arbeiten mit dem virtuellen Prototyp im Vergleich zu herkömmlichen Methoden wesentlich vereinfachen und erleichtern. Im Rahmen des iViP-Projektes wurde für verschiedene Anwendungsgebiete des Entwicklungsprozesses der Einsatz von VR evaluiert und Lösungen entwickelt, die über den bis dato aktuellen Stand der Technik hinausgehen. Im folgenden werden zwei davon vorgestellt: Die Montagesimulation (Teilprojekt 4.2) und der virtuelle Prüfstand (Teilprojekt 4.4). Hierbei wird vor allem auf die Problemstellung und die entwickelten Lösungen eingegangen.

Subdivision Surfaces (SDS) ermöglichen es, komplexe geometrische geometrische Objekte mit nur wenigen Flächen zu beschreiben. Vorallem geeignet ist diese Technologie um organische Formen zu beschreiben. Subdivision Surfaces werden seit 1998 verstärkt im Animationsbereich eingesetzt aber auch für den Einsatz in VR Systemen bieten sich, vor allem durch die Möglichkeit die Komplexität der Objekte schnell ändern zu können, Vorteile. Subdivision Surfaces ermöglichen es eine Brücke zwischen der CAD-Welt mit ihren NURBs-Objekten und der Virtuellen Realität mit Polygonalen Objekten zu schlagen. Während NURBs (Non Uniform Rational B-Splines) glatte Flächen erlauben aber nicht echtzeitfähig sind ermöglichen es Polygone Objekte in Echtzeit zu rendern. Subdivision Surfaces stehen nun genau zwischen NURBs und Dreiecken und verbinden die Vorteile beider Welten miteinander. Zusätzlich kann man mit SDS Objekte beliebiger Topologie (z.B. mit Löchern) und mittels scharfer und halbscharfer Kanten auch Objekte wie Hemdkragen oder Lippen problemlos in einem Objekt darstellen. Ziel dieser Arbeit war die Erstellung eines Testsystems für den spielerischen Umgang mit Subdivision Surfaces. HYPE (HYPernurbs-Editor) implementiert die fünf bekanntesten Subdivision-Schemata: Catmull-Clark, Butterfly, modifiziertes Butterfly, Loop und Doo-Sabin. Neben dem Subdivision Modul verfügt HYPE über eine ganze Reihe weiterer Editoren zur schnellen Erstellung von komplexen Geometrien von Rotations- und Extrusionsflächen bis hin zu Gesichtern für Avatare und virtuellen Landschaften. Neben den Editoren gibt es noch die Möglichkeit Geometrien aus VRML97 und Java3D-Dateien oder dem neueingeführten MESH-Dateiformat zu laden und zu speichern. Ein Modelierungstool erlaubt das Einbringen von Löchern und die Festlegung von scharfen und halbscharfen Kanten.

Virtuelle Welten waren in den vergangenen Jahren wegen der hohen Kosten Forschungslaboren vorbehalten und der Öffentlichkeit anlässlich zeitlich begrenzter Ausstellungen und Messen zugänglich. Mit der dramatischen Leistungssteigerung der Personal Computer in den letzten Jahren rückt nun die Anwendung von Virtueller Realität im öffentlichen Raum, etwa in Museen, Freizeitparks in den Bereich des Möglichen. Damit das vielversprechende didaktische Potential dieses neuen Mediums genutzt werden kann, müssen Virtuelle Welten einfacher zu handhaben sein und lebendiger werden. Dies ist das Ziel der vorliegenden Arbeit. Zunächst werden eine Reihe von gängigen VR-Systeme darauf hin untersucht, ob und wie sie die Modellierung von lebendigen Virtuellen Welten unterstützen und wie Interaktionsgeräte angebunden werden. Bei der Untersuchung stellt sich heraus, daß sogenanntes statisches Verhalten teilweise unterstützt wird, die Simulation von dynamischem Objektverhalten einer großen Zahl von Objekten bleibt dagegen der Anwendung überlassen. Die Entwicklung von hoch dynamischen Virtuellen Welten ist damit sehr aufwendig. Die Anbindung von Interaktionsgeräten wie Trackingsystemen, Datenhandschuhen, usw. ist unzureichend. Die Geräteabstraktion ist nicht komplett und ein Defekt an einem Gerät führt typischerweise zum Neustart des VR-Systems. Daher wird zunächst ein Simulationssystem vorgestellt, welches dynamisches Objektverhalten einer großen Zahl von Objekten ermöglicht. Zentrales Konzept, sind die sogenannten Autonomen Objekte deren Verhalten durch Feature-Objekte konfiguriert wird. Die gesamte Konfiguration des Systems, inklusive Programmcode kann modifiziert werden, während das VR-System läuft, ohne einen zeitaufwendigen Neustart zu erfordern. Bei der Programmierung von Objektverhalten wird nicht auf interpretierte Skriptsprachen ausgewichen; es kann in wesentlich performanteren Sprachen wie C/C++ entwickelt werden. Durch die Möglichkeit, die Simulation auf mehrere Prozesse zu verteilen, kann moderne Multiprozessor-Hardware ausgenutzt werden. Darauf aufbauend wird eine Hierarchie von Features vorgestellt, die von Grundkonzepten der Interaktion, wie exklusive Kontrolle und Subskription von Information, bis zu einem Benutzermodell entwickelt wird. Eine neuartige grafische Notation erleichtert die visuelle Darstellung von dynamischem Objektverhalten. Anschließend widmet sich die Arbeit der Anbindung von Interaktionsgeräten. Es wird ein System vorgestellt, welches den gleichzeitigen Zugriff mehrerer VR-Applikationen auf Geräte ermöglicht, die an Rechner irgendwo im Netzwerk angeschlossen sind. Neuartige Fehlertolerante Kommunikationsprotokolle ermöglichen die für die Applikation transparente Behandlung von Fehlern und die Minimierung der Latenz bei der Interaktion von Virtuellen Umgebungen. Das System ist ebenfalls vollständig zur Laufzeit konfigurierbar, sodaß auch hier ein Neustart vermieden werden kann. Anhand dreier Anwendungen werden die Einsatzmöglichkeiten des Systems demonstriert: In einer transatlantischen Virtuellen Umgebung trainieren zwei Astronauten gemeinsam die Reparatur des Hubble Teleskops. Die Visuelle Simulation von Europas größtem Aquarium erlaubt das Eintauchen in Unterwasserwelten, die mit bis zu 1000 Fischen bevölkert sind. Am Beispiel des Domes von Siena wird dargestellt, wie Autonome Objekte zur Modellierung interaktiver Geschichten eingesetzt werden können.

Peng, Shietung (Ed.) et al.: First International Symposium on Cyber Worlds. Proceedings 2002. Los Alamitos, Calif.: IEEE Computer Society, 2002, pp. 531-536

An important task for virtual characters is autonomous navigation in a virtual environment. The task is to find a way through the environment leading to a certain goal, avoiding obstacles such as walls, or surfaces not suitable for walking. This paper invents an algorithm that analyzes a given scene database in a preprocessing phase fully automatically. It identifies storeys, rooms and stairs without the need of user-guidance. During runtime, the path planning itself works on data generated during the preprocessing phase working in realtime today's PC hardware.

i-com, (2002), 2, pp. 4-10

Augmented Reality, erweiterte Realität, ist eine Form der Mensch-Technik-Interaktion, die dem Menschen z.B. über eine Datenbrille Informationen in sein Sichtfeld einblendet und damit die von ihm wahrgenommene Realität erweitert. Dieses geschieht jedoch kontextabhängig, d.h. passend zum und abgeleitet vom betrachteten Objekt, z.B.einem Bauteil, einem Werkzeug, einer Maschine oder zu seinem Standort. So wird das reale Sichtfeld eines Facharbeiters, Technikers oder Entwicklungsingenieurs durch eingeblendete Hinweise um für ihn wichtige Informationen angereichert (Azuma, Baillot, Behringer, Feiner, Julier und MacIntyre 2001). ARVIKA entwickelt diese Technik in den Anwendungsfeldern Entwicklung, Produktion und Service der Automobil- und Flugzeugindustrie, für Kraftwerks- und Prozessanlagen und für Werkzeug- und Produktionsmaschinen. Besondere Perspektiven bietet diese Technik für mittelständische Unternehmen, die durch verbesserte Diagnose- und Wartungskompetenz flexibler und effizienter agieren können und damit eine Stärkung im globalen Wettbewerb erfahren.

Gonçalves, Luiz Marcos Garcia (Ed.) et al.: XV Brazilian Symposium on Computer Graphics and Image Processing. Proceedings. Los Alamitos, Calif.: IEEE Computer Society, 2002, pp. 381-387

For the production of smooth animation of flow simulation out of only several data steps may interpolated intermediate data steps are needed. Especially for the meteorological visualization of moving clouds for TV broadcasting purposes such interpolations are of high importance. The traditional method for the animation production is to fade one dataset out and to fade the next dataset in. The visual result is not very realistic if the clouds should move quickly and the distance between them are too greate, because blending produce no clouds movements. In this paper we present the Abalone Interpolation for the calculation of visually realistic cloud movements. The presented solution is not only suitable for meteorological visualization but also for visual preparation of the flow calculation results.

De Marsico, Maria (Ed.) et al.: Conference on Advanced Visual Interface. Proceedings 2002. New York: ACM Press, 2002, pp. 361-362

In this paper we will present an approach how to support collaborative work between several experts in a design review based on CAD data. The design review is an important part of the design process of a new product, because its objective is to ensure the quality of the final product. During a design review several experts discuss the current state of the work, trying to locate errors in the design, develop improvements or find solutions for unsolved problems. It is evident that the quality of the achieved results of such a review is directly linked to the quality of the collaboration between the involved experts. Apart from social issues, efficient collaboration is heavily influenced by technical aspects, e.g. which kind of media is used. Since pure digital data representations of the design is commonplace today, new metaphors have to be developed which allow a group of people to work together simultaneously and intuitively on the same data model. In this paper we will introduce a virtual reality based approach to collaborative working in a design review scenario. Our work is based on a pen and paper paradigm, which allows people to sketch and draw their ideas as well as annotations on the digital model in the same way they would do it using a pen and a piece of paper. Furthermore we will show how private spaces can be realized and how the metaphor can be integrated in an overall framework, which is usable for digital design reviews.

The Dental Clinics of North America, Vol.9 (2002), 3, pp.493-506

IEEE Computer Society: Sixth International Immersive Projection Technology Symposium 2002. CD-ROM

With early computer graphics, one was pleased with just displaying virtual scenes on a monitor, or even on a stereo display. But the quest for realism always demanded for better quality of the rendered images. Nowadays, the radiosity lighting simulation method can be used to compute and verify physically accurate simulations of virtual scenes, concerning their quantitative photometrical and colorimetrical properties. In combination with large-scale projection devices, the realism of such a radiosity-simulated scene can be almost convincing. But what good is a "nice" image, if the correct, computed luminances and colors cannot be represented by the projection device used? This paper provides a state-of-the-art report of the relevant optical and physical properties of current immersive projection setups and their individual components, to evaluate their usability for photometrically and colorimetrically consistent presentation.

Arabnia, Hamid R. (Ed.) et al.: International Conference on Information and Knowledge Engineering. Proceedings 2002. Las Vegas: CSREA Press, 2002, pp. 462-468

The development of electronic information and communication systems has significantly increased the need for digital multimedia security and copyright protection tools. A key technology in this context is in digital watermarking: a robust, secure and imperceptible identification code is secretly embedded into multimedia data as a digital watermark. Retrieving the watermark information will support the author's proof of ownership of the multimedia data. One of the major challenges in watermarking is robustness, since the watermarks need to survive multiple kinds of data processing. Image cropping is known as a common attack against digital watermarks. Some watermarking approaches have been developed in respect to robustness against cropping. However, the amount of watermark information is highly limited in most of these techniques. This paper introduces an innovative watermarking scheme that is extremely robust against cropping while still allowing high amounts of information to be embedded into the image.

Luczak, Holger (Ed.) et al.: Work with Display Units - World Wide Work. Proceedings 2002. Berlin: ERGONOMIC, 2002, pp. 384-386

This paper presents a new approach of hybrid tracking in the context of augmented reality. The recently developed 6-DOF hybrid tracking prototype combines both our visual marker-based tracking system and an Intersense IS-600 acousto-inertial tracking system. The flexible architecture of the system allows to easily integrate other sensor types in the future. The paper proposes the sensor fusion and calibration concept and describes the main signal processing modules. An overview of the software architecture will be given and finally results will be presented.

Mills, John (Ed.): ITEC 2002. Europe's Training, Education and Simulation Conference Proceedings. CD-ROM. Lille, 2002, 4 p.

Rapid development of medical field, expanding knowledge base and new technologies require continuing medical education to achieve life long learning and to keep the surgeons up to date. Consequently, specific training is necessary to guarantee qualification of the surgeons. To overcome the current drawbacks of traditional training systems (on-the-job training, plastic models etc.) for laparoscopy/hysteroscopy an intelligent adaptable training environment has been realized using Virtual Reality (VR), Multimedia (MM) technology, and Intelligent Tutoring Systems (ITS).

Lemke, Heinz U. (Ed.) et al.: Computer Assisted Radiology and Surgery 2002. Proceedings. Berlin, Heidelberg, New York: Springer, 2002, pp. 107-112

Rapid development of medical field, expanding knowledge base and new technologies require continuing medical education to achieve life long learning and to keep the surgeons up to date. Consequently, specific training is necessary to guarantee qualification of the surgeons. To overcome the current drawbacks of traditional training systems (on - the - job training, plastic models etc.) for labaroscopy / hysteroscopy an intelligent adaptable training environment has been realized using Virtual Reality (VR), Multimedia (MM) technology, and Intelligent Tutoring Systems (ITS).

The International Society for Computer Assisted Orthopaedic Surgery: Computer Assisted Orthopaedic Surgery. Proceedings 2002, pp. 53-55

Westwood, James D. (Ed.): Medicine Meets Virtual Reality 2002. Proceedings : Digital Upgrades: Applying Moore's Law to Health. Amsterdam: IOS Press; Ohmsha, 2002. (Studies in Health Technology and Informatics 85), pp. 311-317

The lack of situed diagnostic tools providing insight into patient specific flow characteristics of the nasal airflow is one of the main problems in functional diagnosis. Diagnostics methods currently used do not provide the necessary information for flow analysis. But the flow distribution is essential for a physiological repiration, in particular for cleaning moistening and tempering of the inhaled air as well as for the olfactory function of the nose. To overcome this current situation a cooperation project of the ENT surgeons and computer graphic engineers was established to develop the computer assisted planning system STAN (Simulation Tool for Airflow in the human Nose) combining Computer Fluid Dynamics (CFD) with advanced Computer Graphic Technology. The idea of the STAN system is to perform patient specific airflow simulations in the patient's nasal cavities. Therefore a geometrical model of the nasal airways is derived form the patient's tomography scans. A discretization of the surrounded flow volume is made by a computational grid. To establish the flow simulation Finite Element Methods are performed on the grid. A tailored visualization is offered to the surgeon that overlaps the flow pattern to the patient's tomography data shown in the coronal sagittal and transversal plane. The surgeon can not only analyze the patient's current respiration situation he has also the possibility to describe the planned surgical intervention. The goal is to simulate the flow distribution that can be expected after the surgical intervention and to offer a possibility to validate various surgical strategies. To verify the simulation results experimental investigation and measurements are made in nasal models. Silicon Models of patient's nose channels are made to analyze flow characteristics The CT or MR scans of the same patients are used as input data for the simulation. The experimental outcome is compared to the simulation results to validate this diagnostic approach.

The aim of this work is the study of the integration of virtual objects into single views. The use of single views in augmented reality is much more flexible for the end-user than stereo pairs of images, because they require less intervention and preparation. A fundamental problem of augmented reality is to accurately recover the needed camera parameters. While this problem is well-known when two views are available, specific algorithms must be considered for the case of single views. These algorithms generally make use of the geometric particularities of the scene. The camera model and its geometry are therefore of great importance, and are largely analyzed in this report. The first task is to calibrate the camera by finding its internal parameters (mainly the focal length and the principal point). One method for it is the use of vanishing points. Techniques for the recovery of vanishing points in an image are presented, as well as known calibration methods based on it. Another way to calibrate the camera is to use planar structures, and an algorithm based on multiple planes is derived. The special case of panorama is also discussed, with details about its construction and ist calibration. The second task for the integration of virtual objects is the estimation of the camera position and orientation relative to a given coordinate system (pose). Again, vanishing points and plane-based methods are discussed. Two novel algorithms for pose estimation from multiple planes are presented. The pose can also be estimated in the case of known 3D points coordinates. Seven recent algorithms based on this assumption are detailed and compared. All the algorithms mentioned in this work have been implemented as a practical goal, and simple objects could be integrated into various images using different techniques. The report discusses the implementation particularities and presents the results obtained by comparative tests.

Ecole Nationale Supérieure d'Ingénieurs de Bourges: International Symposium on Measurement & Control in Robotics. Proceedings 2002. CD-ROM : Toward Advanced Robot Systems and Virtual Reality. Bourges, France, 2002

Virtual product creation will play a key role in industrial product development in the future. Creating a virtual prototype needs a verification of a collision free final place of all parts and a collision free path to it, the assembly path. This paper addresses the second point of this issue, because nowadays CAD software do not solve it. The DLR lightweight robot is used as a force feedback device together with a digital 3D Mock-Up (DMU), such that the human designer can explore the parts and their assembly paths with his kinesthetic skills in a natural way. This allows a faster and more reliable virtual product creation process while saving costly hardware Mock-Ups. We depict the components of a Virtual Reality System and a 6 degrees of freedom haptic rendering algorithm integrated into it. The advanced hardware and control architecture of the DLR lightweight robot is presented with regard to the use as force feedback device in real size assembly simulation. User tests in a practical scenario gave good results for the system.

Graph traversal is a very basic concept in computer science, as graphs are needed and used in lots of places. As scenegraphs are graphs too, the standard graph traversal methods should suffice to cover scenegraph traversals. In practice, scenegraphs are a little different. They are heterogeneous, i.e. there are a number of different node types, which need to be treated differently. They are also used by a number of different types of traversals. Furthermore new node types as well as traversal types are added routinely to a scenegraph, often application-specific ones. This can be a problem when the source code of the library is not available. This work describes a framework for scenegraph traversals that is flexible as well as extensible to allow adding node types as well as traversal types without having to change existing code. The concept is based on three classes: Actors, Iterators and Actions. The Actors are the primitive active part and are used to be easily combinable to make up complex traversals. Actors are categorised according to different criteria to allow optimised traversals. Iterators are used to select the next node to traverse from the list of available nodes, allowing simple depth-first traversals as well as ordered traversals. The Action keeps all the parts together.

Bundesministerium für Bildung und Forschung (BMBF): Internationale Statustagung "Virtuelle und Erweiterte Realität". [cited 20 July 2005] Available from: http://informatiksysteme.pt-it.de/vr-ar-2/tagungscd.html 2002, 8 pp.

Quasi alle VR/AR-Anwendungen benötigen eine graphische Ausgabe. Diese wird häufig noch mit OpenGL direkt gemacht, auch wenn das mühsam ist. Besser ist die Verwendung von Szenengraphsystemen, die eine abstraktere Sicht auf das Graphikproblem geben. Viele kommerzielle Systeme wurden eingestellt oder werden nicht weiterentwickelt. Daher hat sich die OpenSG Initiative gebildet, die den frei verfügbaren Szenengraph OpenSG entwickelt. Im Rahmen von OpenSG Plus werden aktuelle Ergebnisse der Computergraphikforschung in OpenSG integriert und erweitert. Dies betrifft verschiedene Bereiche. Bei den Low-Level Komponenten sind dies besonders das Clustering und die Meshunterstützung. Im Bereich High-Level Primitives werden NURBS, Subdivision Surfaces, Volumen und andere unterstützt. Large Model Handling umfasst von den unteren Ebenen wie Striping über Occlusion Culling bis hin zu Hierarchisierungsstrategien ein breites Feld für große Modelle. Zur Qualitätssteigerung dient der Bereich High-Level Shading, in dem neue Beleuchtungsmodelle realisiert werden. Die Ergebnisse wurden und werden nach und nach in das OpenSG-System integriert und freigestellt. Bisherige Ergebnisse wurden auf dem OpenSG Symposium einer interessierten Zuschauerschar präsentiert und werden auch im nächsten Jahr wieder präsentiert werden.

This work covers the problems of scene graph systems. Currently used systems like Open Inventor or OpenGL Performer cover current and coming developments only partially. The work is concerned with three main parts: Extensibility, Parallelisation and Graphics Hardware Abstraction. Extensibility is a central problem given the quickly changing requirements posed by new applications. To support it new mechanisms are developed that allow dynamically extending the system. This concerns object creation as well as manipulation of objects, which is done via a reflectivity concept. The active components of the system, the traversals, have also been embedded into a new, extensible concept. Parallel processing is gaining importance due to the latest developments in processor and system architectures. In a VR application there are a number of independent tasks which can be executed in parallel and which access and anipulate the scene graph's data. To protect these from each other each task needs a private copy of the data. Using an appropriate synchronisation of accesses this division could be achieved using minimal memory overhead while allowing fast access and easy distribution of data between threads. Graphics hardware abstraction is forced by the growing diversification in the graphics board market. At the same time algorithms to create real time displays are moving further and further away from the classic, simple approaches and switch to using multiple stages and/or passes to create the final image. To give an application a usable access to these features without burdening it with too many details an extensible method to encapsulate the OpenGL state has mbeen developed, which together with a new structure called DrawTree is used optimize and abstract the display tasks. The central algorithms and methods developed in this work have been implemented in the free OpenSG system (www.opensg.org). It is used and enhanced by a number of universities and research institutes.

One of the main shortcomings of current scenegraphs is the inability to support multi thread-safe data. Another area that leaves things to be desired is extensibility. This work describes a system that allows multiple asynchronous threads to independently manipulate the scenegraph without interfering. This demands replication of data. As scenegraph data can get very big, a distinction of structural and content data is introduced, and a method to replicate the latter only if necessary. To make the whole concept generic and easily extensible, Reflectivity is introduced to the system. Besides allowing to manage multiple independent threads the described approaches can also be used for generic scenegraph access ,e.g. for loader/writer and GUIs. An extension allows also to the use the developed methods for cluster support.

Inhalt der Diplomarbeit ist die Konzeption und Implementierung einer Modellierungsanwendung für die Nutzung in der Paläontologie. Besonderheit ist dabei, dass die Anwendung nicht die konventionelle CAD-Technik auf Polygonbasis nutzt, sondern die Modellierung auf Massebasis durchführt. Zu den Anforderungen gehört eine mögliche Erweiterbarkeit auf ein haptisches Eingabegerät, als auch eine leicht verständliche und intuitive Benutzereingabe. Grundlage für diese Art der Modellierung ist die Interaktion zwischen einem Partikelsystem und einem Volumenraum. Durch das Partikelsystem wird Masse in Form von Partikeln in die Szene eingebracht. Die Partikel transportieren diese Masse in den Volumenraum, wo sich die Masse an einem schon vorhandenen Objekt anlagert und so ein Objekt modelliert. Durch eine Variation der Partikelart kann Masse hinzugefügt oder entfernt werden. Der Volumenraum ist sowohl in seiner Ausdehnung (Koordinaten), als auch in der Unterteilung in einzelne Voxel konfigurierbar. Dies ermöglicht eine variable Auflösung des Volumenraumes bei gleich bleibender Speicherbelastung. Ein modelliertes Objekt kann durch Einsatz des Marching Cubes Algorithmus von der Voxeldarstellung der Volumendaten in ein polygonales Objekt überführt werden, welches auch im VRML-Format abspeicherbar ist.

Dieser Bericht beschreibt Entwurf und Implementierung einer Softwareumgebung, mit deren Hilfe es möglich ist, auf der Basis von OpenSG parallele Rendering-Verfahren für PC-Cluster zu realisieren. Aufbauend auf dieser Umgebung wird die Umsetzung einer Stereoprojektion, einer Multiprojektor Projektion und eines parallelen Sort-First Rendering-Algorithmus beschrieben. Abschließend werden Beispiele und Vorschläge für weitere parallele Rendering-Verfahren erläutert.

Zur realistischen Darstellung von Wettervisualisierungen mit Wolken, oder allgemein von Außenszenen und zur Veranschaulichung der natürlichen Lichtverhältnisse in Innenräumen mit großen Fensterfronten ist eine wirklichkeitsgetreue Berechnung des tatsächlich vorhandenen Tageslichtes unverzichtbar. Dazu können Tagslichtmodelle, die aus Lichtmessungen Näherungsformeln ableiten oder Himmelsmodelle, die die Physik der Atmosphäre berücksichtigen, verwendet werden. In der vorliegenden Arbeit wird auf das Himmelsmodell von Nishita zurückgegriffen und in der Variante der Einfach-Streuung vorgestellt. Die Erde und die Atmosphäre werden als Kugeln um einen gemeinsamen Mittelpunkt modelliert. Unter Verwendung der Effekte der Rayleigh- und der Mie-Streuung wird die Strahldichte des Himmels ermittelt. Wesentlicher Inhalt der Arbeit ist die Integration von Wetterdaten in Form von Druck, Temperatur und spezifischer Feuchte in das Modell von Nishita. Die daraus berechneten Dichten für Luft und Wasserdampf ersetzten die im ursprünglichen Modell vorgesehenen exponentiellen Ansätze. Dient der Himmel als Beleuchtung für Außenszenen im Kontext einer Radiosity-Simulation, ist es von Vorteil die Anzahl der Lichtquellen zu minimieren. Dazu wird ein adaptives Unterteilungsschema vorgeschlagen, das im Bereich mit starken Helligkeitsunterschieden die Himmelskuppel feiner unterteilt, als in Bereichen, in denen eine relativ gleichförmige Helligkeitsverteilung vorherrscht. Zum Schluß der Arbeit werden anhand einiger ausgewählter Beispiele Simulationen von Himmelskuppeln zu unterschiedlichen Tageszeiten präsentiert.

Dieses Buch befaßt sich mit der Integration von Verfahren zur globalen Beleuchtungs-Simulation in interaktive Systeme. Der Fokus liegt hierbei darauf, eine realistische, auf physikalischer Grundlage simulierte Beleuchtung auch in Szenen zu erlauben, die interaktiv vom Anwender verändert werden. Die Anforderungen an derartige Simulationsverfahren werden analysiert, verschiedene Lösungsansätze werden ausführlich diskutiert und es wird ein Konzept für ein System erarbeitet, das den unterschiedlichen Anforderungen aus der Praxis gerecht wird. Dabei werden ein echtzeitfähiges sowie ein exakteres Verfahren zur Beleuchtungssimulation kombiniert und in ein interaktives System integriert. Dieses Konzept basiert auf dem Radiosity-Ansatz, jedoch werden auch andere Modelle zur Beleuchtungs-Simulation berücksichtigt. Anhand von Anwendungsbeispielen wird die Tauglichkeit des Verfahrens auch in komplexen Szenen aufgezeigt.

Stanke, Gerd (Ed.) et al.: EVA 2002. Proceedings : Elektronische Bildverarbeitung & Kunst, Kultur, Historie 2002. Berlin: Gesellschaft zur Förderung angewandter Informatik e.V., 2002, pp. 33-40

ARCHEOGUIDE (Augmented Reality-based Cultural Heritage On-site GUIDE) is the acronym of a project, funded by the EU IST framework (IST-1999-11306), and pursued by a consortium of European organizations. The system allows the user/visitor to experience a Virtual Reality world featuring computer-generated 3D reconstructions of ruined sites without isolating him from the "real world". The key feature of the system is the position and orientation tracking technique used in determining the user's viewpoint. This is an image registration technique based on phase correlation. This paper presents the technique in detail and gives practical examples of the application of the technique in the ARCHEOGUIDE system. In particular, it describes how calibrated reference images may be matched to live video by image transformation to the Fourier domain and phase calculation for translation, rotation, and scaling operations.

Im Rahmen dieser Arbeit werden Computer-Vision Methoden zur Lösung der Augmented-Reality Kalibrierungs- und Trackingprobleme entwickelt. Insbesondere wurden neben der "structure and motion" Methode, die theoretischen Grundlagen eines neuen Verfahrens "Calibration propagation" als auch ihre praktische Umsetzung erarbeitet, optische Lösungen zum Echtzeit-Tracking mit Hilfe von schwarz-weißen sowie farbigen Markern ermöglicht und ein neues Verfahren zum markerlosen Tracking konzipiert und implementiert.

Association for Computing Machinery (ACM): ACM Symposium on Applied Computing. Proceedings 2002. New York, 2002, pp. 785-790

For the local TV presentation of weather forecast data it is important to have high-quality and fast visualisation of clouds. In this paper we present surface-based transparency computation methods for the high performance visualisation of clouds from data produced by a routine meteorological weather simulation.

Skala, Vaclav (Ed.) et al.: WSCG 2002. Full Papers. Vol. 2 : Journal of WSCG Volume 10 No.2. Plzen: University of West Bohemia, 2002, pp. 453-460

For the local TV presentation of weather forecast data it is important to have high-quality and fast visualisation of clouds. In this paper we present surface-based methods for the high performance visualisation of clouds from data produced by a routine meteorological weather simulation. Isosurfaces, which are originally too coarse because of the data grid resolution are refined and deformed. The refined geometry is used for a light simulation and transparency computation.

IEEE Computer Graphics and Applications, Vol.22 (2002), 5, pp. 52-60

Archeoguide offers personalized augmented reality tours of archaeological sites. It uses outdoor tracking, mobile computing, 3D visualization, and augmented reality techniques to enhance information presentation, reconstruct ruined sites, and simulate ancient life.

Institute of Electrical and Electronics Engineers (IEEE): 3D Data Processing Visualization and Transmission, 2002. Proceedings. Los Alamitos, Calif.: IEEE Computer Society, 2002, pp. 337-345

This paper describes the work performed for the ARCHEOGUIDE (Augmented Reality-based Cultural Heritage On-site GUIDE) project. ARCHEOGUIDE is funded by the EU IST framework (IST-1999-11306), and pursued by a consortium of European organizations. It delivers an interactive, personalized, augmented reality (AR) guide for the visualization of ruined archaeological sites. It is based on mobile real-time computing, networking, and 3D visualization. Its users are presented with monument reconstructions, navigation aid and historical information in a user-friendly way through the use of multi-modal interaction techniques. The key features of the system are a novel hybrid position and orientation tracking technique used in determining the user's viewpoint, navigation aid, outdoor operation, and real-time 3D visualization of monuments, artifacts, and life. This paper presents examples of the system's use at the archaeological site of Ancient Olympia in Greece.

Bartz, Dirk (Ed.) et al.: Fourth Eurographics Workshop on Parallel Graphics and Visualisation 2002. Proceedings. New York: ACM Press, 2002, pp. 33-37

One of the main shortcomings of current scene graphs is their inability to support multi-thread safe data structures. This work describes the general framework used by the OpenSG scene graph system to enable multiple concurrent threads to independently manipulate the scene graph without interfering with each other. Furthermore the extensions of the presented mechanisms needed to support cluster systems are discussed.

Krause, Frank-Lothar (Ed.) et al.: iViP: Leitprojekt integrierte Virtuelle Produktentstehung - Abschlussbericht Juni 2002. Stuttgart: Fraunhofer IRB Verlag, 2002, pp. 125-133

The development of a force feedback system for virtual assembly simulation was motivated by the lack of haptic feedback in these VR application domain allowing realistic interaction in real size with 6 degrees of freedom. The requirements for the system where analysed manly by the industrial partners DaimlerChrysler, BMW and VW. Based on them we developed hardware and software concepts and implemented them during the project "Development of a Force Feedback System for Virtual Environments", which was part of the integrated project iViP (integrated Virtual Product Creation) funded by the German Federal Ministry of Education and Research. The research partner DLR developed a 7 degrees of freedom lightweight robot with advanced control system suitable to use it as haptic device. The haptic rendering simulation was developed at IGD, based on a hybrid voxel and surface point representation of the scene, and integrated to a VR system. Usability tests with users from the industrial partners had positive results and guided the direction for further development.

In modern medicine, computer support becomes more and more important. Especially the combination of operation planing and the use of the planing results during an operation can help to optimize the work of surgeons. To use the planing data intraoperatively, the virtual world, containing the planing information must be matched with the real situation in the operation room. This is the goal of the Registration process. It determines a transformation to project preoperative data onto the patient inside the operation room. Actually this registration is done by fixing screws to the patient, which can be found within the CT dataset and measured mechanically during the operation. Affixing these screws efforts an additional operation and is an additional risk for the patient. The goal of this work was the evaluation of an alternative approach for the registration, using an intraoperative ultrasoundsystem, which is able to measure anatomical landmarks. To realize this task, a suited matching algorithm is used. This algorithm works on the segmented object of the anatomical region on one hand and on contours of the same region, measured by an intraoperatively attached ultrasound device on the other hand. The matching algorithm will find the transformation, which projects the contours onto the surface of the anatomical region. This transformation is the registration. In this diploma thesis a capable matching algorithm was founds and a system implementing this registration approach was developed and evaluated.

Bearman, David (Ed.) et al.: International Cultural Heritage Informatics Meeting. Proceedings : Cultural Heritage and Technologies in the Third Millennium. Mailand, 2001, pp. 57-71

In this paper, innovative technologies for the presentation of complex cultural heritage sites with immersive 3D computer graphics are introduced, wich are based on new concepts, partly having been adopted from other computer graphics areas to the specific needs for cultural heritage presentations, partly having been developed especially for this purpose. The main focus of this project was to develop new concepts for the integration of historical, architectural and cultural data related to a cultural heritage site, into an immersive Virtual REality (VR) Environment suited for presentation of the digital model. These concepts include digital storytelling, virtual 3D avatars and 3D agents. The 3D avatar was implemented as a virtual tourist guide, who accompanies the visitors on their tour and shows them the places of interest. Futhermore, specifics of the very detailed and complex digital models of cultural heritage sites are adressed, in order to meet the high quality requirements of an interactive 3D visualization. Special focus has been put on both the frame rate and the visual quality. Beside Level-of-detail mechanisms, texture-paging techniques have been developed to allow the use of very high resolution textures. Lighting simulation based on radiosity simulation, which ensure a high visual quality, have been extended for the efficient simulation of global illumination effects within very complex models- These new concepts and techniques have been successfully applied in the immersive VR presentation of a digital model of the cathedral of Siena, which has been shown to the public during the EXPO 2000 in Hannover.

Die Beschreibung von Oberflächeneigenschaften für das Computergraphik Rendering, kann eine schwierige Aufgabe sein. Um die Berechnung und die Integration in Graphikhardware zu vereinfachen, wurden eine Anzahl Beleuchtungsmodelle entwickelt. Diese Modelle machen es einfach und effizient Beleuchtung zu definieren und zu berechnen, limitieren jedoch die Ausdrucksstärke. Als eine Konsequenz daraus wurden andere Modelle entwickelt, die in high-end Animationen verwendet werden. Am flexibelsten ist die Benutzung einer Shading Language, die dem Designer einen großen Freiheitsgrad gibt kombiniert mit einer Abstraktion des unterliegenden Renderingsystems. Die am meisten bekannte und benutzte ist Pixar's RenderMan. Echtzeit rendering erreicht einen Punkt an dem die Ausdrucksmöglichkeiten, der standard Beleuchtungsmodelle nicht mehr ausreicht, um die gewünschten Oberflächeneffekte zu beschreiben. Einige Gruppen versuchen nun die Mächtigkeit einer Shading Language und die echtzeit Grafik zu kombinieren. Alle diese Systeme sind jedoch eigenständig und nicht Teil einer Visualisierungsumgebung. Diese Tatsache begrenzt ihre Nützlichkeit und verhindert, daß sie die bestmögliche Performance erreichen. Für diese Arbeit wurden die existierenden Shading Languages analysiert mit dem Ziel sie in einen modernen high level Scenengraphen, wie OpenSG, zu integrieren. Das Resultat dieser Analyse ist eine Shading Language, basierend auf der Stanford Real Time Shading Language. Um diese Sprache übersetzen zu können wurde ein Compiler implementiert. Der Compiler übersetzt mathematische Beschreibungen in Graphikprogrammierungsbefehle. Die Informationen, die in der Eingabedatei gegeben sind werden extrahiert und zu verschiedene Datenrepräsentationen weiterverarbeitet. Diese Repräsentationen werden danach zur Zwischendarstellung kombiniert, welche die Basis für die strukturelle Analyse und die Code Generierung bildet. Der Compiler kann mathematische Beschreibungen von Standard-OpenGL Materialeigenschaften und Lichtquellen in Programmcode, der in einen OpenSG Scenengraph eingefügt werden kann, abbilden. Er arbeitet mit mehren Texturen durch die Benutzung einer multi-pass Technik und unterstützt die dynamische Texturkoordinaten- erzeugung. Das System ist skalierbar gebaut, so daß weitere Funktionalitäten einfache hinzugefügt werden können.

Institute of Electrical and Electronics Engineers (IEEE): Proceedings of the 10th IEEE International Workshop on Enabling Technologies: Infrastructure for Collaborative Enterprises. Los Alamitos, Calif.: IEEE Computer Society, 2001, pp. 269-272

Rapid development of medical field, expanding knowledge base and new technologies require continuing medical education to achieve life long learning and to keep the surgeons up to date. Consequently, specific training is necessary to guarantee qualification of the surgeons. To overcome the current drawbacks of traditional training systems (on-the-job training, plastic models etc.) for laparoscopy/hysteroscopy an intelligent adaptable training environment has been realised using Virtual Reality (VR), Multimedia (MM) technology, ans Intelligent Tutoring Systems (ITS)

Takemura, Haruo (Ed.) et al.: IEEE Virtual Reality 2001Conference. Proceedings. Los Alamitos, Calif.: IEEE Computer Society, 2001, pp. 157-164

The Virtual Table presents stereoscopic graphics to usually a single user in a workbench like setting. This paper describes the pen and paper paradigm, which besides being an easy to use user interface for sketching or similar tasks, provides the possibility for several users to work on the Virtual Table at the same time. They are not only able to move objects or to sketch on them independly, but they even can view the objects they are working on in a stereoscopic mode with the correct perspective due to individual head tracking. This way the Virtual Table becomes usable for groups of users, too. At the same time the pen and paper paradigm in combination with two handed input creates a very intuitive user interface for drawing, sketching or painting tasks.

Fraunhofer IPK: Internationales Produktionstechnisches Kolloquium 2001. Vorträge : Unternehmenswerte durch Technologie. Berlin, 2001, pp. 143-149

Vor ca. 10 Jahren etablierten sich die ersten F&E-Arbeiten im Bereich der Virtuellen Realität speziell auch in Deutschland, wobei sich die VR-Systeme inzwischen in drei Generationen aufteilen lassen. Die erste Generation der VR-Systeme (´90-´95) war geprägt durch Datenhelm und Datenhandschuh, erste System-Prototypen, sowie die breite Suche nach konkreten Anwendungen. Diese wurden ab ca. 1995 vor allem im Automobilbau gefunden und rasant weiterentwickelt. Als Resultat hat sich VR heute als wichtiges Werkzeug im Kontext der digitalen Produktentwicklung etabliert. Dennoch waren die VR-Systeme der zweiten Generation (1995-2000) vor allem durch hohe Investitionskosten (speziell High-end-Graphikcomputer) in ihrem Anwendungsspektrum noch stark eingeschränkt. Fast zeitgleich entstand ein weiterer Forschungsbereich mit dem Namen Erweiterte Realität (Augmented Reality, AR). Steht im Bereich der Produktentwicklung der Umgang mit virtuellen Daten im Vordergrund, so bietet die Überlagerung dieser Informationen mit dem realen Produkt ganz neue Möglichkeiten zur Unterstützung der Produktion und der Wartung. Auch hier stehen inzwischen die ersten Systemprototypen zur Verfügung. Wie wird also die dritte Generation der VR-Systeme, bzw. die zweite Generation der AR-Systeme aussehen? Technisch gesehen spricht vieles dafür, diese Fragen nicht losgelöst voneinander zu betrachten, sondern vielmehr, nach Paul Milgram, im Sinne eines Mixed-Reality-Kontinuums. Diese Betrachtung wird im Rahmen dieses Aufsatzes näher beleuchtet.

Während die technischen Möglichkeiten zur Realisierung Virtueller Umgebungen immer umfangreicher und leistungsfähiger werden, steigt gleichzeitig auch die Komplexität bei der Erstellung dieser Welten. Der Autor benötigt Erfahrungen aus dem Bereich der Programmierung, da integrierte graphische Autorenwerkzeuge für VR fehlen. In dieser Diplomarbeit wird ein Konzept und eine prototypische Implementierung eines solchen graphischen Autorensystems präsentiert. Es ermöglicht die Erstellung und Editierung Virtueller Welten, denen ein Szenegraph zu Grunde liegt. In der Arbeit werden zunächst existierende Autorensysteme und Standards aus den Bereichen Multimedia, 3D-Animation und VR betrachtet. Aufbauend auf Ansätzen und Verfahren dieser Systeme wird ein Konzept für ein VR-Autorensystem präsentiert, das plattformunabhängig und erweiterbar ist, sowie über eine intuitive graphische Benutzeroberfläche die visuelle Erstellung und Editierung virtueller Welten ermöglicht. Das vorgestellte Komponenten- und Bibliothekenkonzept fördert dabei die Wiederverwendbarkeit häufig eingesetzter Objekte. Die prototypische Implementierung des vorgestellten Konzepts bedient sich des VRML97-Standards zur Verwaltung des Szenegraphen und Darstellung der Virtuellen Umgebungen. Unter Verwendung der graphischen Oberfläche können VRML-Welten erstellt und editiert werden, sowie die Dynamik bzw. das Verhalten der Objekte festgelegt werden. Die Arbeit ermöglicht somit die einfache und integrierte Erstellung virtueller Welten.

In dieser Arbeit wird zunächst der aktuelle Stand der Technik im Bereich der Virtuellen Endoskopie vorgestellt, darauf aufbauend wird ein Konzept zur Generierung von virtuellen Endoskopien präsentiert und implementiert. Basierend auf der Technik des Keyframing wird die manuelle Planung von Kameraflügen und die anschließende Generierung von Animationen ermöglicht. Dazu können mittels eines Volumenrenderers Schlüsselpositionen für einen Kameraflug durch anatomischen Strukturen markiert und in die Keyframes übernommen werden. Mit Hilfe des Kochanek-Bartels-Splines wird eine geglättete Kurve, die nachträglich modifiziert werden kann, durch die Schlüsselpositionen gelegt und für die Berechnung der Kamerapositionen verwendet. Die Einführung einer flexiblen virtuellen Kamera ermöglicht in den Keyframes eine unabhängige Definition von Bewegungsrichtung, Geschwindigkeit und Orientierung und somit für den Anwender die Möglichkeit einer individuellen Steuerung. Für eine weiche Interpolation der Kamera-Orientierung wird ein Verfahren basierend auf einem Look-At-Spline vorgestellt. Die gezielte Festlegung der Kameraeigenschaften erlaubt eine wesentlich verbesserte Beobachtung relevanter Details und trägt so zu einer gesteigerten Qualität der Animationen bei. Um abrupte Änderungen der Kamera-Orientierung zu reduzieren wurde ein Verfahren entwickelt, das auf der Berechnung des Kamera-Koordinatensystems mit einem festen Aufwärtsvektor basiert. Jedem Keyframe kann außerdem ein Etikett zugeordnet werden, das sowohl die Verwendung der Liste der Keyframes erleichtert, als auch Informationen in einer Animation zur Verfügung stellt. Mit Hilfe der Keyframes können die Einstellungen der virtuellen Kamera für jedes Bild eines Kamerafluges berechnet werden (Inbetweening). Diese dienen als Grundlage für die Durchführung von Kontrollsequenzen und auch der Berechnung der fertigen Animation.

Mit dem Radiosity-Verfahren ist es moeglich, den visuellen Realismus computergenerierter Szenen durch physikalische Beleuchtungssimulation zu verbessern. Im Bereich von Augmented Reality ist es nun wichtig, vorhandene Aufnahmen unter Beruecksichtigung der realen Beleuchtung beispielsweise durch das Einbringen von virtuellen Objekten zu veraendern. In dieser Arbeit wurde ein Verfahren zur Erweiterung von Fotos basierend auf einer Radiosity Simulation entwickelt. In die Radiosity Simulation werden zusaetzliche Objekte eingefuegt und das Ergebnis mit einer differentiellen Rendering-Technik ins Foto eingeblendet. Da im Normalfall die fuer eine Lichtsimulation notwendigen Parameter nicht vorliegen, wurden Verfahren zu deren Rekonstruktion aus Fotos entwickelt. Rekonstruiert werden kann die Geometrie der Szene mit der richtigen Kameraeinstellung sowie Eigenschaften der Materialien und der Lichtquelle. Virtuelle Objekte koennen interaktiv mit dem Mauszeiger im Foto bewegt werden und bei der Darstellung kann zwischen einer schnellen Loesung mit geringerer Qualitaet und einer langsamen Loesung mit hoher Qualitaet entschieden werden. Auch moeglich ist das Einbringen neuer Lichtquellen sowie die Aenderung der realen Lichtquellen und Materialien. Alle entwickelten Verfahren wurden in das Radiosity System GENESIS 2 integriert.

Die Landschaft im heutigen Ausbreitungsgebiet der Sahara hat sich in den letzten 20.000 Jahren stark verändert. Heute menschenleere Gebiete waren früher besiedelt. Die vorliegende Arbeit beschäftigt sich mit der Darstellung eines dreidimensionalen Geländemodells der Sahara im laufe der Zeit. Die verschiedenen Zustände des Gebietes (Wasserbedeckung, Flora und Fauna) werden animiert in Echtzeit dargestellt. Der Benutzer hat die Möglichkeit sich im Gelände und kontinuierlich in der Zeit zu bewegen und die jeweiligen Gegebenheiten zu erforschen. Der Anwendungsbereich "Öffentliche Ausstellung" erfordert, dass die wissenschaftlichen Inhalte in allgemein verständlicher Form vermittelt werden. Auf eine einfach zu handhabende Interaktion und Robustheit des Systems wurde daher Wert gelegt. Im wesentlichen beschäftigt sich die Arbeit mit drei Hauptpunkten: 1. Terrain Rendering Eine interaktive Geländedarstellung in maximaler Auflösung, ist bei der großen Anzahl der zu visualisierenden Polygone (über 8 Mio.) nicht möglich. Es wurde daher das Level of Detail Verfahren der "ROAMing" Algorithmus verwendet, um das Gelände zu rendern. Um Artefakte bei der Darstellung der Bodenbeschaffenheit zu vermeiden, wurde das Verfahren um sogenanntes "Color-ROAMing" erweitert. 2. Objektsimulation Pflanzen existierten nur zu bestimmten Zeiten an bestimmten Orten. Weiterhin folgen die jeweiligen Arten einem für sie charakteristischen Lebenszyklus. Es wurde ein Verfahren entwickelt, die Existenz von Objekten zu bestimmen und deren Entwicklung zu simulieren. Dem Betrachter wird damit die Möglichkeit eröffnet, die Landschaft zu jedem beliebigen Zeitpunkt zu erkunden und die Veränderungen im Laufe der Zeit kontinuierlich zu beobachten. 3. Darstellung komplexer Szenarien Zur Darstellung komplexer Szenarien, wie z.B. vorbeiziehende Tierherden, wurde eine Möglichkeit gefunden, vorhandenes Videomaterial in bestmöglicher Qualität in die Szene zu integrieren. Das Ausgangsmaterial wird skaliert und in einem "Virtuellen Fernglas" dargestellt.

Hamza, M.H. (Ed.): Proceedings of the IASTED International Conference Robotics and Manufacturing. Anaheim: IASTED/ACTA Press, 2001, p. 240-244

In this paper we present the idea of an user-oriented simulation method. The principle of using an user oriented simultation method enables the integration of a scientific simulation procedure in Virtual Environments (VEs) possible. Furthermore, we describe our approach to an easy and intuitive user interface for VEs that addresses the needs of the cable installation application as well as the user's needs. The UI concepts presented here can also be transferred to similar scientific visualization problems in other domains.

Hamza, M.H. (Ed.): Proceedings of the IASTED International Conference Modelling and Simulation. Anaheim: IASTED/ACTA Press, 2001, pp. 276-280

Installation of the wiring harness is one of the most complex and important procedures in both the car and aircraft industries. In an average car, more than two kilometres of wire, divided into 200 single cables, must be installed. In addition, upper class vehicles often need customer specific adaptions, which makes adjustments to the cable assembly necessary. To reduce prototype development costs physical mock-ups are increasingly replaced by digital mock-ups. But to maximize user acceptance a simulation of cable installation has to be as user friendly as possible. In this work, we present a cable installation system where the user works in a virtual environment (VE). Although techniques for easy navigation in 3D and efficient interaction with virtual objects have been presented previously, there is no standard approach to an easy and intuitive user-interface for VEs, which addresses the needs of the cable installation application as well as the user's needs. Furthermore, we try to derive general UI-concepts from our approach, which make our approach applicable to other domains

Kovacs, George (Ed.) et al.: Digital Enterprise Challenges : Live-Cycle Approach to Management and Production. Boston; Dordrecht; London: Kluwer Academic Publishers, 2002, pp. 84-94

In car- and aircraft industry virtual environments became an important technology in the product development process. The goal is to replace the physical mock-ups step by step with digital mock-ups. Using digital mock-ups the development time and the mock-up production costs can be reduced. The assumption is that digital mock-ups should have the same functionality as the physical mock-ups. Today bendable elements like cables, pipes or rubber plugs are not integrated in the virtual prototype development process. In this paper we analyse the integration of virtual cables in the digital mock-up development process. We also present a prototypical application in a virtual environment (VE), which one can use for the installation of a wiring harness and for assembly.

Barfield, Woodrow (Ed.) et al.: Fundamentals of Wearable Computers and Augmented Reality. Mahwah, New Jersey: Lawrence Erlbaum Associates, Inc., 2001, pp. 379-427

Augmented reality (AR) constitutes a very promising new user interface concept for many applications. In this chapter, we pay particular attention to developing AR technology for exterior construction applications, augmenting video sequences from construction sites with information stored in models. Such augmentations can tremendously benefit several business processes common to many construction projects. We are focussing on two approaches to augment the reality of construction sites. The first one augments video sequences of large outdoor sceneries with detailed models of prestigious new architectures, such as TV towers and bridges. Since such video sequences are very complex, we currently prerecord the sequences and employ off-line, interacticve techniques. The second approach operates on live video streams. The achieve robust real-time performance, we need to use simplified, "engineered" scenes. In particular, we place highly visible markers at precisely measured locations to aid the tracking process.

Autonome virtuelle Menschen sollten in der Lage sein, in ihrer virtuellen Umgebung selbständig Probleme zu lösen. Ausgehend von einem Animationssystem, das in zwei früheren Diplomarbeiten entwickelt wurde, wurde ein System für autonome virtuelle Menschen entwickelt. Die Basis des Systems besteht aus einem Framework zur Steuerung des Verhaltens des virtuellen Menschen. Es besteht aus drei Teilen: einem Wahrnehmungsmodul, das dem virtuellen Menschen Informationen über seine Umgebung liefert und Befehle des Benutzers weiterleitet, einem Planungssystem zum Erzeugen von Plänen, und einem Aktionsmanager, der die Pläne ausführt. Der Planer ist ein einfaches regel-basiertes (reaktives) Planungssystem, das durch spezialisierte Planungsalgorithmen ergänzt wird. Diese Planungsalgorithmen sollen schwierige Probleme lösen, für die der reaktive Planer nicht ausreicht. Als schwierige Probleme wurden Pfadsuchen und das Greifen von Objekten untersucht. Zur Pfadsuche benötigt man zunächst eine geeignete Repräsentation der Umgebung, auf der dann gesucht werden kann. Die benutzte Repräsentation benutzt den "grid-cell" Ansatz von Bandi. Als Suchalgorithmus wurde dann der A*-Algorithmus benutzt, der erweitert wurde, um Höhe, Breite, Schritthöhe und Schrittweite des virtuellen Menschen bei der Suche zu beachten. Des weiteren musste eine Verbindung zwischen dem Pfadsuchermodul, dem Animationsmodul und der Szene erstellt werden, um den virtuellen Menschen entlang dem gefundenen Pfad laufen zu lassen. Die Architektur des Systems integriert die Wahrnehmung, das Planungssystem mit den spezialisierten Planungsalgorithmen und den Aktionsmanager mit der graphischen Darstellung der Szene.

Dieser Arbeit beschreibt eine Simulation der Kruemmungsbewegungen festgewachsener Organismen (Pflanzen), die durch Licht induziert und in ihrer Richtung bestimmt werden (Phototropie). Die Kruemmung der Pflanze entsteht durch Wachstum. Das mathematisch-physikalische Modell basiert auf einem Masse-Feder-System, dessen struktureller Aufbau eigens zur Abbildung des Kruemmungsverhaltens entwickelt wurde. Aus diesem Modell geht eine kinematische Kette hervor. Sie ist das rechnerinterne Modell der Pflanze und dient als Grundlage fuer die graphische Abbildung. Auf die kinematische Kette werden pflanzenspezifische Eigenschaften abgebildet, welche sich direkt auf das Kruemmungsverhalten auswirken. Zur Bestimmung der Kruemmungsstärke wird die Dosis-Effekt-Kurve der Avena-Coleoptile (Avena = Hafer) herangezogen. Die Dosis-Effekt-Kurve gibt das Ausmass der Kruemmung an, wie sie durch eine bestimmte Beleuchtungsstaerke (Illuminance) ueber einen bestimmten Zeitraum ausgelöst wird. Die Gesamtlichtmenge berechnet sich aus allen im virtuellen Raum befindlichen Lichtquellen. Fuer jede Lichtquelle kann die Beleuchtungsstärke und die Belichtungsdauer individuell variiert werden. Die Kruemmungsrichtung geht aus den frei wählbaren Positionen der Lichtquellen und ihrer jeweils abgestrahlten Lichtmenge hervor. Das Ausmass der Kruemmung sowie die Kruemmungsrichtung können während der Wachstumsphase durch Manipulation der Lichtquellen beeinflusst werden. Die Veränderung der Wachstumsbedingung wirkt sich ebenso auf jede Verzweigung aus. Jede durch den Anwender bestimmte Verzweigung (Aeste) wird durch ein eigenes Masse-Feder-System abgebildet und separat berechnet. Abgerundet wird die graphische Ausgabe der Pflanze durch eine Auswahl verschiedener Blattformen.

Wolf, Gottfried (Ed.) et al.: Lead Projects. Human-Computer-Interaction. Proceedings : International Status Conference. Bonn: BMBF, 2001, pp. 105-109

Tracking, Sensors and Gestures addresses some of the basic technology components for the next generation of human-machine interaction techniques. Several research groups focus on the usage of computer vision based methods, the integration of sensor data and the application of those approaches in combination with new interaction paradigms in order to find new solutions for hands-free interaction, context-aware information visualization, and for virtual and augmented environments. The workshop "Tracking, Sensors and Gestures" has been held on July 3rd 2001 in Darmstadt in co-operation with all lead projects. 13 speakers from ARVIKA, EMBASSI, INVITE, MAP, MORPHA and SMARTKOM presented their research results and shared their experience with 46 participants in the area of -Static and dynamic gestures recognition -Face detection -Vision based methods for head tracking (position and orientation) -Vision based methods for person tracking -General tracking methods: -Fine tracking -Coarse tracking -Hybrid tracking This paper gives a brief overview over the work presented at this workshop.

Westwood, James D. (Ed.): Medicine Meets Virtual Reality 2001. Proceedings : Outer Space, Inner Space, Virtual Space. Amsterdam: IOS Press; Ohmsha, 2001. (Studies in Health Technology and Informatics 81), pp. 336-340

Hysteroscopy has already become an irreplaceable method in gynaecoloic diagnosis and therapy. In the diagnostic case the hysteroscope with a 30° optic is insert transvaginally, in the therapeutic case the resctoscope with a 12° optic is used. The endoscoppic intervention requires special surgical skills for endoscope handling and remote instrument control. To acquire these skills currently hands-on training in clinical praxis has become standard, which is linked with higher danger for the women. To overcome current drawbacks of traditional training methods the European project LAHYSTOTRAIN was set up, that tries to combine Virtual Reality (VR), Multimedia (MM) technology, and Intelligent Tutoring Systems (ITS) to develop an alternative training system for hysteroscopic interventions. The first prototype of the LAHYSTOTRAIN demonstrator has been shown on several European conferences. An evaluation of the system was performed, with the idea, to collect feedback and impressions, that should be considered in further developments. This paper presents the LAHYSTOTRAIN prototype and the results of these evaluations.

Richir, Simon (Ed.) et al.: Virtual Reality International Conference (VRIC) 2001. Proceedings, pp. 225-233

Rapid developments in the medical field, as an expanding knowledge base and emerging new technologies require continuing medical education to achieve life long learning and to keep the surgeons up to date. Consequently, specific training is necessary to guarantee qualification of the surgeons. The goal of LAHYSTOTRAIN is to overcome the current drawbacks of traditional training methods for laparoscopic/ hysteroscopic procedures. A computer-assisted simulator for training and quality control in laparoscopy and hysteroscopy is developed using Virtual Reality (VR), Multimedia (MM) technology, and Intelligent Tutoring Systems (ITS).

The International Society for Computer Assisted Orthopaedic Surgery: Computer Assisted Orthopaedic Surgery. Proceedings 2001

Zwei wesentliche Entwicklungen, die sich auf unterschiedlichen Gebieten - der Computergraphik und der Chirurgie - vollzogen haben, haben diese Arbeit geprägt. In der Computergraphik bilden Techniken der Virtuellen Realität (VR) eine neue Dimension in der Mensch-Maschine-Interaktion. In der Chirurgie hat ein Wechsel des Interaktionsparadigmas durch den Übergang von der offenen zur minimal invasiven Chirurgie stattgefunden. Im Rahmen dieser Arbeit wurde ein Konzept und modulares System entwickelt, mit dem sich das Objektverhalten anatomischer Strukturen unter Berücksichtigung des visuellen und haptischen Feedbacks als Reaktion auf die Manipulation mit chirurgischen Instrumenten simulieren läßt. Die Einsetzbarkeit dieses Konzepts wurde durch die Realisierung verschiedenster VR-basierter medizinischer Trainingssysteme gezeigt.

In dieser Arbeit wurde nach eingehender Studie nach Moeglichkeiten gesucht, einem kuenstlichen Menschen (Avatar) verschiedene Bewegungsmoeglichkeiten zu ermoeglichen. Diese Bewegungen sollten aufgrund vorgegebener Daten (maschinell erstellt mit Modellierungstools, gesampelt von echten Bewegungen) verarbeitet und abhaengig von Gelaendemerkmalen gemischt oder neu erzeugt werden. Zusaetzlich wurde die Moeglichkeit implementiert, mehrere Bewegungen zu halten, zwischen ihnen zu waehlen und zu ueberblenden oder gleichzeitig abzuspielen. Hierzu wurden einige Bewegungen getestet u.a. Ueberblendung von Stand nach langsamen Gang, schneller Gang bis hin zu Rennen (Ermoeglichung von verschiedenen "Geh-Geschwindigkeiten"). Die Animation wird key-frame unabhaengig erzeugt und basiert rein auf zeitgesteuerte Animation in Echtzeit. Die vorgegebenen Daten basieren auf dem BioVisionHierarchy (BVH) Format und werden in FHS Dateien umgewandelt. Der Avatar selbst besteht aus einer skelettbasierten Deformation. Zum Rendern wurde der Szenengraph OpenSG benutzt.

In dieser Diplomarbeit wurde ein System zur Rekonstruktion und Visualisierung von Massenautounfällen entwickelt. Es unterstützt die polizeilichen Sachbearbeiter vor allem bei sehr komplexen und schwer überschaubaren Autounfällen, an denen sehr viele Fahrzeuge beteiligt sind. Ausserdem gibt es der Justiz Hilfestellung bei der Vorstellung und Darstellung des Unfallhergangs, um eine effizientere Beweisführung zu ermöglichen. Auf diese Art und Weise können Spuren und Zeugenaussagen überschaubar dargestellt und verifiziert werden. Auch im privatrechtlichen Bereich kann das System zur Bestimmung von Schmerzensgeld- oder Schadensersatzansprüchen eingesetzt werden. Die polizeilichen Sachbearbeiter haben grosse Schwierigkeiten, den kompletten Unfallhergang mit den bestehenden Mitteln nachzuvollziehen. Bei der Durchführung der Rekonstruktion verliert man schnell den Überblick über die einzelnen Teilabläufe und die bisher rekonstruierten Fahrzeugkollisionen und Fahrzeugbewegungen. Ein grosses Problem ist dabei auch die Wiederholbarkeit einer durchgeführten Rekonstruktion. Eine erneute Rekonstruktion führt dann höchstwahrscheinlich nicht zum gleichen Ergebnis, alle Teilabläufe müssen erneut hergeleitet werden. Daher fällt auch eine Vorführung des rekonstruierten Unfallgeschehens schwer. Eine Demonstration des Unfallablaufs vor Gericht ist nahezu unmöglich. Das entwickelte Rekonstruktions- und Visualisierungssystem hilft nun zum einen bei der Durchführung der Rekonstruktion. Die einzelnen Teilabläufe des Unfalls können Schritt für Schritt bearbeitet werden, bleiben im System erhalten und stehen dem Benutzer jederzeit als Visualisierung zur Verfügung. Ausserdem hat der Benutzer den Überblick über alle Spuren an den Fahrzeugen, die daraus ermittelten Kollisionen und die daraus entstandenen Teilabläufe. Ein Massenunfall, der auf diese Art und Weise einmal rekonstruiert wurde, kann beliebig oft abgespielt werden. Dabei ist die Perspektive, aus der das Unfallgeschehen beobachtet wird, frei wählbar. Beispielsweise lassen sich bestimmte Zeugenaussagen kontrollieren, indem man den Unfallablauf aus der Sicht des Zeugen abspielt. Eine weitere Möglichkeit ist, mit einem Fahrzeug virtüll mitzufahren, um die Aussage oder das Verhalten des Fahrers zu überprüfen. Die graphische Darstellung in 3D wird mit Hilfe des szenengraphbasierten Renderingmoduls OpenSG durchgeführt.

ACM SIGGRAPH: VAST 2001: Proceedings of the International Symposium on Virtual Reality, Archaeology and Cultural Heritage. Glyfada, 2001, pp. 77-81; 364 (Color Plate)

This paper presents the optical tracking solution developed in theArcheoGuide project (The Augmented Reality based Cultural HeritageOn-site GUIDE, IST-1999-11306). The system enables torecover precisely the user head position and orientation at predetermined viewing location without the support of markers.The tracking approach is novel and bases on the real-time registration of the live video-image with so called "reference images" of the site. Once the matching between a live- and a reference-images could have been established, the virtual information can be presented correctly to the user, either using a 2D image warping transformation or after deduction of the current 3D position/orientation of the camera. The image matching algorithm represents the core of the tracking system. It must have real-time performance and be particulary robust to intensity and local changes. We opted for an analysis in frequency space and exploit the invariance properties of the Mellin-Fourier transform. The tracking system has been tested outdoor in the context of theArcheoguide project. It runs on a laptop at around 10 to 15 Hz and provides views of virtual monuments in a Head Mounted Display superposed to the ruins of the archaeological site.

Giagourta, Venetia (Ed.) et al.: International Conference on Augmented, Virtual Environments and Three-Dimensional Imaging. Proceedings 2001, pp. 1-5

In ARCHEOGUIDE (Augmented Reality based Cultural Heritage On-site GUIDE) is the acronym of a project pursued by a consortium of European organizations: Intracom S.A. (Greece), Fraunhofer Institute of Computer Graphics (IGD) (Germany), the Computer Graphics Center (ZGDV) (Germany), the Centro de Computacao Gráfica (CCG) (Portugal), A&C 2000 Srl (Italy), Post RealityS.A. (Greece) and the Hellenic Ministryof Culture (Greece). Funded by the EU IST framework (IST-1999-11306), the consortium is developing a system that will fundamentally change the way visitors view and learn about a cultural heritage site. In particular, we are designing and developing an Augmented Reality system that will allow the visitors to see computer-generated reconstruction of the site without cutting them off from the real surroundings of the site. As a first trial site, we have selected ancient Olympia in Greece, the famous birthplace of the Olympic games.

Fraunhofer Institute for Media Communication (IMK): Cast 01. Proceedings : Living in Mixed Realities. St. Augustin: Fraunhofer IMK, 2001, pp. 89-93

ARCHEOGUIDE (Augmented Reality-based Cultural Heritage On-site GUIDE) is the acronym of a project, funded by the EU IST framework (IST-1999-11306), and pursued by a consortium of European organizations. The system allows the user/visitor to experience a Virtual Reality world featuring computer-generated 3D reconstructions of ruined sites without isolating him from the "real world". The key feature of the system is the position and orientation tracking technique used in determining the user's viewpoint. This is an image registration technique based on phase correlation. This paper presents the technique in detail and gives practical examples of the application of the technique in the ARCHEOGUIDE system. In particular, it describes how calibrated reference images may be matched to live video by image transformation to the Fourier domain and phase calculation for translation, rotation, and scaling operations.

Institute of Electrical and Electronics Engineers (IEEE): IEEE and ACM International Symposium on Augmented Reality 2001. Proceedings.. Los Alamitos, Calif.: IEEE Computer Society, 2001, pp. 189-190

In this paper, a new concept for merkerless optical tracking called "tracking with reference images"is introduced. This concept provides a flexible and practicable framework and is especially relevant for outdoor augmented-reality applications, for which no tracking solution currently exists. The implementation is achieved using an image matching technique, which compares the current live video image with one or more of the reference images. The complete system has been tested outdoor in the context of a mobile AR-application for archeology. The system runs on a laptop at around 10 Hz and provides views of virtual monuments superposed to their ruins.

The Visual Computer, Vol.17 (2001), 3, pp. 179-184

For the local TV presentation of weather forecast data is important to have high-quality and fast visualisation of clouds. In this paper I present methods for the visualisation of clouds from data produced by a meteorological weather simulation. Isosurfacs, which are originally too coarse because of the data grid resolution are refined and deformed. The resulting geometry is used for cloud visualisation.

ACM SIGGRAPH: VAST 2001: Proceedings of the International Symposium on Virtual Reality, Archaeology and Cultural Heritage. Glyfada, 2001, pp. 131-139; 368 (Color Plate)

This paper presents the ARCHEOGUIDE project (Augmented Reality-based Cultural Heritage On-siteGUIDE). ARCHEOGUIDE is an IST project, funded by the EU, aiming at providing a personalized electronic guide and tour assistant to cultural site visitors. The system provides on-site help and Augmented Reality reconstructions of ancient ruins, based on user's position and orientation in the cultural site, and realtime image rendering. It incorporates a multimedia database of cultural material for on-line access to cultural data, virtual visits, and restoration information. It uses multi-modal user interfaces and personalizes the flow of information to its user's profile in order to cater for both professional and recreational users, and for applications ranging from archaeological research to education, multimedia publishing, and cultural tourism. This paper presents the ARCHEOGUIDE system and the experiences gained from the evaluation of an initial prototype by representative user groups at the archeological site of Olympia, Greece.

Westwood, James D. (Ed.): Medicine Meets Virtual Reality 2001. Proceedings : Outer Space, Inner Space, Virtual Space. Amsterdam: IOS Press; Ohmsha, 2001. (Studies in Health Technology and Informatics 81), pp. 561-563

Robot Assisted Surgery (RAS) Systems win more and more recognition in the field of orthopaedics. Especially in Hip Surgery RAS has proved to be suited for application in medical routine. Often Robot Assisted Surgery Systems consist of a planning- and an interoperative component. According to specifications done with the planning software the tools are driven. Benefits of the robot assisted surgery should be higher precision and a better surgical outcome. In the co-operation project of several Fraunhofer Institutes "RoMed" (Robots and Manipulators for Medical Application) an exemplary application of robot aided spine surgery is developed. The planning software used in this context is proposed in the remaining article.

Baciu, George (Ed.) et al.: Proceedings of the Game Technology Conference 2001. CD-ROM

A general framework for collision detection is presented. Then, we look at each stage and compare different approaches by extensive benchmarks. The result suggest a way to optimize the performance of the overall framework. A benchmarking procedure for comparing algorithms checking a pair of objects is presented and applied to three different hierarchical algorithms. A new convex algorithm is evaluated and compared with other approaches to the neighbor-finding problem.

Computer Graphik Edition is issued by Zentrum für graphische Datenverarbeitung e.V. (ZGDV, Computer Graphics Center). Publications include current developments in research and application of Computer Graphics. This book presents frameworks, algorithms, and techniques in order to make the application of virtual reality for virtual prototyping feasible. The contributions are in the following areas: high-level specification of virtual environments, efficient interaction metaphors and frameworks, real-time collision detection and response, physically-based simulation, tracking, and virtual prototyping application development. A framework for authoring virtual environments is proposed. The main premise for the proposed framework is that it should be easy for non-computer scientists to author virtual environments. Therefore, the concept of actions, events, inputs, and objects is introduced. These entities can be combined to virtual environments by the event-based approach.Collision detection is one of the enabling technologies for all kinds of physically-based simulation and for virtual prototyping. This book proposes a collision detection pipeline as a framework for collision detection modules. Subsequently, several algorithms for all stages of the collision detection modules. Subsequently, several algorithms for all stages of the collision detection pipeline are developed and evaluated. Interaction in virtual environments comprises many different aspects: device handling, processing input data, navigation, interaction paradigms, and physically-based object behavior. For all of them, techniques, frameworks, or algorithms are presented in this book, with a particular emphasis on their application to virtual prototyping. Finally, virtual prototyping is discussed in general, while the virtual assembly simulation application is described in more detail. All frameworks and algorithms have been implemented in the commercial VR system Virtual Design II.

Prasad, Brian (Ed.) et al.: Proceedings of the 8th ISPE International Conference on Concurrent Engineering: Research and Applications - CE2001 : Advances in Concurrent Engineering, pp. 425-434

Virtual assembly simulation is one of the most challenging applications of virtual reality. Robust and natural interaction techniques to perform the assembly tasks under investigation are essential as well as efficient methods for choosing from a large number of functionalities from inside the virtual environment. In this paper we present such techniques and methods, in particular multimodal input techniques including speech input and gesture recognition for controlling the system. We address precise positioning by novel approaches for constraining interactive motion of parts and tools, while a new natural grasping algorithm provides intuitive interaction. Finally, sliding contact simulation allows the user to create collision-free assembly paths efficiently. Preliminary results show that the array of functionality and techniques described in this paper is sufficiently mature so that virtual assembly simulation can be applied in the field.

Krause, Frank-Lothar (Ed.) et al.: iViP: Leitprojekt integrierte Virtuelle Produktentstehung - Fortschrittsbericht April 2001. Stuttgart: Fraunhofer IRB Verlag, 2001, pp. 128-134

In Augmented Reality (AR) real images and virtual images are overlaid in real time to produce the illusion of an enhanced world perception. AR needs a very exact determination of the camera position, in order to be able to combine the real and artificial objects correctly. To achieve the necessary accuracy optical tracking methods have been developed, which determine the camera position from markers with sub-pixel accuracy directly from the pictures. Those methods are however unstable with strong movements or if few marker are visible in the picture. Other tracking systems, like magnetic and acoustic trackers could help to solve those problems, but they do not supply the necessary accuracy. Hybrid tracking techniques consist of using different tracking systems at the same time which allows to compensate the weaknesses of each one. Therefore, a hybrid tracking system can satisfy the high tracking requirements of AR. In this work, the coupling of different tracking systems is examined. An emphasis is thereby on the combination of optical and acoustic trackers and optical and compass-based systems. In the first step the theory of a hybrid tracking method is developed and the requirements and constraints are described. Afterwards, this hybrid tracking method is implemented using a vision based tracking algorithm and a inertial-acoustic tracker. In order to test the different configurations of the method before apply them to the real application, a simulation environment has been created using Matlab. The development takes place in C/C++ under UNIX (SGI-IRIX) and Matlab. Finally the results obtained are presented and the conclusions and future possible enhancements discussed. The method can perform the tracking of the camera in a fast and robust way.

Die Finite Element Methode ist ein Verfahren, um das mechanische Verhalten von Materialien numerisch zu beschreiben. In den Ingenieurswissenschaften wird sie seit circa 20 Jahren eingesetzt und hat sich in der Forschung und der Praxis bewährt. Da in medizinischen Simulationen und Planungssystemen heute dazu übergegangen wird auch die Gewebeeigenschaften zu simulieren, bietet es sich an, mit der Finite Element Methode ein ausgereiftes Verfahren zu verwenden. Ziel dieser Arbeit ist die Entwicklung eines Verfahrens, mit dessen Hilfe die Belastung von Bandscheiben individuell, d.h. an patientenspezifischen Daten, simuliert werden kann. Dazu ist es nötig ein FEM-Gitter, beruhend auf patientenspezisischen Daten, zu erzeugen, ein Materialmodell zu entwickeln, das die Eigenschaften von Bandscheibengewebe nachbildet, und die Randbedingungen des gesamten Modells zu bestimmen. Anschließend soll die Integration in ein bestehendes Operationsplanungssystem möglich sein. Zur Erzeugung des FEM-Gitters wurden CT-Daten verwendet, aus denen zunächst ein dreidimensionales geometrisches Modell abgeleitet wurde. Aus diesem 3D-Modell wurde ein FEM-Gitter erzeugt, welches die Bedingungen erfüllt, die von den numerischen Algorithmen gestellt werden. Da die Anwendung der Finite Element Methode auf biologisches Gewebe bisher nicht weit verbreitet ist, mußten ein geeignetes Gewebemodell und die zugehörigen Parameter ausgewählt werden. Es wurden verschiedene Materialmodelle untersucht und schließlich das am besten geeignete, anisotrope Modell ausgewählt. Desweiteren wurden Randbedingungen festgelegt, die das Anbringen der Kräfte, die Lagerung des Gesamtmodells, bzw. die Kopplung der einzelnen Modellteile bestimmen. Zur Berechnung der auftretenden Kräfte wurde ein biomechanisches Modell eines Bewegungssegmentes der Wirbelsäule erstellt. Anhand dieses Modells wurden verschiedene Bewegungen bzw. Belastungen simuliert und die auftretenden Kräfte berechnet. Diese Belastungen dienten neben der Geometrie, der Randbedingungen und der Gewebeeigenschaften als Eingabegrößen für die verwendete FEM-Software (ANSYS). Mit Hilfe der Berechnungen konnten die Belastungen und deren Verteilung auf der Bandscheibenoberfläche berechnet werden. Die Ergebnisse können im Volumenrenderer visualisiert und mit den Tomographiedaten des Patienten überlagert werden. Das vorgestellte Verfahren erlaubt es, die Belastungen in den Bandscheiben zu quantifizieren und deren Verteilung darzustellen. Als Weiterentwicklung ist die Integration in ein Operationsplanungssystem denkbar, wodurch nicht nur der tatsächliche Zustand simuliert werden kann, sondern auch der potentielle Zustand nach einer Bandscheibenoperation unter Berücksichtigung der einsetztbaren Implantate. So könnte der Erfolg einer Operation im voraus besser abgeschätzt werden.

Lemke, Heinz U. (Ed.): Computer Assisted Radiology and Surgery (CARS) 2000. Proceedings. Amsterdam; Lausanne: Elsevier, 2000. (International Congress Series 1214), pp. 285-289

Computer assisted planning systems based on patient specific tomography data has been proofed to be useful in several medical fields. Patient's tomography data can be shown in several views and can be enhanced with additional information useful for the planing process. The STAN (Simulation Tool for Airflow in the human Nose) system overlaps patient data and CFD (computer fluid dynamics) data resulting from flow simulations of the airflow in the patient's nose channel. To verify the simulation results experimental investigations, and measurements are made in nasal models. Silicon Models of patient's nose channels are made to analyze flow characteristics. The CT or MR scans of the same patients are used as input data for the simulation. The experimental outcome is compared to the simulation results to validate this diagnostic approach.

Nanyang Technological University: Sixth International Conference on Control, Automation, Robotics and Vision (ICARCV 2000). Conference Proceedings : Intelligent Automation In The New Millenium

Total knee replacement (TKR) is a common orthopaedic surgical intervention and includes the removal of bone sections from the end of the femur and the top of the tibia for replacement by prosthetic components. Pain relief and functional improvement are predictable clinical results. But the accuracy of the alignment affects the surgical outcome and the longevity of the prosthesis. Hence, current total knee implantation systems attempt to align the knee joint in the mechanical axis for placement of the total knee components. These approaches use templates and plain radiographs for preoperative planning and alignment devices for bone cuts. To overcome the inherent inaccuracy of the presently used systems a computer-assisted planning system has been developed delivering the necessary control data for the intraoperative surgical robot system.

In dieser Arbeit wird die graphische Realisierung eines Avatars in 3D untersucht. Der Avatar soll in Systemen der Virtuellen Realität einsetzbar sein, somit ist die Echtzeitfähigkeit eine wichtige Anforderung. Der Begriff Avatar bezieht sich in dieser Arbeit auf das offene Konzept eines virtuellen Repräsentanten. Damit ist gemeint, dass die Steuerung auf verschiedene Art und Weise möglich ist. Das Modell des Avatars besteht aus einem Skelett und einem Polygonnetz des Körpers. Der Avatar wird mit Methoden der skelettbasierten Deformation animiert. Die Geometrie des Avatars verformt sich aufgrund der Skelettbewegung. Somit wird der Speicherbedarf für Geometriedaten minimiert und Bewegungen können spontan zur Laufzeit erzeugt werden. Im Rahmen der Arbeit wurde ein Prototyp erstellt, der die erwähnten Konzepte demonstriert. Verschiedene Ansätze und Methoden wurden eingesetzt und hinsichtlich des Realismus und der Rechenzeit analysiert.

In dieser Diplomarbeit wurden mehrere Algorithmen in das bestehende Kollisionsmodul des Interaktions- und Rendering-Systems "Virtual Design 2" des Fraunhofer Instituts für Graphische Datenverarbeitung integriert und Testszenarien entworfen, welche es ermöglichen die Abhängigkeiten verschiedener Kollisionsalgorithmen von Parametern wie zum Beispiel Objektkomplexität, Objektdichte oder Objektgeschwindigkeit genauer zu untersuchen. Die implementierte Test-Suite ermöglicht es, einzelne Experimente effektiv durchzuführen und die umfangreichen, gesammelten Daten effizient auszuwerten und dem Benutzer - auch in graphischer Form - zu präsentieren, so daß eine Bewertung der unterschiedlichen Algorithmen erleichtert werden kann.

Communications of the ACM, Vol.43 (2000), 7, pp. 95-101

This high-performance computer simulation of Europe's largest aquarium lets its human visitors interact with 25 species and about 1.000 individual creatures and plants.

Computer Graphics Forum, Vol.19 (2000), 3, pp. C-313 - C-319

Modern CAD/CAM and Virtual Reality applications cannot be imagined without the new class of interaction devices allowing the user direct interaction with computer generated scenes. Integrating such devices into existing or newly developed software is a complex task for a number of reasons. The set of devices is very heterogeneous in functionality and data formats. Most devices are difficult to handle by inexperienced users or need careful handling and calibration. After reviewing a number of existing systems, a novel approach to this problem is presented. A device interface that allows the flexible, hardware independent configuration and error robust operation, even reconfiguration and exchanges of interaction devices during operation, will be introduced. The system structure is discussed and novel communication protocols reducing latency are invented.

Computers & Graphics, Vol.24 (2000), 3, pp. 391-397

Sophisticated scientific visualization allows experts as well as lay persons to extract knowledge from complex data. This is particularly true for visualizing the massive amounts of data involved in meteorological observations and simulations. These are of special interest to scientists, to forecasters, and to the general public. The paper presents and discusses a range of solutions for meteorological visualization. Topics covered include systems for the production of TV weather forecasts, for the analysis of simulation output by experts, for weather information in the Web, and for meteorological visualization using Virtual Studio, Augmented Reality and Augmented Video technology.

In diesem Buch werden Verfahren zur qualitativen und quantitativen Beurteilung der Eignung wissenschaftlich-technischer Visualisierungen erarbeitet und evaluiert. Gegenstand dieser Arbeit ist die Untersuchung des Begriffes 'Visualisierungsqualität' mit dem Ziel, 'bessere' Visualisierungen erstellen zu können. Dabei zeigt sich, dass die Güte einer wissenschaftlich-technischen Visualisierung nicht nur von den zugrundeliegenden Daten sowie der Qualität der verwendeten Hard- und Software abhängt, sondern daß ein und dieselbe Visualisierung für unterschiedliche Benutzer mit unterschiedlichem Vorwissen, Zielen, Strategien, Vorlieben, ja selbst mit unterschiedlichen physiologischen Voraussetzungen (z.B. Fähigkeit zum Farbensehen, räumliches Vorstellungsvermögen, Fähigkeit zur schnellen Aufnahme von Informationen) ganz unterschiedlich gut geeignet sein kann. Die Verfügbarkeit und beginnende Verbreitung neuer Technologien, vor allem in Bezug auf Rechnernetze und Virtuelle Realität, führt zu neuen Müglichkeiten für die Visualisierung, die bei der Aufstellung von Bewertungskriterien berücksichtigt werden müssen. Aus diesem Grunde wird nach einer kurzen allgemeinen Einführung in die wissenschaftlich-technische Visualisierung auf Grundlagen sowie auf ein Bewertungsschema für die Visualisierungsqualität eingegangen. Ergänzend hierzu wird ein vom Autor durchgeführter Wahrnehmungstest dargestellt, der Grundlagen für weitergehende Tests legt und bereits wichtige Erkenntnisse in Bezug auf die Individualität der Visualisierungsqualität liefert. Die Haupterkenntnis aus diesen Arbeiten ist, daß die Annahme eines einheitlichen Wahrnehmungsprozesses mit entsprechend generellen optimalen Parametern für die Visualisierung ebenso abwegig ist wie ein einheitliches Benutzermodell des Visualisierungsbeobachters. Weitere Schwerpunkte dieser Arbeit sind die verteilte sowie die immersive Visualisierung. Hierzu wird jeweils der aktuelle Stand der Wissenschaft und Technik in Bezug auf Netzwerke und Virtuellen Realität dargestellt und allgemeine Konzepte für diese beiden Spezialfälle der Visualisierung aufgestellt. Dazu gehört jeweils ein Überblick wichtiger Beispiele aus der Literatur sowie eine etwas ausführlichere Darstellung eigener Arbeiten auf diesen Gebieten, welche die allgemein gehaltenen Konzepte in Bezug auf konkrete Anwendungsfelder nochmals illustrieren. Insgesamt stellt diese Arbeit aufgrund der entwickelten Modelle sowie deren Anwendung auf unterschiedlichste reale Anwendungsbereiche wissenschaftlich-technischer Visualisierung eine umfassende Untersuchung des Komplexes der Visualisierungsqualität dar.

In der Computergrafik und in virtuellen Welten entsteht oft das Problem, dass sich virtuelle Körper berühren. Im Vordergrund steht dabei die Konstruktion von virtuellen Prototypen. Konkret in dieser Arbeit geht es um die Prüfung von Kabelverbindungen auf Korrektheit, Zuverlässigkeit und Funktionalität. Dabei entstehen hohe Anforderungen speziell bei der Verlegung von virtuellen Kabeln. Es wird hier hauptsächlich die Echtzeitfähigkeit und die physikalische Korrektheit gefordert. Die Echtzeitfähigkeit bei bezieht sich in dieser Arbeit auf die schnelle Kollisionserkennung bei der Verlegung von solchen Kabeln. Die Hauptaufgabe dieser Diplomarbeit besteht in der schnellen Kollisionserkennung mittels voxelbasierter Objekte, da hier schon sehr gute Ergebnisse im Zusammenhang mit Haptischen Systemen erzielt wurden. In dieser Arbeit wird ein Algorithmus zur Umwandlung von Körpern vorgestellt, der aus diesen, welche durch Dreiecksnetze repräsentiert sind, Voxelkörper erzeugt. Weiterhin wurde ein Kollisionserkennungsalgorithmus entwickelt, der eine Kollision zwischen einem virtuellen Kabel und einem solchen Voxelkörper erkennt und entsprechend reagiert. Die Kollisionserkennung läuft dabei sehr schnell ab, wodurch genügend Potential für weitere Simulationsberechnungen vorhanden ist. In dieser Arbeit wird weiterhin ein Überblick über Algorithmen zur Umwandlung von Objekte in Voxelkörper sowie verschiedene Kollisionserkennugsalgorithmen gegeben. Weiterhin wird das System vorgestellt, in dem die entwickelten Algorithmen implementiert wurden. Schließlich wurden verschiedene Beispiele, in denen die Ergebnisse der Algorithmen illustriert sind, präsentiert.

Mulder, Jurriaan D. (Ed.) et al.: Virtual Environments 2000 : Proceedings of the Eurographics Workshop. Wien, New York: Springer, 2000. (Springer Computer Science), pp. 157-166

In today's automotive industy there is an increasing demand for VR technology, because it provides the possibility to switch from cost and time intensive physical mock up's (PMU) to digital mock up's (DMU). Furthermore the visualization and examination of simulation results is a very important aspect during the whole development cycle. Therefore tools are needed, which enable the users to work with DMU's, as well as simulation data sets in an efficient and intuitive way. In this paper we present the design of a VR user interface for evaluating simulation data sets. The design of the user interface is based on the basic intersction tasks (BIT's), introduced by Foley et. al.. This allows to generalize the results presented herein and to apply them to other domains.

Krause, Frank-Lothar (Ed.) et al.: Innovationsforum Virtuelle Produktentstehung. Vorträge / Proceedings. Berlin, 2000, pp. 287-302

Virtual Reality Technologien erhalten zunehmend Einzug in den industriellen Produktentstehungsprozeß. Die Integration von VR und CAD-Systemen, die Entwicklung neuer Interaktionsmetaphern und -schnittstellen, multimodale Präsentation virtueller Umgebungen, die Verwendung moderner Kommunikationstechnologien und die Entwicklung neuer Display-Technologien erweitern die Anwendungsbereiche von VR und AR nicht nur auf die klassischen Anwendungen der Computergraphik Modellierung und Visualisierung, sondern auch auf die Bereiche Produktvalidierung, Produktions- und Service-Unterstützung und kooperatives Arbeiten.

International Association for Mathematics and Computers in Simulation: 16th IMACS World Congress on Scientific Computation, Applied Mathematics and Simulation. New Brunswick: IMACS, 2000, pp. File 180-3 auf CD-ROM

The major goal of today's automotive industry is to shorten the time to market of new products, while spending less money on the whole development. One way to reach this goal is by replacing " physical mock-ups" (PMU) by digital mock up's (DMU), which are faster and cheaper to produce. Nevertheless PMU's have a big advantage when people have to interact with them. Obviously this can be done in a very natural way. Therefore ways have to be found to support the same level of intuitive interaction when using DMU's. VR is the key technology to fulfill this goal. In that paper we will focus on the design review process, which is an important aspect in the whole development cycle. There, experts discuss and evaluate the design and the functionality of the proposed solutions. The assessment is based on CAD data, as well as FE simulation data (e.g. crash). We will present an approach of integrating simulation data within a real-time environment and ways of interacting with these data. Furthermore we will discuss how a design review based on VR technology may look like. The proposed solutions are not bound to the automotive industry, they are also applicable to other domains.

Gesù, Vito De et al.: Proceedings of the Working Conference on Advanced Visual Interface. AVI 2000. New York: ACM Press, 2000, pp. 98-101

In today's automotive industry there is an increasing demand for VR technology, because it provides the possibility to switch from cost and time insensitive physical mock up's (PMU) to digital mock up's (DMU). Unfortunately many current VR applications are either limited in the way people can interact with them, or provide a large set of functions, which are hard to use. In this paper we present the design of a VR user interface for applications in the area of digital design review. The basic requirements of such an UI are the ease of use, and the ability to work simultaneosly with a group of people on one system. Furthermore we investigate the functional requirements for this kind of application, including navigation, manipulation, examination and documentation of flaws in the design of the models. Documentation is stored as HTML and could therefore be easily transmitted between different parties. The design of the user interface is based on the basic interaction tasks (BIT's), introduced by Foley et. al., which allow to build complex functionality on top of only a few interaction metaphors. Finally we evaluate the concept on a prototype implementation, done in cooperation with BMW AG.

Virtual Reality Applications Center: Fourth International Immersive Projection Technology Workshop [CD-ROM]

A new approach for the exact photometric and colorimetric reproduction of virtual environments on IPT screens is presented in this paper. Several independent factors that influence the display quality of IPT devices are addressed here, and a method for the automatic calibration of display devices to ensure photometric and colorimetric consistency is presented. As a result, each pixel of the screen reproduces exactly the desired luminance and color, as specified in the input data. Thus, the reliability of the presented images is extended to brightness, contrast and color perception, which are vital criteria in many application areas for the process of making decisions based on virtual prototypes. The calibration procedure is shown for an example application. Measurements from the IPT screens are compared with the desired values (which may result from measurements in a real environment or may have been simulated using global illumination simulation methods, for example), underlining the correctness of our approach.

Gauthier, Gilles (Ed.) et al.: Intelligent Tutoring Systems. Proceedings. Berlin, Heidelberg, New York: Springer, 2000. (Lecture Notes in Computer Science (LNCS) 1839), pp. 43-52

Minimally invasive surgery has revolutionised the surgeon's approach by using optical systems to inspect cavities of the human body and by using small instruments to perform surgical procedures. This paper presents the LAHYSTOTRAIN demonstrator a training system for laparoscopy and hysteroscopy, two types of minimally invasive surgery techniques, combining a Virtual Reality Simulator (VRS), which contains virtual anatomical structures and simulates endoscope surgical instruments, a Basic Training System (BTS), that provides web based theoretical training, and an agent-based tutoring system, the Advanced Training System (ATS), oriented to supervise the execution of the practical exercises providing proactive and reactive explanations and emulating the behaviour of some persons involved in the operating theatre like the nurse, assistant surgeon and anaesthetist.

Spierling, Ulrike (Ed.): Digital Storytelling - Tagungsband. Stuttgart: Fraunhofer IRB Verlag, 2000. (Computer Graphik Edition 02), pp. 3-12

Gegenstand dieses Beitrages ist es, am Beispiel des Projekts "Der Dom von Siena" zu zeigen, wie die Technologien der Virtuellen Realität eingesetzt werden kann, Kulturgüter zu präsentieren und Informationen über ihre Kunstwerke und Geschichte zu vermitteln.

Yu, Philip S. (Ed.): Second International Workshop on Advanced Issues of E-Commerce and Web-Based Information Systems. Proceedings 2000. Los Alamitos, Calif.: IEEE Computer Society, 2000, pp. 215-222

Nowadays, the Internet has become one of the most important means of communication. The powerfull architecture of the Internet makes conducting business possible. In e-commerce applications the amount of goods and the exchange of information are increasing. In order to make full use of the Internet's potential, a user-friendly access to information is needed for the optimal distribution of information and knowledge. User-friendliness means easy technical access and methods to enhance the users comprehension of the information. This can be achieved with the support of information visualization. Therefore, we have developed the WWWW model, which demostrates how e-commerce can benefit from visualization. The system PROSECO is designed as an open scalable framework architecture to easily provide and access any services needed for a distributed visualization of abstract data. We demonstrate the capabilities of our concepts by providing a user-friendly access to economic information.

Banissi, Ebad (Ed.): IEEE International Conference on Information Visualization 2000. Proceedings. Los Alamitos, Calif.: IEEE Computer Society, 2000

Information visualization is focused on abstract non-numerical data. To support any user to explore this information the knowledge crystallization cycle was defined. We have developed the iceberg metaphor which can be used to support the user in every single step of this knowledge crystallization cycle. The iceberg can be filled with almost any kind of abstract information. Then the iceberg metaphor can be used to perform a classification as well as a filtering of the information. Using this metaphor for visualization is very simple but effective because the graphical presentation correspondents to the information-inherent structure. Additionally, with the developed iceberg browser all interactions concerning the knowledge crystallization are controllable. Thus, we have found a very simple but effective way to support the user in the formation of knowledge with one single metaphor.

Das Ziel dieser Arbeit war es, die Wissenskristallisierung ökonomischer Daten zu unterstützen. Dazu wurde das System PROSECO (PROviding Services for ECOnomic data) entwickelt. Dies ist ein offenes Rahmensystem und dient dabei nicht nur dem technischen Zugang zu allen benötigten Informationen, sondern auch als virtuelle Plattform zur Integration von Wissenswerkzeugen und Modulen zur graphischen Darstellung, so daß der Anwender sich seine Arbeitsumgebung beliebig gestalten und zusammenstellen kann.

Skala, Vaclav: WSCG 2000. Conference Proceedings Vol. 1. Plzen: University of West Bohemia, 2000, pp. 20-27

The Internet now provides access to a number of repositories from which large data volumes can be available. Due to the huge amount of memory needed to store the data and hardware requirements to visualize them, there is a need for interactive visualization services for online data exploration and analysis. Therefore, we have investigated the requirements for a user-friendly access to information. Based on the resulting WWWW model, we have developed the system PROSECO, an open scalable framework architecture to easily provide and access any services needed for a distributed visualization of abstract data. We demonstrate the capabilities of our concepts by integrationg services in-to PROSECO to provide the workflow of an economist.

Der Radiologe, Vol.40 (2000), 3, pp. 290-294

Unzufriedenheit mit den traditionellen Ausbildungsmethoden in der endoskopischen Chirurgie führte zur Entwicklung eines Arthroskopietrainingssimulators, der Computergraphik und Techniken der Virtuellen Realität (VR) einsetzt. Basierend auf einem kernspintomographischen Bilddatensatz konnte mit Hilfe von Bildverarbeitungsmethoden und Visualisierungstechniken ein realistisches dreidimensionales Modell des Kniegelenks mit allen diagnostisch relevanten anatomischen Strukturen generiert und in den Simulator integriert werden. Die VR-Benutzer-Schnittstelle des Arthroskopietrainingssimulators besteht aus 2 Hauptkomponenten, der 3D-Interaktion, die das Führen der Instrumente realisiert, und der 2D-Benutzungsoberfläche, die das visuelle Feedback und die Kontrolle der Trainingsitzung ermöglicht. Auf diese Weise ist ein intuitives Handling der Instrumente garantiert. Der Chirurg ist in der Lage, eine arthroskopische Untersuchung an einen virtuellen Kniegelenk durchzuführen. Dazu sind auch erste Ansätze zur Simulation von Gewebeverformung implementiert, die aufgrund von Instrumenteinwirkungen auftreten.

Centers for Medical Robotics and Computer Assisted Surgery (MRCAS) at Carnegie Mellon University and UPMC Shadyside Hospital: Computer Assisted Orthopaedic Surgery. Proceedings. Pittsburgh, 2000, pp. 105-107

Total knee replacement (TKR) is a common orthopaedic surgical intervention and includes the removal of bone sections from the end of the femur and the top of the tibia for replacement by prosthetic components. Pain relief and functional improvement are predictable clinical results. But the accuracy of the alignment affects the surgical outcome and the longevity of the prosthesis. Hence, current total knee implantation systems attempt to align the knee joint in the mechanical axis for placement of the total knee components. These approaches use templates and plain radiographs for preoperative planning and alignment devices for bone cuts. To overcome the inherent inaccuracy of the presently used systems a computer-assisted planning system has been developed delivering the necessary control data for the intraoperative surgical robot system.

Westwood, James D. (Ed.): Medicine Meets Virtual Reality 2000. Proceedings : Envisioning Healing: Interactive Technology and the Patient-Practitioner Dialogue. Amsterdam: IOS Press; Ohmsha, 2000. (Studies in Health Technology and Informatics 70), pp. 214-219

Total knee replacement (TKR) is a common orthopaedic surgical intervention and includes the removal of bone sections from the end of the femur and the top of the tibia for replacement by prosthetic components. Pain relief and functional improvement are redictable clinical results. But the accuracy of the alignment affects the surgical outcome and the longevity of the prosthesis. Hence, current total knee implantation systems attempt to align the knee joint in the mechanical axis for placement of the total knee components. These approaches use templates and plain radiographs for preoperative planning and alignment devices for bone cuts. To overcome the inherent inaccuracy of the presently used systems a computer-assisted planning system has been developed delivering the necessary control data for the intraoperative surgical robot system.

Szczerbicka, Helena (Ed.) et al.: Modellierung, Simulation und Künstliche Intelligenz. Ghent: SCS-Europe, 2000, pp. 175-194

Unzufriedenheit mit den traditionellen Trainingsmethoden führte zur Entwicklung eines Arthroskopie-Trainingssimulators, der Computergraphik und Techniken der Virtuellen Realität (VR) einsetzt. Basierend auf einem kernspintomographischen Bilddatensatz konnte mit Hilfe von Bildverarbeitungsmethoden und Visualisierungstechniken ein realistisches dreidimensionales Modell des Kniegelenks mit allen diagnostisch relevanten anatomischen Strukturen generiert und in den Simulator integriert werden. Die VR-Benutzer-Schnittstelle des Arthroskopie-Trainingssimulators besteht aus zwei Hauptkomponenten, der 3D-Interaktion, die das Führen der Instrumente realisiert, und der 2D-Benutzungsoberfläche, die das visuelle Feedback und die Kontrolle der Trainingssitzung ermöglicht. Auf diese Weise ist ein intuitives Handling der Instrumente garantiert und der Chirurg ist in der Lage, eine arthroskopische Untersuchung an einem virtuellen Kniegelenk durchzuführen. Der VR-basierte Trainingssimulator stellt eine Alternative bzw. Ergänzung zu den traditionellen Trainingsmethoden dar, muß jedoch die Integration eines Kraftrückkopplungssystems, das gewebespezifische künstliche Widerstände erzeugt, und die Simulation von Verformungen - beides zur Zeit in der Entwicklung - zum Ziel haben, um die Akzeptanz weiter zu erhöhen.

In der chirurgischen Ausbildung stellen VR-basierte Trainingssimulatoren eine sinnvolle Alternative zu den traditionellen Trainingsmethoden dar. Mit Hilfe solcher Systeme ist ein Üben der komplizierten, minimal invasiven Eingriffe (z.B. Laparoskopie, Endoskopie) ohne Patientenkontakt möglich. Eine besondere Problematik in diesem Kontext bildet die Generierung eines realitätsnahen haptischen Feedbacks bei Interaktionen zwischen chirurgischen Instrumenten und anatomischen Strukturen. Diese Arbeit vermittelt einen Überblick über den Stand der Forschung im Bereich des haptischen Renderings und der haptischen Schnittstellen für medizinische Trainingssimulatoren. Kernstück der Arbeit bildet die Entwicklung eines allgemeinen Verfahrens zur haptischen Simulation minimal invasiver Eingriffe. Das Konzept beschreibt einen Algorithmus für oberflächenbasiertes haptisches Rendering mit strahlenbasierter Interaktion. Die Generierung von haptischen Reizen zur Simulation gewebespezifischer Eigenschaften wie Form, Steifigkeit, Elastizität, Viskosität und Oberflächeneffekten wie Textur und Reibung ist ebenso wichtiger Bestandteil des Konzepts wie ein Multithread-Modell. Diese Multithread-Struktur verbessert die Performanz und die Adaptierbarkeit des Systems. Insbesondere wird die Berechnung rotatorischer Kräfte und die Simulation von mehreren haptischen Schnittstellen eingeführt. Eine exemplarische Implementierung realisiert die Generierung von Force bzw. Torque Feedback mit zwei haptischen Schnittstellen vom Typ Laparoscopic Impulse EngineTM. Dabei wurden Forceupdate-Raten von weit über 1kHz erreicht. Ein Konzept zur Integration der haptischen Simulation in ein bestehendes VR-basiertes Traininssystem bildet den Abschluß der Arbeit.

Deutsche Lichttechnische Gesellschaft e.V. (LiTG): Licht 2000. Tagungsband. Goslar, 2000, pp. 447-456

In diesem Beitrag wird das Prinzip der Radiosity-Methode skizziert, und es werden Weiterentwicklungen dieses Verfahrens vorgestellt, die den effizienten Einsatz des Verfahrens in Szenen realistischer Größe ermöglichen und darüberhinaus interaktives Arbeiten in der dreidimensionalen, mit realistischen Beleuchtungsverhältnissen versehenen Szene erlauben. Durch den Einsatz derartiger Verfahren in Kombination mit Techniken der "Virtuellen Realität" (VR) lassen sich durch "Virtuelle Prototypen" auch im Bereich der qualitativen Beleuchtungsplanung Entwicklungskosten und -zeit einsparen. Anhand mehrerer Anwendungsbeispiele werden die Möglichkeiten derartiger Verfahren aufgezeigt. Die Palette der Anwendungen reicht dabei von Architekturprojekten bis hin zum Automobilbau.

Institute of Electrical and Electronics Engineers (IEEE): IEEE and ACM International Symposium on Augmented Reality 2000. Proceedings.. Los Alamitos, Calif.: IEEE Computer Society, 2000, pp. 30-36

Augmented man presents a vision of a new media technology, blending real and virtual world and has been developed in the context of an artistic exhibition. The visitor meets a virtual man, who seems to have emotions and who tries to get in contact by talking and asking questions. The application consists of augmented stereo videos, which are projected on a wall projection screen. The visitor sees himself like in a 3D mirror but with a new virtual person walking beside. The augmented man reacts topeople by approaching them or avoiding them. This paper gives a complete overview of the exhibition and presents artistical concepts and the technical realization. After explanations about motivation and background ideas, the modelling and the behavior coding of the virtual man is described. Rendering aspects, like multi-texturing and 3D augmented videos are discussed in detail in the following sections. The determination of the positions of the visitors is achieved by processing images of a camera fixed at the room ceiling. Combined with the stereo front cameras, we finally show how occlusions between real persons and the virtual man can be handled. The system works in real-time on a single machine with three video input streams and two graphic outputs.

Im Automobil- und Flugzeugbau werden immer häufiger virtuelle Prototypen verwendet, bei denen auch vermehrt Tests des physikalischen Verhaltensdurchgeführt werden. Dabei spielen spline-ähnliche Strukturen wie Schläuche, Kabel, Seile usw. eine große Rolle. Ein heutiges Auto enthält ca. 2 km Kabel, die zu Kabelbäumen zusammengefaßt werden. Die Kabel sollen nun im Auto verlegt werden. Dazu ist es nötig, daß sich die Kabel bei einer Deformation physikalisch korrekt verhalten. Weiterhin müssen die Kabel mit anderen Objekten interagieren können. Dazu gehört, daß man Kabel z.B. um Objekte herum verlegt. Die verwendeten Algorithmen müssen echtzeitfähig sein, um ein flüssiges und interaktives Arbeiten der Entwickler zu ermöglichen. Diese Diplom-Arbeit simuliert die Interaktion von Kabeln mit einer waagrechten Ebene in Echtzeit. Kabel können auf der Ebene gezogen werden. Dabei ist die Reibung zwischen Kabel und Ebene zu beachten. Das von mir verwendete physikalische Modell des Kabels verbindet die Knoten über starre Verbindungen. In den Knoten sind diese über Drehgelenke und Drehfedern miteinander verbunden. Die Parameter der Drehfeder geben die Eigenschaften des Kabels vor. Nach der Berechnung der Knotenpositionen mit dem von mir entwickelten Algorithmus werden die Kabelstücke zwischen den Knoten mit dem Algorithmus von P. Dähne interpoliert. Um das Ziehen des Kabels auf der Ebene nachbilden zu können, wurden vier Algorithmen entwickelt, die je nach Situation eingesetzt werden. Der Benutzer kann das Kabel über die Ebene hinausziehen. In dem Fall wird sich das Kabel nach unten neigen. Die Freigabe eines Kabelendes führt dazu, daß sich das Kabel streckt, falls es die Reibung der Ebene überwindet. Zuletzt kann der Benutzer einen Knoten bewegen. Hier wirdbei den Algorithmen unterschieden, ob dieser Knoten bewegliche oder unbewegliche Nachbarknoten hat. Die vorgestellten Algorithmen sind skalierbar, so daß der Anwender je nach verwendeter Hardwareplattform zwischen schneller Ausführung und Genauigkeit der Simulation wählen kann. Die Ergebnisse sind visuell stimmig und überzeugend und vermitteln schon bei geringer Genauigkeit den Eindruck physikalischer Korrektheit.

Skala, Vaclav: WSCG 2000. Conference Proceedings Vol. 1. Plzen: University of West Bohemia, 2000, pp. 192-196

For the local TV presentation of weather forecast data is important to have high-quality and fast visualisation of clouds. In this paper I present methods for the visualisation of clouds from data produced by a meteorological weather simulation. Isosurfacs, which are originally too coarse because of the data grid resolution are refined and deformed. The resulting geometry is used for cloud visualisation.

Westwood, James D. (Ed.): Medicine Meets Virtual Reality 2000. Proceedings : Envisioning Healing: Interactive Technology and the Patient-Practitioner Dialogue. Amsterdam: IOS Press; Ohmsha, 2000. (Studies in Health Technology and Informatics 70), pp. 359-364

Rapid developments in the medical field, as an expanding knowledge base and emerging new technologies require continuing medical education to achieve life long learning and to keep the surgeons up to date. Consequently, specific training is necessary to guarantee qualification of the surgeons. The goal of LAHYSTOTRAIN is to overcome the current drawbacks of traditional training methods for laparoscopic/hysteroscopic procedures. A computer-assisted simulator for training and quality control in laparoscopy and hysteroscopy is developed using Virtual Reality (VR), Multimedia (MM) technology, and Intelligent Tutoring Systems (ITS).

Lemke, Heinz U. (Ed.): Computer Assisted Radiology and Surgery (CARS) 2000. Proceedings. Amsterdam; Lausanne: Elsevier, 2000. (International Congress Series 1214), pp. 290-293

Rapid development in the medical field, an expanding knowledge base and upcoming technologies require a continuing medical education to achieve life long learning and to keep the surgeons up to date. Consequently, specific training is necessary to guarantee the qualification of the surgeon. In recent years several training systems have been developed using Virtual Reality (VR) techniques to overcome the current drawbacks of traditional training systems (on-the-job training, plastic models etc.). In a co-operation project of University Hospital in Mainz (Department of Otalaryngology Head and Neck Surgery) and the Technical University in Darmstadt the Nasal Endoscopy Simulator (NES) is developed. Similar to a scenario in a computer game several tasks grouped into levels have to be solved during the training process. These levels are starting with simple tasks in abstract virtual environments to train the handling of the endoscope and they are ending with scenarios using complex models of the endonasal sinus to train orientation as well as diagnostic and therapeutic procedures. During a simulated interventions errors of the trainee, for example collisions of instruments and high sensitive tissues, are detected and evaluated. The integrative adaptable training environment provides new opportunities in medical education and enhances the medical standard curriculum. This concept has a general applicability to other medical fields.

Cibulka, Pavol et al.: Spring Conference on Computer Graphics 1999. Proceedings. Band 2 : Conference Materials, Posters. Bratislava: Comenius University, Bratislava, 1999, pp. 107-115

This paper presents the concepts and realization of the Easi²Vis system which incorporates user modeling in a Web-based on-demand scientific visualization service. Using the latest Web technologies, the user can requset very individual images or animations which will beproduced exclusively for him/her on the fly by a a graphics server. By means of a user database, automatic user detection, and automatic detection of client properties, the system can offer hypertext documents and WWW applications that are specifically configured for eachindividual user. User preferences are stored and utilized to achieve this goal Thus, powerful and flexible visualization capabilities are available to every user in the Internet regardless of his/her personal hardware and software situation. Each user - lay person or expert - isable to adjust the visualization service to his/her specific needs. We call this approach the Easi²Vis (Everyone's Access to Sophisticated Individual Internet-based VISualizations) system, in which the WWW is used as a user-centered interface for accessing applications. The concepts of this approach are presented in this paper Easi²Vis was applied to a personal Web-based visualization service for meteorological data. Results of this work are also discussed.

Westwood, James D. (Ed.) et al.: Medicine Meets Virtual Reality 1999. Proceedings : The Convergence of Physical and Informational Technologies: Options for a New Era in Healthcare. Amsterdam: IOS Press, 1999. (Studies in Health Technology and Informatics 62), pp. 74-75

Kim, Myoung-Hee (Ed.) et al.: Advanced Medical Image Processing. Proceedings 1999. Darmstadt, 1999

Methods of Computational Fluid Dynamics (CFD) nowadays play an important role in the production process of the automotive industry. Progress made in recent years offers highly sophisticated airflow simulation models used in engineering for optimization and verification of aerodynamics. The key point of the Airflow Simulation Tool for Human Medical Application (ASTHMA) developed at the Darmstadt University of Technology in cooperation with the University Hospital in Greifswald is to use these techniques to support the rhinosurgeon in diagnosis and therapy planning. A system is developed that realizes a 3-D reconstruction of the endonasal cavaties based on computer tomography (CT) scans. This semiautomatic reconstruction method requires minimal manual intervention. The surface model is used to create an unstructured 3-D volume mesh suitable for Finite Volume simulations. In this way an individual simulation based on patient specific data can be realized. To verify the simulation result, experimental investigations, and measurements are made in nasal models at the University Hospital in Greifswald. The goal of this project is to investigate individual nasal complains and to detect respiratory disorders. Prior to performing a surgical procedure the surgeon should be able to simulate the disordered respiration and the optimized case expected after the intervention. In this way the effectiveness of surgical planing could be increased, resulting in a better surgical outcome.

Lemke, Heinz U. et al.: Computer Assisted Radiology and Surgery (CARS) '99. Proceedings. Amsterdam; Lausanne: Elsevier, 1999. (International Congress Series 1191), pp. 790-794

Methods of Computational Fluid Dynamics (CFD) nowadays play an important role in the production process of the automotive industry. Progress made in recent years offers highly sophisticated airflow simulation models used in engineering for optimization and verification of aerodynamics. The key point of the Airflow Simulation Tool for Human Medical Application (ASTHMA) developed at the Darmstadt University of Technology in cooperation with the University Hospital in Greifswald is to use these techniques to support the rhinosurgeon in diagnosis and therapy planning [1]. A system is developed that realizes a 3-D reconstruction of the endonasal cavaties based on computer tomography (CT) scans. This semiautomatic reconstruction method requires minimal manual intervention. The surface model is used to create an unstructured 3-D volume mesh suitable for Finite Volume simulations. In this way an individual simulation based on patient specific data can be realized. To verify the simulation result, experimental investigations, and measurements are made in nasal models at the University Hospital in Greifswald. The goal of this project is to investigate individual nasal complains and to detect respiratory disorders. Prior to performing a surgical procedure the surgeon should be able to simulate the disordered respiration and the optimized case expected after the intervention. In this way the effectiveness of surgical planing could be increased, resulting in a better surgical outcome.

Computer Aided Surgery, Vol.4 (1999), 5, pp. 281-285

Endonasal sinus surgery requires a great amount of training before it can be adequately performed. The complicated anatomy involved, the proximity of relevant structures, and the variability of the anatomy due to inborn or iatrogenic variations make several complications possible. Today cadaver dissections are the "gold standard" for surgical training. To overcome the drawbacks of traditional training methods the Fraunhofer Institute for Computer Graphics is currently developing a highly interactive medical simulation system for nasal endoscopy and endonasal sinus surgery in cooperation with the Mainz University Hospital. For the simulation of a rhinoscopic procedure not only the realization of the 3-D interaction and the geometric representation of the anatomical structures is necessary, but also a real-time simulation of the deformation behavior constraint by the instrument collisions. The challenge is to close the gap between a maximal degree of realism and the needed real-time conditions.

Biomedical Journal, (1999), 53, pp.4-6

In der modernen Medizin spielt die Verarbeitung medizinischer Bilddaten eine wichtige Rolle. Bildgebende Verfahren wie Röntgen-, Ultraschall- oder Kernspintomographieaufnahmen liefern große Datenmengen, mit denen eine Diagnose erstellt und die Therapie geplant wird. Hierbei muß der Mediziner aus den zweidimensional präsentierten Bilddaten die dreidimensionale Anatomie erschließen. Um dabei Unterstützung zu geben, ist eine 3D-Rekonstruktion der anatomischen Strukturen von Nutzen. Unter einer 3D-Rekonstruktion versteht man den Vorgang, für eine anatomische Struktur ein dreidimensionales Modell aus den gegebenen Bilddaten abzuleiten. Diese dreidimensionalen Repräsentationen können genutzt werden, den Arzt bei der Diagnose und Therapieplanung zu unterstützen. Eine wichtige Voraussetzung dafür ist eine intuitive benutzerfreundliche Mensch-Maschine Schnittstelle. Um intuitiv durch computergenerierte dreidimensionale Szenen zu navigieren, werden Techniken aus dem Bereich der Virtuellen Realität (VR) eingesetzt. Seit 1993 werden in der Abteilung Visualisierung und Virtuelle Realität des IGD Anwendungen von Virtueller Realität (VR) entwickelt, die in unterschiedlichen Gebieten der Medizin eingesetzt werden können. Die Aktivitäten der Gruppe Medizin und VR liegen hauptsächlich in den folgenden Bereichen: - Anatomische Ausbildung - Chirurgisches Training - Operationsplanung In diesem Artikel werden einige aktuelle Projekte vorgestellt, die Möglichkeiten zeigen, VR in der Medizin einzusetzen.

This work addresses the concept and implementation of haptic-thermal feedback as an innovative interaction technique towards full immersion in Virtual Environments. The original contribution presented and discussed brings together the disciplines and techniques involved in three distinct areas of research - Virtual Environments, Advanced Rendering Techniques, and Heat Transfer. These include, among others, the development of haptic interfaces. Thus, a hardware prototype was developed, and is described as a haptic-thermal display of the computed heat fluxes. Through this interaction loop the user will have the opportunity to have both the realistic rendered scene and a haptic perception.

Computers & Graphics, Vol.23 (1999), 3, pp. 389 - 403

Business process re-engineering is becoming a main focus in today's efforts to overcome problems and deficits in the automotive and aerospace industries (e.g., integration in international markets, product complexity, increasing number of product variants, reduction in product development time and cost). In this paper, we investigate the steps needed to apply virtual reality (VR) for virtual prototyping (VP) to verify assembly and maintenance processes. After a review of today's business process in vehicle prototyping, we discuss CAD-VR data integration and identify new requirements for design quality. We present several new interaction paradigms so that engineers and designers can experiment naturally with the prototype. Finally, a user survey evaluates some of the paradigms and the acceptance and feasibility of virtual prototyping for our key process. The results show that VR will play an important role for VP in the near future.

Gröller, Eduard (Ed.) et al.: Data Visualization '99 : Proceedings of the Joint Eurographics and IEEE TCVG Symposium on Visualization. Wien: Springer, 1999. (Springer Computer Science), pp. 261-266

Sophisticated visualization enables experts as well as lay persons to extract knowlegde from complex data. This is particularly true for visualising the massive amounts of data involved in meteorological observations and simulations. These are of interest to scientists, to forecasters, and to the general public. The paper presents and discusses a range of solutions for meteorlogical visualization. Tpoics covered include systems for the production of TV weather forecasts, for the analysis ofsimulation output by experts, for personalised weather information in the Web, and for meteorological visualisation using Virtual Studio and Augmented Reality technology.

Nakahara, N. (Ed.) et al.: Building Simulation '99. Proceedings, Vol. 1, pp. 377-383

For improving feedback about thermal simulation results from engineers to architects, it is desirable to present them in the three-dimensional context of the building. In this paper, we present a system for improved thermal simulation and interactive 3D visualisation of the results. We describe extensions of the physically-based rendering system GENESIS-2 towards: interactive reduction of complex CAD-models for use in building simulation (tesselation/decimation techniques); calculation of thermal comfort; user-friendly interfaces for results exchange and their display within interactive Virtual Environments. A highlight goes to the fact that the reduced thermal model is exported in STEP language, following a new technical notice of the German Engineers Society (VDI) 6021 "Data Exchange for Thermal Load Simulations". Also, radiation onto walls is simulated by the radiosity method within GENESIS-2. The thermal simulations are then performed by TRNSYS, using an import filter for VDI 6021. The results of this simulation are transferred back to the GENESIS-2 system, where the thermal comfort is calculated according to Fanger's rule. Finally, the simulation results are visualised in the context of the original CAD-model of the building, enabling the user to interactively walk through the building and examine in real-time the simulated results. Thus, location-dependent comfort temperatures can be displayed even with a single zone model.

In dieser Arbeit wurde ein Verfahren zur Verbesserung der Interaktion in virtueller Realität entwickelt. Ziel der Arbeit war es, ein flexibles, erweiterbares Verfahren zu haben, das mit verschiedensten Handmodellen umgehen kann und dem neue Interaktionsmetaphern leicht hinzugefügt werden können. Die Arbeit entwickelt mit Hilfe der Beispiele "Geist", "Greifen" und "Verschieben" ein gemeinsames Modell dem diese Beispiele untergeordnet werden können. Die Basis dieses Modells bildet das Anschmiegen. Die von einem Datenhandschuh gelieferten Informationen für die virtuelle Hand werden durch das Verfahren, im Falle des Eindringens der virtuellen Hand in ein anderes Objekt, so modifiziert, daß die virtuelle Hand statt dessen dicht am Objekt anliegt. Durch diese Korrektur ist es dann möglich, mit Hilfe der aus der Größe der Korrektur gewonnenen Informationen, eine Kontaktanalyse durchzuführen und zu entscheiden, ob das Objekt egriffen oder verschoben wird. Nach der Enscheidung werden dann die entsprechenden Aktionen ausgelöst und durchgeführt. Die Flexibilität des Verfahrens wird durch eine Konfigurationsdatei ermöglicht. In dieser wird die Hierarchie der Handgeometrien aufgebaut und gleichzeitig die Verbindung zu den Eingabedaten hergestellt. Das erlaubt es andere Objekte als nur eine Hand zu modellieren und zu steuern. Das Verfahren ist gegenüber den bisherigen Modellen ein deutlicher Fortschritt, so ist der Benutzer nicht mehr darauf angewiesen Tastatuereingaben oder Gesten zur Greifaktivierung zu nutzen, seine Arbeit in der VR ist deutlich näher an der gewohnten Nutzung der Hand in der Realität als bisher.

Gervautz, Michael (Ed.) et al.: Virtual Environments '99. Proceedings : Proceedings of the Eurographics Workshop. Wien, New York: Springer International, 1999. (Springer Computer Science), pp. 53-62

Augmented reality (AR) constitutes a very powerful three-dimensional user interface for many "hands-on" application scenarios in which users cannot sit at a conventional desktop computer. To fully exploit the AR paradigm, the computer must not only augment the real world, it also has to accept feedback from it. Such feedback is typically collected via gesture languages, 3D pointers, or speech input - all tools which expect users to communicate with the computer about their work at a meta-level rather than just letting them pursue their task. When the computer is capable of deducing progress directly from changes in the real world, the need for special abstract communication interfaces can be reduced or even eliminated. In this paper, we present an optical approach for analyzing and tracking users and the objects they work with. In contrast to emerging workbench and metaDESK approaches, our system can be set up in any room after quickly placing a fe4w know optical targets in the scene. We present three demonstration scenarios to illustrate the overall conceot and potential of our approach and then discuss the research issues involved.

Computers & Graphics, Vol.23 (1999), pp. 827-830

Augmented reality (AR) constitutes a very powerful three-dimensional user interface for many "hands-on" application scenarios. To fully exploit the AR paradigm, the computer must not only augment the real world, but also accept feedback from it. In this paper, we present an optical approach for collecting such feedback by analyzing video sequences to track users and the objects they work with. Our system can be set up in any room after quickly placing a few known optical targets in the scene. We present two demonstration scenarios to illustrate the overall concept and potential of our approach and then discuss the research issues involved.

In dieser Arbeit wird ein Modul zur Animation eines Virtuellen Menschen (VH) mit Anbindung an die bestehende Virtuelle Cockpitsimulation am Fachgebiet Flugmechanik & Regelungstechnik erstellt. Die Animation der sogenannten Avatare für Pilot und Kopilot wird hierbei stark an die speziellen Rahmenbedingungen, die sich bei der Simulation eines Piloten sowie durch das Virtuelle Cockpit (VC) ergeben, angelehnt entwickelt. Durch die optische Präsenz von Piloten in der virtuellen Welt wird verteiltes Training ermöglicht. Die Benutzer können sich nicht nur in der virtuellen Welt bewegen und sie manipulieren, sondern auch die Bewegungen und Aktionen des jeweils anderen Benutzers sehen. Des weiteren wird die eigene Immersion des Benutzers verbessert. Man kann zusätzlich zu den Bewegungen der Hände den ganzen Körper im Raum wahrnehmen. Dis ist insbesondere bei den Bewegungen der Arme von Vorteil. Die Animation der virtuellen Piloten erfolgt durch Motion Capturing. Es werden hierzu vier elektromagnetische Tracker verwendet. Um die Echtzeitfähigkeit des Moduls sicherzustellen, wird die in der Robotik entwickelte algebraische Lösung der inversen Kinematik verwendt.

Computer Graphics Forum, Vol.18 (1999), 3, pp. C-257 - C-263

Virtual Reality can present historical places in a three-dimensional and interactive way, giving visitors a photorealistic impression of objects. Not only existing scenarios can be shown, but VR can also be used to rebuild scenarios that were damaged or destroyed a long time ago, giving new life to the cultural heritage. We used Virtual Reality to present the Mogao Grottos in Dunhuang. This cave site is one of the most important cultural and religious places by the ancient Silk Road. The presentation is to give visitors the impression of visiting the cave site and provide information about the caves, paintings and statues in an interesting way. To achieve this, we developed a new, intuitive interaction paradigm, which enables the user to explore the caves. To give observers a photorealistic impression of the caves and to create a feeling of immersion, innovative rendering techniques were integrated. The resulting presentation combines Virtual Reality and archaeology to give tourists a realistic experience of this cave site and to support scientists in their research work.

Dotzler, Gerhard: Computer Art Faszination 1999 : Hersteller und Dienstleister 1999. Frankfurt/M.: dot-Verlag, 1999, pp. 54-57

Mudur, S.P. (Ed.) et al.: International Conference on Visual Computing : ICVC 99. Pre-Conference Proceedings. IFIP, 1999, pp. 88-94

Virtual Reality (VR) became an important technology for the daily development process. One example is the use of "digital mock-ups" with teh aim to reduce the number of prototypes in order to minimise product development times in costs. A far less known technology is described by the term "Augmented Reality". As an extension of Virtual Reality, this technology integrates virtual information into a real environment. In this paper, an overview of existing solutions in both areas and the potential for future developement areas are presented.

Bullinger, Hans-Jörg (Ed.) et al.: 3. International Immersive Projection Technology Workshop. Berlin u.a.: Springer-Verlag, 1999. (Forschung und Praxis. IPA/IAO FhG T 52), pp. 191-200

Multi-screen projection displays (MSPD) are not really new, but new and rare enough to nothaving influenced graphics hardware and software to natively fit their needs. This article describes how to integrate the special needs of MSPDs into a standart graphics rendering-pipeline. UUsing the example of OpenGL, the by far most widely used graphics API for interactive and immersive graphic systems, the viewing pipeline is examined for changes needed to accommodate MSPDs. The main focus lies on which functionalities are influenced by these changes and which features need special care to work on MSPDs. The resulting artifacts are examined and classified. Important aspects are lighting continuity across edges, including specular highlights, environment mapping and fog. Alternative solutions of making them work are examined for their performance implications and possible interoperability problems.

Um eine stabile finite Elemente oder Masse-Feder Simulation berechnen zu können, muß das zugrundeliegende Gitter bestimmten Anforderungen genügen: Die Gitterstäbe sollten ungefähr gleich lang sein, die Gitterelemente sollten eine Tedraederform besitzen, es darf keine allzu stumpen und allzu spitzen Winkel geben und die vorgegebene Oberfläche des zu triangulierenden Körpers sollte möglichst gut approximiert werden. Im Rahmen der Diplomarbeit wurde der Oberflächentriangulierungs-Algorithmus von Fang [Fang1] zu einem Volumentriangulierer weiterentwickelt. Er stammt aus dem Bereich der rekursiv aufbauenden Algorithmen und liefert eine Delaunay Triangulierung, die die geforderten Eigenschaften erfüllt. In jedem Schritt wird, von einem Initial-Tedraeder ausgehend, ein weiterer Punkt der zu triangulierenden Punktemenge so einfügt, daß immer die leere Umkugelbedingung der Delaunay Triangulierung gewährleistet ist. Grundidee des Algorithmus ist es, die zu bearbeitenden Dreiecksflächen in einer zentralen Liste zu verwalten. Die Berechnung läuft so lange, bis diese zentrale Liste abgearbeitet wurde. Bei jeder neu entstehenden Fläche sind die Berührfälle mit bereits vorhandenen Flächen zu prüfen und danach entsprechend umzusetzen, so daß keine Kantenschnitte oder sich durchdringende Tedraeder entstehen. Um die Punktsuche zu beschleunigen wird der Raum in Zellen eingeteilt, so daß nur die Zellen um eine Dreiecksfläche herum nach einem neuen günstigen Punkt absucht werden. Dadurch wird vermieden, daß immer die gesamte Punktmenge durchsucht werden muß, um den passenden Punkt für einen neuen Tedraeder zu finden. Mit Hilfe des in der Diplomarbeit entwickelten robusten und stabilen Algorithmus kann man vorgegebene konvexe Körper, die durch eine polygonale Oberfläche beschrieben werden, mit Punkten füllen und über diesen Punkte dann eine Delaunay Triangulierung berechnen. Dadurch ist es möglich volumenenthaltende elastische Verformungen von Körpern mit auf der Triangulierung aufsetzenden Methoden der finiten Elemente Rechnung zu simulieren.

Skala, Vaclav (Ed.): WSCG `99. Conference Proceedings Vol. 1. Plzen: University of West Bohemia, 1999, pp. 257-264

In this paper, we introduce a new method for providing realtime shadow feedback in interactive environments with global illumination simulated by a radiosity process. Several approaches for updating global illumination in dynamic environments have been presented in recent years, but none of these can produce true realtime feedback for moderately complex scenes. The realtime shadows presented here are created by manipulating the vertex colors resulting from a previous radiosity calculation. The notion of multipoints is introduced, that allow significant speed-up of the shading process. This method works on the same scene representation as the radiosity simulation does. We show how the multipoint shading method can be integrated into a Virtual Reality system, in combination with a radiosity update process. Thus, our system provides realtime shadows during user interaction and still enables correct soft radiosity shadows to be updated after the interaction has been finished. The visual appearance of the realtime shadows is similar to the radiosity shadows, and its visual quality can easily be controlled by the user, which makes the method adjustable and thus applicable to complex environments.

Bullinger, Hans-Jörg (Ed.) et al.: 3. International Immersive Projection Technology Workshop. Berlin u.a.: Springer-Verlag, 1999. (Forschung und Praxis. IPA/IAO FhG T 52), pp. 281-292

Luminance and contrast are very important characteristis of immersive display devices and have great impact on the perceived quality of an immersive VR presentation. In this paper, we report on results from measurements we performed on a passive large-screen front projection and in a five-sided CAVE. Weexamined luminance range and color representation as well as luminace distribution across the screen, interreflection effects, and other properties. Implications of the measured values are explained, taking into account the perceptual issues of the human visual system, and example applications are presented. Based on the results, the critical aspects for the visual quality of large-scale immersive projection devices are identified.

Lischinski, Dani (Ed.) et al.: Rendering Techniques '99 : Proceedings of the Eurographics Workshop. Wien, New York: Springer, 1999. (Springer Computer Science), pp. 233-242

The line-space hierarchy is a very powerful approach for the efficient update of radiosity solutions accrding to geometry changes. However, it suffers from its enormous memory consumption when storing shafts for the entire scene. We propose a method for reducingthe memory requirements of the line-space hierarchy by the dynamic management of shaft storage. We store shaft information only locally for those parts of the scene that are currently affected by the geometry change. When the dynamic object enters new regions, new shaft data has to be computed, but on the other hand we can get rid of outdated data 'behind' the dynamic object. Simple movement prediction schemes are applied, so that we can provide shaft data to the radiosity update process in time when needed. We show how storage management and pre-calculation of shafts can be efficiently performed in parallel to the radiosity update process itself.

Institute of Electrical and Electronics Engineers (IEEE): Proceedings of the 2nd IEEE and ACM International Workshop on Augmented Reality '99. Los Alamitos, Calif.: IEEE Computer Society, 1999, pp. 95-102

Calibration is the first step of image augmentation. Classical approaches compute the projection matrix given 3D points of the scene and their 2D image correspondences. Different auto-calibration algorithms have been recently developed by the computer vision communicty. They do not use 2D-3D correspondences, but need many 2D-2D correspondences over long sequence of images to provide stable results. In this article we propose a calibration propagation procedure, which is in-between the two previous approaches. Starting from one calibrated image, the unknown camera parameters and position are computed for a second image. In particular, this paper presents a method for extracting the focal length and the 3D structure, while other camera intrinsic parameters remain invariant. In practice for many professional cameras the principal point is approximately at the center of the image and the aspect ratio is given by camera specification. Calibration propagation is relevant to augmented reality applications, e.g. video see through HMD with zooming capability, since it enables image augmentation for a number of camera views with changing intrinsic parameters. In this paper we present results on synthetic images showing the theoretical validity and performance of the method. We then use real data to demonstrate the potential of this approach for image augmentation applications in industrial maintenance assistance and architectural design.

Die Forschung im Bereich der Virtuellen Umgebungen hat in den letzten Jahren einen starken Wandel erfahren. Zu Beginn stand vor allem die Steigerung der Bildqualität im Vordergrund der Entwicklung. Um einen noch höheren Grad des Realismus zu erreichen, müssen natürliche Phänomene integriert werden. So erwartet man unterbewußt, daß sich die Erfahrungen aus der realen auch in der virtuellen Welt wiederspiegeln. Dies betrifft schon ganz einfache Situationen, wie eine Kaffeetasse, die zu Boden fällt, wenn man sie vom Tisch stößt. Die Arbeit beschäftigt sich mit der Integration physikalisch basierter Simulationen in Virtuellen Umgebungen. Um dieses Ziel zu erreichen werden verschiedene Strategien untersucht, die die notwendige Echtzeitfähigkeit der Simulationen sicherstellen sollen.

Westwood, James D. (Ed.) et al.: Medicine Meets Virtual Reality 1999. Proceedings : The Convergence of Physical and Informational Technologies: Options for a New Era in Healthcare. Amsterdam: IOS Press, 1999. (Studies in Health Technology and Informatics 62), pp. 381-383

In the context of medicine cutting is one of the most important operations. Many surgical tasks start with an incision, allowing the surgeon to access the region of interest, using either conventional or minimal invasive surgery techniques. The work presented herein should be seen in the context of surgical training and preoperative planning using computer assisted medical simulation systems. The main result of this work is teh proposed cutting algorithm based on predefined templates. To integrate this approach in the existing surgical training simulator and to handle additional tasks like soft tissue deformation, needed by the medical environment, a generic simulation framework was developed. This framework is able to utilize given multiprocessor- and network-environments to achieve the desired realtime interactivity.

Internationales Wissenschaftliches Kolloquium 1998 : International Scientific Colloquium. Proceedings 1998. Ilmenau, 1998. (Internationales Wissenschaftliches Kolloquium Vol. 43; No 2), pp. 3-16

Im November 1996 wurde eine 3-Seiten CAVE [2] am Fraunhofer-IGD installiert. Diese Anlage bestand aus zwei Seitenwänden und einer Bodenprojektion mit einer Projektionsfläche von jeweils 2,4 m ´ 2,4 m. Mit Hilfe dieser Installation sollte die Technologie eines der faszinierendsten VR Ausgabegeräte aus den Forschungslabors in industrielle Anwendungen übertragen werden. Außerdem sollte die Anwendbarkeit in Bereichen überprüft werden für die traditionelle Ausgabegeräte nur bedingt geeignet sind. Neben der Arbeit an den bereits etablierten Anwendungen sollte auch die Integration in neue innovative Applikationen vorangetrieben werden. Auf den Erfahrungen mit der 3-Seiten CAVE aufbauend, wurde eine 5-Seiten CAVE entwickelt und im Oktober 1997 im neuen Institutsgebäude installiert. Diese CAVE besteht aus 3 Seitenwänden, einer Boden- und einer Deckenprojektion mit einer Projektionsfläche von jeweils 2,4 m ´ 2,4 m. Besonderer Wert wurde bei der Konstruktion auf die nahtlosen Übergänge zwischen den verschiedenen Projektionsflächen gelegt. In diesem Artikel werden werden einige CAVE-Anwendungen präsentiert: Design Review (Architektur, Konstruktion und Planung), Digitale Prototypen (Ein- und Ausbausimulation im Automobilbaubereich und der Schiffskonstruktion), sowie aus dem Bereich Edutainment (Virtuelles Ozeanarium für die EXPO'98). Außerdem werden die Vor- und Nachteile der CAVE-Technologie, auch im Vergleich zu anderen Ausgabegeräten, diskutiert.

4. IT-Trainings-Kongreß. Tagungsband. Bonn, 1998

VDE-Kongreß '98. GMA-Fachtagung. Tagungsband. Stuttgart, 1998

European Centre for Medium-Range Weather Forecasts: Sixth Wokshop on Meteorological Operational Systems : proceedings of a workshop held at ECMWF, 17-21 November, 1997. Reading, UK: European Centre for Medium-Range Weather Forecasts, 1998

Sophisticated visualisation enables scientists as well as forecasters to extract knowledge from complex data. The DWD and Fraunhofer IGD are jointly developing visualisation systems that allow to understand and present data. The necessity to use 3D visualisation is pointed out. First experiences with 3D visualisation in the context of DWD's visualisation systems are described.

Koch, R. (Ed.) et al.: 3D Structure from Multiple Images of Large-Scale Environments : European Workshop, SMILE'98. Proceedings. Berlin; Heidelberg; New York: Springer, 1998. (Lecture Notes in Computer Science (LNCS) 1506), pp. 275-289

Augmented reality (AR) is a technology by which a user's view of the real world is augmented with additional information from a computer model. AR applications require a very accurate model of the environment (a reality model) to augment the current view seamlessly with synthetic information (the virtual model). In this paper, we report on the problems we encountered with image data from real exterior construction sites. We discuss quality requirements for reality models in order to be useful in AR applications, and we outline potential further needs for reality models.

2nd International Immersive Projection Technology Workshop. Proceedings CD-ROM. Ames, Iowa, 1998

November 1996, a three-sided CAVE [2] (2 walls and floor with a screen dimension of 2.4m x 2.4m each) was installed at Fraunhofer-IGD. The goal of this installation was to transfer the technology of the most exciting VR output device into industrial applications, to elaborate its usage in sectors where traditional output devices are insufficient and to integrate it in innovative application areas. Based on the experience with this installation, a five-sided CAVE (3 walls, floor and ceiling with 2.4m x 2.4m each) was constructed and installed in our new institute building in October 1997. In this paper, some CAVE application examples will be presented: design review (architecture, construction and planning), digital prototyping (assembly/disassembly in car and ship construction), and edutainment (virtual oceanarium for EXPO ´98). The advantages and technological drawbacks of CAVE-technology will also be discussed.

IEEE Computer Society Technical Committee on Computer Graphics: Virtual Reality. Annual International Symposium 1998. Proceedings. Los Alamitos, California: IEEE Computer Society Press, 1998, pp. 98-104

In this paper we present a new method of simulation and visualization of smoke and steam clouds in virtual environments. We use a particle system approach but reduce the particle numbers to decrease the computation and rendering times. Special care, however, is taken for the presentation quality of the clouds. From every viewing point (even within the clouds), the VE user will not have the impression that the clouds are hollow polyhedrons, but rather fuzzy objects.

European Surgical Institute: New Technologies in Surgery. Workshop Proceedings. Norderstedt, 1996

Arthroscopy has already become an irreplacable method in diagnostics. The arthroscope, with optics and light source, and the exploratory probe are inserted into the knee joint through two smal incisions located unterneath the patella. Currently, the skills required for arthroscopy are taught through hands-on clinical experience. Therefore, the Fraunhofer-Institut fuer Graphische Datenverarbeitung in Darmstadt, in cooperation with the Berufsgenossenschaftliche Unfallklinik Frankfurt am Main, developed a highly interactive medical training system for arthroscopy through computer graphics and virtual reality (VR) techniques. Two main issues could be addressed: the 3D reconstruction process and the 3D interaction. The goal of the reconstruction process was to obtain a realistic representation of the knee joint derived from a MR (magnetic resonance) image sequence, which had to be suitable for computer simulation. Moreover, the 3D interaction of the training system had to simulate a real arthroscopy, providing an intuitive handling of the instruments.

Journal of Image Guided Surgery, Vol.1 (1996), 5

Arthroscopy has already become an irreplacable method in diagnostics. The arthroscope, with optics and light source, and the exploratory probe are inserted into the knee joint through two smal incisions located unterneath the patella. Currently, the skills required for arthroscopy are taught through hands-on clinical experience. Therefore, the Fraunhofer-Institut fuer Graphische Datenverarbeitung in Darmstadt, in cooperation with the Berufsgenossenschaftliche Unfallklinik Frankfurt am Main, developed a highly interactive medical training system for arthroscopy through computer graphics and virtual reality (VR) techniques. Two main issues could be addressed: the 3D reconstruction process and the 3D interaction. The goal of the reconstruction process was to obtain a realistic representation of the knee joint derived from a MR (magnetic resonance) image sequence, which had to be suitable for computer simulation. Moreover, the 3D interaction of the training system had to simulate a real arthroscopy, providing an intuitive handling of the instruments.

Computers & Graphics, Vol.20 (1996), 6, pp. 825-838

The aim of serveral projects at the Fraunhofer Institute for Computer Graphics is the development on new analysis, visualization and interaction tools and their integration into an advanced operating theatre (OP 2000). These components are intended to assist not only in surgery planning but also to offer online surgery support. For this reason it is essential to provide not only powerful and accurate tools, but an environment as intuitive and familiar to the surgeon as possible ensuring maximum of computer support. This can be achieved by an optimal synthesisi of real and computer-generated data and by engaging different human senses (e.g. visual, acoustic, haptic). A demonstration system has been constructed. CT, MR and images of anatomical sections have been used as input data for the reconstruction of a three-dimensional human reference model. This model is presented in a virtual reality environment equiped with advanced interaction tools.

Krankenhaus Arzt, Vol.69 (1996), 9, pp. 386-387

Mit Hilfe von Virtueller Realitaet (VR) kann eine neue Qualitaet in der graphischen Simulation erreicht werden. Unter Virtueller Realitaet soll eine vom Rechner generierte und kontrollierte Umgebung fuer die Mensch-Maschine-Kommunikation verstanden werden, die eher eine intuitive Interaktion ermoeglicht als klassische Desktop-Mensch-Maschine-Schnittstellen. 1993 begann das Fraunhofer Institut fuer Graphische Datenverarbeitung, erste medizinische VR-Applikationen zu realisieren. Der VR-Arthroskopie-Trainingssimulator zeigt, wie sich VR in der chirurgischen Ausbildung einsetzen laesst.