ACM SIGGRAPH: Proceedings Web3D 2011 : 16th International Conference on 3D Web Technology. New York: ACM Press, 2011, pp. 71-80

Until recently, depth sensing cameras have been used almost exclusively in research due to the high costs of such specialized equipment. With the introduction of the Microsoft Kinect device, real-time depth imaging is now available for the ordinary developer at low expenses and so far it has been received with great interest from both the research and hobby developer community. The underlying OpenNI framework not only allows to extract the depth image from the camera, but also provides tracking information of gestures or user skeletons. In this paper, we present a framework to include depth sensing devices into X3D in order to enhance visual fidelity of X3D Mixed Reality applications by introducing some extensions for advanced rendering techniques. We furthermore outline how to calibrate depth and image data in a meaningful way through calibration for devices that do not already come with precalibrated sensors, as well as a discussion of some of the OpenNI functionality that X3D can benefit from in the future.

Duffy, Vincent G. (Ed.): Digital Human Modeling : Third International Conference: ICDHM 2011. Berlin, Heidelberg, New York: Springer, 2011. (Lecture Notes in Computer Science (LNCS) 6777), pp. 282-291

In this paper we present a new framework for an accelerated 3D reconstruction of deformable objects within a multi-view setup. It is based on a new memory management and an enhanced algorithm pipeline of the well known Image-Based Visual Hull (IBVH) algorithm that enables efficient and fast reconstruction results and opens up new perspectives for the scalability of time consuming computations within larger camera environments. As a result, a significant increase of frame rates for the volumetric reconstruction of deformable objects can be achieved using an optimized CUDA-based implementation on NVIDIA's Fermi-GPUs.

Bender, Jan (Ed.) et al.: VRIPHYS 11: 8th Workshop in Virtual Reality Interactions and Physical Simulations. Goslar: Eurographics Association, 2011, pp. 73-82

A natural interaction with virtual environments is one of the key issues for the usability of Virtual Reality applications. Device-free, intuitive interactions with the virtual world can be achieved by capturing the movements of the user with markerless motion capture. In this work we present a markerless motion capture approach which can be used to estimate the human body pose in real-time with a single depth camera. The presented approach requires neither a 3D shape model of the tracked person nor a training phase in which body shapes are learned a priori. Instead, it analyzes the curvature of the human body to estimate the symmetry axes of the body joints. These symmetry axes are then used to calculate the pose of the tracked human in real-time. The presented approach was evaluated qualitatively with a time-of-flight and a Kinect depth camera. Furthermore, quantitative simulation results show that the proposed approach is promising for depth cameras which can reliably capture the surface curvature (and thus the normals) of a person and which have a resolution of at least 320x240 pixel.

In dieser Arbeit wird ein neuer Ansatz im Bereich des markerlosen Motion Capturing vorgestellt, der die Bewegung der Arme, Beine und des Oberkörpers erfasst. Die Erfassung der Bewegung erfolgt dabei in Echtzeit aus den 3D-Messdaten einer Tiefenkamera. Die Tiefendaten sind unvollständig, da die Kamera die Szene nur aus einer Blickrichtung erfassen kann. Der Algorithmus nutzt die zylinderähnliche Form der Arme, Beine und des Oberkörpers aus und berechnet aus den Tiefenbildern die mediale Achse der Körperteile. Für eine effiziente Bestimmung der medialen Achsen werden die räumlichen Nachbarschaftsinformationen der Tiefenbilder ausgenutzt. Die Bewegung wird auf ein virtuelles Skelett abgebildet, indem die Knochen entsprechend der medialen Achsen ausgerichtet werden. Die Bestimmung der Pose erfolgt von Bild zu Bild, so dass eine berechnete Pose als zusätzliche Eingabe für das nächste Bild dient.

Virtual Reality, (2011), Online First. Corrected Proof 22 Dezember 2011

Whereas 3D surface models are often used for augmented reality (e.g., for occlusion handling or model based camera tracking), the creation and the use of such dense 3D models in augmented reality applications usually are two separated processes. The 3D surface models are often created in offline preparation steps, which makes it difficult to detect changes and to adapt the 3D model to these changes. This work presents a 3D change detection and model adjustment framework that combines AR techniques with real-time depth imaging to close the loop between dense 3D modeling and augmented reality. The proposed method detects the differences between a scene and a 3D model of the scene in real time. Then, the detected geometric differences are used to update the 3D model, thus bringing AR and 3D modeling closer together. The accuracy of the geometric difference detection depends on the depth measurement accuracy as well as on the accuracy of the intrinsic and extrinsic parameters. To evaluate the influence of these parameters, several experiments were conducted with simulated ground truth data. Furthermore, the evaluation shows the applicability of AR and depth image-based 3D modeling for model-based camera tracking.

BIO Web of Conferences, Vol.1 (2011), 4 p.

The capturing of human movements is an important step for the analysis of human skills, e.g. for sports analysis or for learning-by-demonstration tasks. In this paper we introduce a new markerless pose estimation method which estimates human poses from silhouettes. The presented numerical pose estimation algorithm adapts a non-deterministical annealing schedule for silhouette based motion capturing. The pose is estimated by numerically minimizing the differences between the silhouettes of synthesized views of a 3D avatar and the silhouettes of the real person in the camera images. The evaluation results of simulation experiments quantify the trade-off between the accuracy and the execution time of the presented algorithm.

Die 3D-Koordinaten von Punkten auf einer Objektoberfläche können entweder mit einer Tiefenkamera gemessen oder durch Structure-from-Motion Verfahren aus mehreren 2D Bildern rekonstruiert werden. In dieser Arbeit wird vergleichend evaluiert, welche Genauigkeit mit diesen beiden Verfahren erreicht werden kann. Für eine aussagekräftige Evaluierung muss die Kamerapose zur Berechnung der (echten) 3D-Referenzdaten bekannt sein. Während in vorhergehenden Ansätzen die Kamerapose bildbasiert (z.B. anhand eines Marker Trackers) geschätzt wurde, wird die Kamerapose in dieser Arbeit anhand eines hochpräzisen Faro-Messarms bestimmt. Hierdurch wird eine höhere Genauigkeit erreicht als bei Bestimmung der Kamerapose anhand eines Marker Trackers, was die Aussagekraft der Evalierungsergebnisse erhöht.

Time-of-Flight Kameras erfassen Distanzinformationen einer 3D-Szene in Echtzeit. Die Auflösung von Time-of-Flight Kameras ist jedoch geringer als die Auflösung von üblichen Farbkameras und die gemessenen Tiefenwerte weichen teilweise von den tatsächlichen Distanzen ab. Durch Super-Resolution Verfahren kann die Auflösung der gemessenen Distanzwerte erhöht und die Genauigkeit der erfassten 3D Messwerte verbessert werden. Das in dieser Arbeit eingesetzte Super-Resolution Verfahren kombiniert ein niedrigauflösendes Time-of-Flight Bild mit einem höher auflösenden 2D Farbbild. Es basiert auf der Annahme, dass Diskontinuitäten in Farbbild und im Time-of-Flight Bild korrespondieren. Ein Markov Random Field beschreibt die Verknüpfung von Farbdaten mit 3D Messwerten und ermöglicht eine deutliche Qualitätsverbesserung der Tiefenbilder.

In dieser Diplomarbeit wurde untersucht, inwieweit sich der Prozess der Berechnung einer visuellen Hülle auf dem Grafikprozessor implementieren und beschleunigen lässt. Der Image Based Visual Hull Algorithmus ist ein effizientes Verfahren, um die dreidimensionale Oberfläche eines zu rekonstruierenden Objektes aus mehreren zweidimensionalen Kamerabildern zu ermitteln. Durch die durchgeführte Implementierung des Image Based Visual Hull Algorithmus auf der NVIDIA CUDA-Plattform konnte der größte Teil der Berechnungen auf der Grafikkarte massiv parallel ausgeführt werden, wodurch die Ausführungszeit des Algorithmus deutlich reduziert werden konnte. Mit einer handelsüblichen Grafikkarte (NVIDIA GeForce 9800GTX+) beträgt die erreichte Ausführungszeit im Schnitt 13 ms, das entspricht einer Bildrate von etwa 76 Bildern pro Sekunde. Im Vergleich mit der CPU-Implementierung des Algorithmus ist die in dieser Arbeit beschriebene CUDA-Implementierung um Faktor acht schneller.

Institute for Systems and Technologies of Information, Control and Communication (INSTICC): VISIGRAPP 2010. Proceedings : International Joint Conference on Computer Vision, Imaging and Computer Graphics Theory and Applications. INSTICC Press, 2010, pp. 302-309

The most challenging algorithmical task for markerless Augmented Reality applications is the robust estimation of the camera pose. With a given 3D model of a scene the camera pose can be estimated via model-based camera tracking without the need to manipulate the scene with fiducial markers. Up to now, the bottleneck of model-based camera tracking is the availability of such a 3D model. Recently time-of-flight cameras were developed which acquire depth images in real time. With a sensor fusion approach combining the color data of a 2D color camera and the 3D measurements of a time-of-flight camera we acquire a textured 3D model of a scene. We propose a semi-manual reconstruction step in which the alignment of several submeshes with a mesh processing tool is supervised by the user to ensure a correct alignment. The evaluation of our approach shows its applicability for reconstructing a 3D model which is suitable for model-based camera tracking even for objects which are difficult to measure reliably with a time-of-flight camera due to their demanding surface characteristics.

Höllerer, Tobias (Ed.) et al.: 9th IEEE International Symposium on Mixed and Augmented Reality 2010 : ISMAR. Science & Technology Proceedings. Los Alamitos, Calif.: IEEE Computer Society, 2010, pp. 241-242

For many tasks like markerless model-based camera tracking it is essential that the 3D model of a scene accurately represents the real geometry of the scene. It is therefore very important to detect deviations between a 3D model and a scene. We present an innovative approach which is based on the insight that camera tracking can not only be used for Augmented Reality visualization but also to solve the correspondence problem between 3D measurements of a real scene and their corresponding positions in the 3D model. We combine a time-of-flight camera (which acquires depth images in real time) with a custom 2D camera (used for the camera tracking) and developed an analysis-by-synthesis approach to detect deviations between a scene and a 3D model of the scene.

Posenberechnungsverfahren, welche die Position einer Kamera in allen 6 Freiheitsgraden (Rotation und Translation) bestimmen, basieren auf Korrespondenzen zwischen 3D Punkten in der Welt und den 2D Projektionen dieser 3D Punkte auf das Kamerabild. Die Genauigkeit, mit der die Kameraposition berechnet werden kann, hängt hierbei in erster Linie davon ab, wie genau die 3D Positionen der getrackten Features bekannt sind. Hierfür wird häufig das Structure from Motion Rekonstruktionsverfahren eingesetzt. Ein weiteres Verfahren zur Erfassung von 3D Messwerten ist der Einsatz von Time-of-Flight Kameras. In dieser Arbeit werden diese beiden Ansätze zur online Rekonstruktion der 3D Positionen der getrackten Features vergleichend evaluiert sowie miteinander kombiniert.

Das für Kameratracking wesentliche Teilproblem der Initialisierung (d.h. der Bestimmung der Kameraposition zu Beginn des Trackings) kann sowohl durch markerlose als auch durch markerbasierte Verfahren gelöst werden. Markerlose Verfahren haben den Vorteil, dass die betrachteten Szenen zur Initialisierung nicht verändert werden müssen. Für die Entwicklung von markerlosen Initialisierungsverfahren ist es wesentlich, die Eignung dieser Algorithmen zur Initialisierung der Kamerapose evaluieren zu können. In dieser Arbeit wurden sowohl ein Verfahren als auch Softwarekomponenten entwickelt, anhand derer sich markerlose Kamerainitialisierungsverfahren evaluieren lassen. Anhand dieses Verfahrens wurde die Eignung des "Iterative Closest Point Algorithmus" (ICP) zur Initialisierung der Kamerapose untersucht. Das im Rahmen dieser Arbeit entwickelte Framework wurde so generisch konzipiert, dass sich mit diesem auch die Eignung von beliebigen anderen Algorithmen zur Initialisierung der Kamerapose evaluieren lässt. Hiermit wurde ein wichtiger Beitrag zur Entwicklung weiterer Algorithmen zur markerlosen Initialisierung von Kameraposen geschaffen.

Schenk, Michael (Ed.): 12. IFF-Wissenschaftstage 2009. Tagungsband : Digitales Engineering zum Planen, Testen und Betreiben technischer Systeme. Magdeburg: Fraunhofer IFF, 2009, pp. 105-112

Time-of-Flight Kameras sind im Gegensatz zu herkömmlichen Kameras in der Lage, nicht nur Farb- oder Graustufenwerte sondern auch Tiefeninformationen der aufgezeichneten Szene zu erfassen. Sie liefern für jedes erfasste Pixel neben einem Intensitätsbild auch Informationen über die Entfernung des jeweiligen Pixels und erfassen somit ein 2,5D Bild. Diese Tiefeninformationen können zur Rekonstruktion eines 3D-Modells einer Szene oder eines Objektes genutzt werden. Markerlose Tracking-Ansätze für Augmented Reality nutzen häufig Geometrieinformationen über die Szene, die mit virtuellen Zusatzinformationen überlagert werden soll. Mit Hilfe von Tiefenkameras wird es möglich, die vorliegende Szene zu rekonstruieren. Dafür wird die Szene aus verschiedenen Richtungen mit der Tiefenkamera erfasst und durch das Zusammenfügen der aus den einzelnen Bildern gewonnenen Tiefeninformationen automatisch rekonstruiert. Das so gewonnene 3D-Modell kann daraufhin bei markerlosen Augmented Reality Anwendungen zum Abgleich mit der jeweils aktuellen Sicht der Szene und somit zur Bestimmung der Kamerapose verwendet werden. Die über die getrackte Szene vorliegenden Geometrieinformationen sind dabei nicht auf den vor Beginn des Trackings erfassten Bereich beschränkt, sondern können auch während des Trackings dynamisch erweitert werden.

Das Thema dieser Bachelorarbeit ist die Berechnung von 3D-Kantenmodellen einer Szene oder eines Objekts aus einer Sequenz von Tiefenbildern. Es werden Lösungsansätze entwickelt und untersucht, die sich im ersten Schritt mit der Extraktion von Kanten aus den 3D-Daten beschäftigen. Hierfür wird mittels Filtern in den graukodierten 2D-Tiefenbildern nach zweidimensionalen Kanten gesucht, welche in 3D-Kanten umgewandelt werden. Dabei wird auf Möglichkeiten eingegangen, welche sich mit dem starken Rauschen und der geringen Auflösung der momentan eingesetzten Technik befassen und die Kantenextraktion verbessern. Die erhaltenen 3D-Kanten der Einzelbilder werden mittels einer auf Kanten basierenden Abwandlung des "Iterative Closest Point"-Algorithmus registriert und so zu einem 3D Kantenmodell zusammengefügt.