• Publikationen
Show publication details

Santos, Pedro; Ritz, Martin; Fuhrmann, Constanze; Monroy Rodriguez, Rafael; Schmedt, Hendrik; Tausch, Reimar; Domajnko, Matevz; Knuth, Martin; Fellner, Dieter W.

Acceleration of 3D Mass Digitization Processes: Recent Advances and Challenges

2017

Ioannides, Marinos (Ed.) et al.: Mixed Reality and Gamification for Cultural Heritage. Springer International Publishing, 2017, pp. 99-128

In the heritage field, the demand for fast and efficient 3D digitization technologies for historic remains is increasing. Besides, 3D has proven to be a promising approach to enable precise reconstructions of cultural heritage objects. Even though 3D technologies and postprocessing tools are widespread and approaches to semantic enrichment and Storage of 3D models are just emerging, only few approaches enable mass capture and computation of 3D virtual models from zoological and archeological findings. To illustrate how future 3D mass digitization systems may look like, we introduce CultLab3D, a recent approach to 3D mass digitization, annotation, and archival storage by the Competence Center for Cultural Heritage Digitization at the Fraunhofer Institute for Computer Graphics Research IGD. CultLab3D can be regarded as one of the first feasible approaches worldwide to enable fast, efficient, and cost-effective 3D digitization. lt specifically designed to automate the entire process and thus allows to scan and archive large amounts of heritage objects for documentation and preservation in the best possible quality, taking advantage of integrated 30 visualization and annotation within regular Web browsers using technologies such as WebGI and X3D.

Show publication details

Tausch, Reimar; Schmedt, Hendrik; Santos, Pedro; Schröttner, Martin; Fellner, Dieter W.

3DHOG for Geometric Similarity Measurement and Retrieval on Digital Cultural Heritage Archives

2016

Giuseppe De Pietro (Ed.) et al.: Intelligent Interactive Multimedia Systems and Services 2016. Switzerland: Springer International Publishing, 2016. (Smart Innovation, Systems and Technologies 55), pp. 459-469

KES International Conference on Intelligent Interactive Multimedia Systems and Services (IIMSS) <9, 2016, Puerto de la Cruz, Tenerife, Spain>

With projects such as CultLab3D, 3D Digital preservation of cultural heritage will become more affordable and with this, the number of 3D-models representing scanned artefacts will dramatically increase. However, once mass digitization is possible, the subsequent bottleneck to overcome is the annotation of cultural heritage artefacts with provenance data. Current annotation tools are mostly based on textual input, eventually being able to link an artefact to documents, pictures, videos and only some tools already support 3D models. Therefore, we envisage the need to aid curators by allowing for fast, web-based, semi-automatic, 3D-centered annotation of artefacts with metadata. In this paper we give an overview of various technologies we are currently developing to address this issue. On one hand we want to store 3D models with similarity descriptors which are applicable independently of different 3D model quality levels of the same artefact. The goal is to retrieve and suggest to the curator metadata of already annotated similar artefacts for a new artefact to be annotated, so he can eventually reuse and adapt it to the current case. In addition we describe our web-based, 3D-centered annotation tool with meta- and object repositories supporting various databases and ontologies such as CIDOC-CRM.

Show publication details

De Stefano, Antonio; Tausch, Reimar; Santos, Pedro; Kuijper, Arjan; Di Gironimo, Giuseppe; Fellner, Dieter W.; Siciliano, Bruno

Modeling a Virtual Robotic System for Automated 3D Digitization of Cultural Heritage Artifacts

2016

Journal of Cultural Heritage, (2016), 19, pp. 531-537

Complete and detailed 3D-scanning of cultural heritage artifacts is a still time-consuming process that requires skilled operators. Automating the digitization process is necessary to deal with the growing amount of artifacts available. It poses a challenging task because of the uniqueness and variety in size, shape and texture of these artifacts. Scanning devices have usually a limited focus or measurement volume and thus require precise positioning. We propose a robotic system for automated photogrammetric 3D-reconstruction. It consists of a lightweight robotic arm with a mounted camera and a turntable for the artifact. In a virtual 3D-environment, all relevant parts of the system are modeled and monitored. Here, camera views in position and orientation can be planned with respect to the depth of field of the camera, the size of the object and preferred coverage density. Given a desired view, solving inverse kinematics allows for collision-free and stable optimization of joint configurations and turntable rotation. We adopt the closed-loop inverse kinematics (CLIK) algorithm to solve the inverse kinematics on the basis of a particular definition of the orientation error. The design and parameters of the solver are described involving the option to shift the weighting between different parts of the objective function, such as precision or mechanical stability. We then use these kinematic solutions to perform the actual scanning of real objects. We conduct several tests with different kinds of objects showing reliable and sufficient results in positioning and safety. We present a visual comparison involving the real robotic system with its virtual environment demonstrating how view poses for different-sized objects are successfully planned, achieved and used for 3D-reconstruction.

Show publication details

Eckeren, Katharina van; Tausch, Reimar; Santos, Pedro; Kuijper, Arjan; Fellner, Dieter W.

3DHOG for Geometric Similarity Measurement and Retrieval for Digital Cultural Heritage Archives

2015

Guidi, Gabriele (Ed.) et al.: 2015 Digital Heritage International Congress. Volume 2. New York: The Institute of Electrical and Electronics Engineers (IEEE), 2015, pp. 117-120

Digital Heritage International Congress (DH) <2015, Granada, Spain>

With projects such as CultLab3D, 3D Digital preservation of cultural heritage will become more affordable and with this, the number of 3D-models representing scanned artefacts will dramatically increase. However, once mass digitization is possible, the subsequent bottleneck to overcome is the annotation of cultural heritage artefacts with provenance data. Current annotation tools are mostly based on textual input, eventually being able to link an artefact to documents, pictures, videos and only some tools already support 3D models. Therefore, we envisage the need to aid curators by allowing for fast, web-based, semi-automatic, 3D-centered annotation of artefacts with metadata. In this paper we give an overview of various technologies we are currently developing to address this issue. On one hand we want to store 3D models with similarity descriptors which are applicable independently of different 3D model quality levels of the same artefact. The goal is to retrieve and suggest to the curator metadata of already annotated similar artefacts for a new artefact to be annotated, so he can eventually reuse and adapt it to the current case. In addition we describe our web-based, 3D-centered annotation tool with meta- and object repositories supporting various databases and ontologies such as CIDOC-CRM.

Show publication details

Eisele, Philipp; Tausch, Reimar (Betreuer); Posniak, Oliver (Betreuer)

Analyse und Evaluation effizienter Algorithmen zur Oberflächenrekonstruktion von Punktwolken

2015

Darmstadt, Hochschule, Bachelor Thesis, 2015

Um reale Objekte unserer Welt einem breiteren Publikum zuzuführen, sie zu sichern und zu analysieren sind zahlreiche Vorgehensweisen entstanden, ihre äußere Erscheinung virtuell zu erfassen. Bestehende Verfahren zu Digitalisierung von Körpern registrieren die Oberfläche dieser jedoch nicht unmittelbar: Aus den Daten des vermessenden Apparates wird zunächst eine Menge von Punkten im dreidimensionalen Raum erzeugt, die die Außenhülle des jeweiligen Gegenstandes widerspiegelt. Ein Algorithmus zur Oberflächenrekonstruktion wandelt diese Wolke aus Punkten im Folgeschritt in ein Netz aus Dreiecken um, mithilfe dessen die Gestalt des Originals im Erfolgsfall kontinuierlich und effizient angezeigt werden kann. In dieser Ausarbeitung werden verschiedene Algorithmen vorgestellt, die der Umwandlung einer solchen Punktwolke in eine virtuelle Oberfläche dienen. Da die Punktwolken bei Anwendung moderner Erfassungsapparate sehr viele Elemente enthalten können, werden lediglich solche analysiert, die auch große Mengen von Punkten in annehmbarer Laufzeit verarbeiten können. Weiterhin sind Punktwolken nach der praktischen Vermessung häufig regional undicht oder mit Messfehlern behaftet. Dementsprechend wird zu den verschiedenen Verfahren zur Oberflächenrekonstruktion jeweils dargelegt, inwiefern sie zur originalgetreuen Rekonstruktion von mangelhaft registrierten Arealen fähig sind.

Show publication details

Herb, Daniel; Kuijper, Arjan (Betreuer); Tausch, Reimar (Betreuer)

Entwicklung und Evaluation eines echtzeitfähigen Streifenlichtscanners für schnelle und automatisierte 3D-Digitalisierung

2015

Darmstadt, TU, Master Thesis, 2015

Diese Arbeit befasst sich mit der Entwicklung und Evaluation eines echtzeitfähigen Streifenlichtscanners zur schnellen und automatisierten 3D-Digitalisierung. Der konkrete Anwendungsfall besteht in der massenhaften Digitalisierung von Kulturgütern zur Archivierung und Foschungskollaboration. Als Grundlage dient das Flying Triangulation Prinzip, bei dem ein Sensor handgeführt zur Rekonstruktion verwendet werden kann und diese dem Nutzer in Echtzeit zur Verfügung steht. Ein Ziel dieser Arbeit ist die Aufarbeitung, Klarstellung und Verbesserung bestimmter Komponenten in dem Verfahren, so dass ein robuster und automatisierter Einsatz an einem bionisch inspirierten, nachgiebigen Roboterarm möglich ist. So kann durch eine neu entwickelte Modellfunktion die Systemkalibrierung hinsichtlich der zu findenden Parameter deutlich verbessert werden, wodurch aus Nutzersicht eine einfachere Kalibrierung möglich ist. Außerdem wird für die Registrierung ein Verfahren zur globalen Optimierung verwendet, welches bereits während der Datenakquise ausgeführt werden kann, wodurch der Nachverarbeitungsschritt entfällt. Neben dem eigentlichen Verfahren konnte außerdem eine Simulationsumgebung zur Generierung synthetischer Bilddaten sowie ein realer Hardwareaufbau entwickelt werden. In einem Evaluationskapitel werden für die synthetisch generierten Daten unterschiedliche Parameter variiert, um so deren Auswirkungen auf das Rekonstruktionsergebnis zu untersuchen. Abschließend wird mit einem exemplarischen Objekt ein Praxistest mit dem realen Aufbau durchgeführt.

Show publication details

Santos, Pedro; Ritz, Martin; Tausch, Reimar; Schmedt, Hendrik; Monroy Rodriguez, Rafael; Stefano, Antonio; Posniak, Oliver; Fuhrmann, Constanze; Fellner, Dieter W.

CultLab3D - On the Verge of 3D Mass Digitization

2014

Klein, Reinhard (Ed.) et al.: GCH 2014 : Eurographics Workshop on Graphics and Cultural Heritage. Goslar: Eurographics Association, 2014, pp. 65-73

Eurographics Symposium on Graphics and Cultural Heritage (GCH) <12, 2014, Darmstadt, Germany>

Acquisition of 3D geometry, texture and optical material properties of real objects still consumes a considerable amount of time, and forces humans to dedicate their full attention to this process. We propose CultLab3D, an automatic modular 3D digitization pipeline, aiming for efficient mass digitization of 3D geometry, texture, and optical material properties. CultLab3D requires minimal human intervention and reduces processing time to a fraction of today's efforts for manual digitization. The final step in our digitization workflow involves the integration of the digital object into enduring 3D Cultural Heritage Collections together with the available semantic information related to the object. In addition, a software tool facilitates virtual, location-independent analysis and publication of the virtual surrogates of the objects, and encourages collaboration between scientists all around the world. The pipeline is designed in a modular fashion and allows for further extensions to incorporate newer technologies. For instance, by switching scanning heads, it is possible to acquire coarser or more refined 3D geometry.

Show publication details

Eckeren, Katharina van; Kuijper, Arjan (Betreuer); Goesele, Michael (Betreuer); Tausch, Reimar (Betreuer)

Entwicklung und Evaluation eines 3D Object Retrieval Systems für digitalisierte Kulturobjekte

2014

Darmstadt, TU, Master Thesis, 2014

Diese Arbeit befasst sich mit dem Aufbau, der Entwicklung und der Auswertung eines 3D Object Retrieval-Systems zur Ähnlichkeitssuche von digitalisierten Kulturobjekten. Nach der Einordnung und Vorstellung des verwendeten Beschreibungsverfahrens für 3D Objekte, namens 3D Histogram of Oriented Gradients (Abk. 3D-HOG) [1][2], in den Kontext des aktuellen State-of-the-Art erfolgt eine Erläuterung jeder verwendeten Komponente des Systems. Neben der ausführlichen Erklärung der Funktionsweise von 3D-HOG und seinen Stärken und Schwächen wurde für seine Auswertung eine Datengrundlage, bestehend aus 3D Kulturobjekten mit einer sehr hohen Polygonnetzauflösung, erstellt. Die Auswertung betrachtet verschiedene Parameterangaben und benutzt zur anfänglichen Bewertung das Maß der R-Precision [3]. Durch die Anpassung der Blocknormalisierung, der Zellenanzahl und der Gradientenfeldgröße, die drei wichtigsten Parameter des 3D-HOG Verfahrens, konnte die R-Precision von 0.799 auf 0.888 verbessert werden. Außerdem zeigte sich, dass die Polygonnetzauflösung der Objekte von sekundärer Bedeutung ist, da sie kaum einen Einfluss auf die Ergebnisse der gewählten Beschreibungsverfahren hat.

Show publication details

De Stefano, Antonio; Santos, Pedro (Betreuer); Tausch, Reimar (Betreuer)

Modeling a Virtual Robotic System for Cultural Heritage Digitization

2014

Neapel, Univ., Master Thesis, 2014

The objective of this thesis is the development of an inverse kinematic solver application which allows a camera mounted onto the robotic arm to resolve occlusion in a 3D model, by reaching a position and a camera direction, given in this case by a path creator, while in the reality the pose is given from a view planning; The results will be visualized and simulated in a virtual environment which represents the CultArm3D subsystem of the CultLAb3D. This thesis is part of the Cultural Heritage Project of the Fraunhofer Institute for Visual Computing, which is concerned with the development of inexpensive automated 3D-digitization of objects of cultural value. Given that many museums lack exhibition space for their numerous exhibits and that these museums are scattered around the world, the Cultural Heritage Project seeks to provide worldwide virtual access to these exhibits.

Show publication details

Posniak, Oliver; Tausch, Reimar (Betreuer)

Volumetrische und qualitätsbasierte Ansichtenplanung zur Automatisierung von 3D-Digitalisierungsprozessen mit Scannern zur Tiefenbilderfassung

2013

Darmstadt, Hochschule, Master Thesis, 2013

Ziel der Masterarbeit ist die Entwicklung einer automatischen Ansichtenplanung zur vollständigen 3D-Erfassung eines Objektes für einen Scanner. Der Scanner ist hierbei an einem Roboterarm angebracht, damit eine Bewegung des Scanners unabhängig von den Bewegungen des Roboters gewährleistet ist. Diese Arbeit ist Teil des Cultural Heritage Projektes, das im Fraunhofer Institut für graphische Datenverarbeitung entsteht. Es beschäftigt sich mit der kostengünstigen automatischen 3D-Digitalisierung von Kulturgütern. Für viele dieser Objekte reicht der Platz in den Museen nicht aus, um sie der Öffentlichkeit zu präsentieren. Darüber hinaus befinden sich diese in Museen auf der ganzen Welt. Aus diesem Grund hat sich dieses Projekt zum Ziel gesetzt, Kulturgüter digital zur Verfügung zu stellen, um so den Zugang zu diesen zu erleichtern. Das entwickelte Verfahren der Ansichtenplanung wird im Rahmen dieser Arbeit vorgestellt und getestet. Ziel der Ansichtenplanung ist es, eine Menge von Positionen und Orientierungen des Scanners auf das am Anfang unbekannte Kulturgut zu berechnen, damit eine vollständige 3D-Erfassung kollisionsfrei und automatisch gewährleistet werden kann. Zur Realisierung dieser Ansichtenplanung wurden zunächst bestehende Verfahren analysiert. Hierbei wurde ein volumetrischer Ansatz favorisiert, der einen definierten Raum diskretisiert, in dem sich das Objekt befindet. Dieses Verfahren wurde in Teilbereichen ergänzt und erweitert, da es so den Anforderungen nicht entsprach. Das Resultat ist ein neues Verfahren zur Ansichtenplanung, bei dem, neben der Planung der nächstbesten Ansichten, auch besonderen Wert auf die Kollisionsvermeidung gelegt wird. Es berechnet in einem Planungsschritt mehrere nächstbeste Ansichten, die von einem Scanner ausgeführt werden. Aufgrund der softwaretechnisch nicht ansteuerbaren Hardware wurde zusätzlich im Rahmen dieser Arbeit eine Simulationsumgebung entwickelt und implementiert, um das Verfahren unabhängig von der Hardware zu optimieren und zu testen. Mit Hilfe dieser Simulationsumgebung konnte das entwickelte Planungsverfahren erfolgreich an verschiedenen 3D-Modellen verifiziert werden. Die Ergebnisse dieser Tests werden in dieser Arbeit vorgestellt und bewertet.

Show publication details

Dörr, Vincent; Hoßbach, Martin (Betreuer); Tausch, Reimar (Betreuer)

Zahnsegmentierung auf Intraoralaufnahmen zur Plaque-Quantifizierung

2013

Darmstadt, Hochschule, Bachelor Thesis, 2013

In dieser Arbeit geht es um die Segmentierung von einzelnen Zähnen und der anschließenden Analyse des Plaque-Befalls. Zur deutlicheren Visualisierung von Plaque können verschiedene Indikatoren mit jeweils unterschiedlichen Farbstoffen eingesetzt werden. Die am weitest verbreiteten Farbstoffe werden vorgestellt. Nach der Generierung, der Zahnaufnahmen mit einer Intraoralkamera unter Verwendung emes Plaque-Indikators, werden zwei mögliche Verfahren zur Segmentierung auf ihre Einsatzmöglichkeiten in diesem Anwendungsfall untersucht. Die Segmentierung wurde ebenfalls auf ein bestehendes Verfahren zur Plaque-Quantifizierung mit einem fluoreszierenden Farbstoff erfolgreich angewendet. Weitestgehend separat wurde eine Klassifizierung durch einen Klassifikator zur Einteilung festgelegter Bereiche getestet. Der Klassifikator, repräsentiert durch eine Support Vector Machine, wurde zur Unterscheidung zwischen Zahn und Plaque auf ultravioletten Aufnahmen eingesetzt. Auf den Aufnahmen wurde zuvor mittels einer Maske ein Bereich, in dem nur die Zähne mit der Plaque sichtbar sind, bestimmt. Mit einer 10-fachen Kreuzvalidierung konnte eine Genauigkeit von 90% bei der Klassifizierung erzielt werden. Dies ist eine Verbesserung gegenüber den derzeit bestehenden Verfahren.

Show publication details

Herb, Daniel; Tausch, Reimar (Betreuer); Amend, Bernd (Betreuer)

GPU basierte Berechnung von Disparitätskarten zum Zusammensetzen von übergangslosen 360° Panoramen in Echtzeit

2012

Darmstadt, Hochschule, Bachelor Thesis, 2012

In dieser Arbeit wird ein System zum übergangslosen Zusammenfügen von Videos implementiert. Die zugrunde liegende Hardware besteht aus acht fest miteinander verbundenen Kameras, die so ausgerichtet sind, dass das Gesamtsystem einen Bereich von 360° abdeckt. Die Objektive der Kameras sind dabei so gewählt, dass zwischen den Einzelbildern Überlappungsbereiche entstehen, in denen der gleiche Teil der Szene erfasst wird. Da das optische Zentrum der Kameras nicht im selben Punkt liegt, kommt es zwischen den Bildern zu Parallaxenfehlern, wodurch ein direktes Zusammenfügen nicht möglich ist. In dieser Arbeit werden zur korrekten Behandlung der Überlappungsbereiche Stereokorrespondenzverfahren verwendet, um sogenannte Stitchmaps zu berechnen, welche Informationen darüber beinhalten, welche Bildpunkte aus beiden Bildern dieselben Weltkoordinaten darstellen und somit kombiniert werden sollen. Da die Auswahl des Stereokorrespondenzverfahrens starke Auswirkungen auf das resultierende Panorama hat, gleichzeitig aber eine große Auswahl an unterschiedlichen Verfahren existiert, wurde eine visuelle, qualitative Evaluation zwischen zwei ausgewählten Verfahren durchgeführt. Dabei handelt es sich um das Constant-Space-Belief-Propagation und das Semi- Global-Matching-Verfahren. Hierbei wurde festgestellt, dass sich die Verfahren bei geeigneter Parametrisierung nur unmerklich unterscheiden. Da ein echtzeitfähiges Gesamtsystem angestrebt wurde, fand eine GPU-Implementierung mit OpenCL statt. Hierfür wurde auf Basis der durch die qualitative Evaluation gewonnenen Erkenntnisse und aufgrund der besseren Parametrisierbarkeit das Belief-Propagation-Verfahren ausgewählt. Für diese Implementierung fand eine zeitliche Evaluation gegenüber einer vergleichbaren, existierenden Implementierung aus der OpenCV Bibliothek statt. Hierbei konnte für die meisten Parameterkonfigurationen ein Beschleunigungsfaktor von etwa zwei erreicht werden.

Show publication details

Jung, Christoph; Tausch, Reimar; Thekkeveettil , Jens; Oundouh, Tarik; Han, Bin; Schmidt, Roman Gabriel; Wilbers, Daniel

Chameleo-AD: Real-time Targeted Interactive Advertisement for Digital Signage

2011

Darmstadt, 2011

International Broadcasting Convention (IBC) <2011, Amsterdam, The Netherlands>

In this paper we present an integrated approach to interactive, real-time targeted multimedia advertisement for digital signage, based on visual audience analysis. Digital Signage and Digital-out-of-Home (DooH) systems nowadays still employ static content scheduling, and only few of them offer basic interaction capabilities, usually based on touch screens. In our approach we use visual sensors attached to a display to measure anonymous properties of the present audience in real-time and to enable touch-less interaction. A combined visual classification scheme analyses facial and full-body image data and integrates results in a long-term observation of individuals. Based on a measured audience profile, considering gender and age, an adaptive media player queries targeted rich media content from a database and presents it to the audience. Content selection is based on an audience state model which considers the spatio-temporal characteristics of the audience (distance, dwell-time) and a content model representing the relations of content and audience. The system automatically offers free-hand gesture interaction to the user, once a certain level of attention is reached. To our knowledge the presented system is the first approach to integrating long-term observation based on facial/full-body visual data, content adaptation and gesture interaction.

Show publication details

Eckeren, Katharina van; Tausch, Reimar (Betreuer)

Evaluierung von verschiedenen Verfahren zur automatischen Bestimmung der Kopforientierung von Personen

2011

Darmstadt, Hochschule, Bachelor Thesis, 2011

In dieser Arbeit wird ein klassifikator-basierter Ansatz vorgestellt und evaluiert. Er ermöglicht es, mit den Daten einer monokularen Kamera die Kopfpose von Personen, die als Indikator der Blickrichtung und Aufmerksamkeit verwendet werden kann, diskret zu bestimmen. Der Raum aller Kopfposen, der aus den Kopfbewegungen von links nach rechts (Zeilen) und von oben nach unten (Spalten) besteht, wird mittels eines Rasters diskret in Klassen unterteilt. Der verwendete Klassifikator ist eine lineare Support Vector Machine. Als Deskriptoren werden verkleinerte Vorschaubilder in Farbe, Graustufen und Gradienten, sowie die Histogram of oriented gradients (HOG) evaluiert. Sie wurden für jede Klasseneinteilung getestet und ihre Ergebnisse ausgewertet. Es wurden drei verschiedene Poseneinteilungen vorgenommen: Fünf (1 x 5), neun (3 x 3) und 15 (3 x 5)Klassen. Im ersten Durchlauf wurde der Klassifikator für fünf (1 x 5) mögliche Kopfposen getestet. Anschließend wurde die Anzahl der möglichen Kopfposen auf neun (3 x 3) erhöht. Und zuletzt wurde eine Kopfposenanzahl von 15 (3 x 5) Posen getestet. Zur Evaluierung wurde die Pointing '04 Bilderdatenbank verwendet, wobei in einem Vorbereitungsschritt basierend auf Template Matching der relevante Kopfbereich aus den Bildern extrahiert wurde. Mit Hilfe der Evaluierung wird gezeigt werden, dass der HOG-Deskriptor mit Abstand die besten Ergebnisse erzielt, um erfolgreich die Kopfpose einer Person zu bestimmen. Bei einer Einteilung in f unf Kopfposen wurde die beste Klassifizierungsrate von 80,6% durch den HOG-Deskriptor erreicht. Wie zu erwarten, sinkt die Klassfikationsgenauigkeit bei steigender Kopfposenanzahl ab. Mit einer erhöhten Anzahl an Kopfposen erbrachte der HOG-Deskriptor, bei neun Klassen mit einer Genauigkeit von 72,7% und bei 15 Klassen mit einer Genauigkeit von 66,0%, das beste Resultat.

Show publication details

Jung, Christoph; Tausch, Reimar; Wojek, Christian

Real-time Full-body Visual Traits Recognition from Image Sequences

2010

Koch, Reinhard (Ed.) et al.: VMV 2010 : Vision, Modeling, and Visualization. Goslar: Eurographics Association, 2010, pp. 57-64

Vision, Modeling, and Visualization Workshop (VMV) <15, 2010, Siegen, Germany>

The automatic recognition of human visual traits from images is a challenging computer vision task. Visual traits describe for example gender and age, or other properties of a person that can be derived from visual appearance. Gathering anonymous knowledge about people from visual cues bears potential for many interesting applications, as for example in the area of human machine interfacing, targeted advertisement or video surveillance. Most related work investigates visual traits recognition from facial features of a person, with good recognition performance. Few systems have recently applied recognition on low resolution full-body images, which shows lower performance than the facial regions but already can deliver classification results even if no face is visible. Obviously full-body classification is more challenging, mainly due to large variations in body pose, clothing and occlusion. In our study we present an approach to human visual traits recognition, based on Histogram of oriented Gradients (HoG), colour features and Support Vector Machines (SVM). In this experimental study we focus on gender classification. Motivated by our application of real-time adaptive advertisement on public situated displays, and unlike previous works, we perform a thorough evaluation on much more comprehensive datasets that include hard cases like side- and back views. The extended annotations used in our evaluation will be published. We further show that a hierarchical classification scheme to disambiguate a person's directional orientation and additional colour features can increase recognition rates. Finally, we demonstrate that temporal integration of per-frame classification scores significantly improves the overall classification performance for tracked individuals and clearly outperforms current state-of-the-art accuracy for single images.

Show publication details

Tausch, Reimar; Jung, Christoph (Betreuer)

Visual Human Traits Recognition

2010

Darmstadt, TU, Master Thesis, 2010

In this thesis state-of-the-art machine vision and learning technologies are applied to train a computer to perform human-like recognition from experience and classify pedestrians from image and video data with respect to directional orientation, gender, age group, and body physique. In order to perform the classification task, distinctive visual traits are extracted and learned from the full human body. Compared to the many successful studies, which exclusively focus on faces, full body based classification has been rarely addressed before, partly because much harder challenges have to be dealt with, such as the high variety of body postures, clothing styles and irritating background. Nevertheless, if no faces are exposed, it is often the only option. To the best of the author's knowledge, this study is the first to address the problem of gender and age recognition from low resolution full body images of persons in arbitrary upright postures, without being constrained to only frontal views. In the process numerous configurations of image descriptors and classifiers are investigated, with regard to their suitability for visual person profiling. Features include histograms of oriented gradients (HOG) as shape descriptors and local RGB histograms as color descriptors. These image representations are learned and combined by multiple support vector machines (SVM) in a hierarchical classifier structure. Thus, the most discriminating visual traits could be identified and their effect evaluated, whereby the fusion of multiple cues representing shape and color resulted in an improvement of the classification performance. Best and robust results, 86% gender recognition accuracy, were achieved by the additional introduction of temporal integration strategies when classifying tracked people from video. Moreover, the evaluated practical approach is economically motivated and integrated into a software application that serves as prototype of a novel automated audience measurement system for adaptive digital signage, whose major design and use case is demonstrated and discussed. As an additional contribution, the large, manually performed annotations (utilized for the classifier training and testing), which refer to a compilation of online available image and video datasets (most originally designed for people detection and tracking tasks), are planned to be published.