Multimodal Interfaces for Capturing and Transfer of Skill

Das EU-Projekt SKILLS befasst sich mit dem Erfassen, Speichern und Transfer von menschlichen Fähigkeiten mittels Technologien aus den Bereichen Multimodale Interfaces, Robotik und Virtual Environments.

Menschliche Fähigkeiten werden unter Einbeziehung von kognitiven Aspekten sowie Bewegungssequenzen erfasst und analysiert. Basierend auf den gewonnenen Erkenntnissen wird eine digitale Repräsentation der Fähigkeiten definiert und Techniken zum Rendering der Fähigkeiten werden entwickelt und evaluiert. Ziel des Projektes ist die Entwicklung eines Systems, das eine Fähigkeit von Experten aufnimmt, aus den Daten eine optimale Vorgehensweise ableitet und Laien diese vermittelt. Aus den Bereichen Sport und Entertainment, Chirurgie und Rehabilitation sowie Industrie und Fertigung wird jeweils ein Demonstrator angefertigt.

Neben der Entwicklung von Technologien im Bereich Kameratracking gehört auch die visuelle Repräsentation (Visual Rendering) von Fähigkeiten zu den Aufgaben des IGD innerhalb dieses Projektes. In diesem Zusammenhang werden u.a. neue Methoden bezüglich Image Based Lighting und Echtzeit-Raytracing evaluiert. Die neu gewonnen Erkenntnisse werden in das Mixed Reality Framework instantReality integriert.