- Projektbeschreibung
Das Fraunhofer IGD Living Lab wurde 2008 als Showroom und Testumgebung für Ambient Intelligence & Assisted Living Anwendungen eingerichtet. Es wurde bereits in mehreren Artikeln, Fernseh-Dokumentationen und wissenschaftlichen Veröffentlichungen erwähnt.
Das STAR Heimautomatisierungssystem, welches durch die semantische Plattform universAAL gestützt wird, ist eine hochinnovative IoT und AAL Lösung. Diese wurde bereits von der europäischen Kommission im Rahmen der H2020 Ausschreibung gefördert. Das Living Lab hat mehrere festinstallierte sowie zahlreiche dynamische Demonstratoren, die fortschreitend erneuert werden um die aktuelle Bandbreite der Forschung wider zu spiegeln.
Mehr als 30 wissenschaftliche Evaluationen wurden im Fraunhofer IGD Living Lab in den vergangenen Jahren durchgeführt, die Vielfalt reichte von assistierenden Technologien bis hin zu interaktiven Mensch-Maschinen-Eingabegeräten. Der Grundriss ist unterteilt in ein Wohnzimmer, eine Küche, Schlaf- und Bürozimmer. Diese Aufteilung ist flexibel und bietet Raum für unzählige Komponenten wie Indoor-Lokalisierung, Aktivitätserkennung und Interaktionsgeräte. Einige Highlights der Sammlung sind Smart-Objects, die durch ihre Nähe zueinander gesteuert werden und unser Smart-Bed, welches physiologische Parameter der schlafenden Personen verfolgt.
Die intelligente Couch
Kurzbeschreibung
Unter der Überschrift »Smart Furniture« entstehen momentan von Seiten der Forschung und der Industrie viele Projekte, bei welchen intelligente technische Erweiterungen in alltägliche Wohnungsgegenstände eingebettet werden. In unserem Living Lab zählt hierzu eine mit Sensoren ausgestattete Couch, welche es erlaubt, die Sitz- und Liegeposition von bis zu zwei Personen zu erkennen.
In einer intelligenten Wohnumgebung kann das Wissen über den Kontext einer Person dazu verwendet werden, sinnvolle Anpassungen in der Wohnung vorzunehmen. Setzt sich der Benutzer frontal zum Fernseher auf die Couch, kann zum Beispiel automatisch der Fernseher eingestellt (eingeschaltet) werden. Legt sich die Person hingegen hin, wird das Umgebungslicht gesenkt und eine ruhige Musik eingespielt.
Technischer Aufbau
Die acht über die Couch verteilten kapazitiven Sensoren werden über ein OpenCapSense Board per USB mit dem PC verbunden. Die Erkennung der Sitzposition wird durch binäre Entscheidungsbäume oder ein neuronales Netz vorgenommen.
Das intelligente Bett
Kurzbeschreibung
Im Bereich der intelligenten Möbel hat unser Living Lab auch ein mit Sensoren ausgestattetes Bett zu bieten. Dieses kann dazu verwendet werden, die Position und Lage von einer oder zwei Personen zu analysieren, um so Schlussfolgerungen über das Schlafverhalten treffen zu können. Zum Beispiel wird der liegenden Person Feedback darüber gegeben, ob die angenommene Position gesund für den Rücken ist oder nicht. Ebenso werden Analysen der Schlafphasen durch ein Monitoring der Bewegungen ermöglicht. Weitere praktische Anwendungen ergeben sich zum Beispiel für Pflegeeinrichtungen, um beispielsweise das Wundliegen bewegungsunfähiger Patienten zu verhindern. Denkbar ist aber auch eine Anbindung an ein Heimautomatisierungssystem zur Kontrolle der Umgebung (z.B. das Licht wird angestellt, sobald der Benutzer das Bett verlässt).
Technischer Aufbau
Im Gegensatz zu der intelligenten Couch wird, neben der allgemeinen Erkennung der Position auf dem Bett (liegen/sitzen/…), auch eine kontinuierliche Lokalisierung angegeben. Bewegungen können demnach feingranularer aufgezeichnet werden. Ermöglicht wird dies über eine lineare Approximation über acht im Bett verbauten kapazitiven Sensoren. Der Körper wird hierbei als ein zylindrischer Körper abstrahiert und auf dieser Basis die benötigten Daten berechnet. Das im Bett verbaute OpenCapSense Board lässt sich über USB oder per Funk mit einem Host-PC verbinden.
Das CapTap Board
Kurzbeschreibung
Neue Methoden zur Interaktion mit einem technischen System zu finden ist eine der grundlegenden Herausforderungen, denen sich unsere Abteilung stellt. Ein gutes Beispiel hierfür ist unser CapTab Board, welches zur berührungsfreien Interpretation von (3D-)Gesten verwendet werden kann. Auf oder auch unter einer nicht leitenden Oberfläche (wie einer Holztischplatte) angebracht, werden bei einem Abstand von bis zu 30 cm die Bewegungen der Hand registriert und entsprechende Befehle per Funk auf einem verbundenen Computer ausgeführt. Verwendung findet das CapTab momentan zur Steuerung von Slide-Shows, dem Abspielen von Videos und der Vergrößerung von Bildern. Das allgemeine Ziel ist eine intuitivere Interaktion mit dem System, die auch Menschen mit Bewegungseinschränkungen der Hand (z.B. durch Arthritis) voll zugänglich ist. Weitere Einsatzmöglichkeiten sehen wir zum Beispiel auch in der Chirurgie, wo eine kontaktfreie Interaktion mit einem PC die Hygienestandards erhöht oder für Bauarbeiter, die aus Sicherheitsgründen Handschuhe tragen müssen.
Technischer Aufbau
Wie das hier vorgestellte Bett und die Couch basiert auch das CapTap auf kapazitiver Technologie. Das elektrische Potential über dem Board wird durch acht Sensoren erfasst. Durch die Anordnung der Sensoren und die Stärke des Ausschlages wird eine dreidimensionale Lokalisierung der Hand ermöglicht. Ein auf C# basierendes, selbstentwickeltes Toolkit kann verwendet werden, um die Daten vom Board entgegen zu nehmen. Zur Interpretation der Gesten steht ein trainierbares System zur Verfügung, welches dazu in der Lage ist, Gesten wie Striche, Kreise und andere einfache Muster zu erkennen und zu speichern. Für das CapTap wurde eigens eine prototypische Hülle angefertigt, welche neben den benötigten Sensoren auch wieder aufladbare Batterien und einen Funksender beinhaltet.
Indoor-Lokalisierung und Falldetektion
Kurzbeschreibung
Was mit dem CapTab in klein geht, ist auch im großen Maßstab möglich. Indoor-Lokalisierung auf Basis von kapazitiven Sensoren ist zwar schon käuflich auf dem Markt erhältlich, allerdings noch sehr teuer in der Anschaffung. Eine von IMA entwickelte Adaption der Sensoranordnung erlaubt es, solche Techniken deutlich billiger in neue oder vorhandene Wohnbereiche zu integrieren. Ob Teppich, Parkett oder Fliesen – die benötigten Komponenten lassen sich unter jedem Belag anbringen. Hierdurch wird die von Menschen belegte Fläche auf dem intelligenten Belag messbar. Nützlich ist dies für die Heimautomatisierung, in dem zum Beispiel Warnungen ausgegeben werden, wenn beim Verlassen der Wohnung kritische Komponenten (z.B. der Herd) noch aktiv sind. Denkbar ist auch, dass das Licht schon vor dem Betreten eines Raumes automatisch eingeschaltet wird. Auch die Einbruchssicherung durch die Detektion unerlaubter Bewegungen wird hierdurch ermöglicht. Ein weiterer besonders wichtiger Anwendungsfall ist es, zu erkennen, ob eine Person auf dem Boden liegt. Wird hier ein Zeitlimit überschritten, kann eine automatische Nachfrage nach dem Wohlbefinden erfolgen.
Technischer Aufbau
Die entwickelte Sensortechnik beruht darauf, dass die Sensoren nicht in den Boden, sondern in den Fußleisten integriert werden. Der Bodenbelag besteht dann nur noch aus simplen Leiterbahnen als Antennen. Hierdurch wird ein wesentlich billigerer Einbau erlaubt, da sich der Belag leicht, schnell und somit kostengünstig einsetzen lässt. Für 5qm fallen im aktuell verfügbaren Prototypen (ein Teppich mit Sensoren) lediglich ca. 100€ Mehrkosten an (im Vergleich zum Basispreis des Teppichs). Der Prototyp wird momentan über USB mit einem PC verbunden und ist in der Lage Stürze zu erkennen. Ein verbesserter Prototyp ist zur Zeit in Arbeit.
Zeigegestensteuerung für den Heimbereich
Kurzbeschreibung
»Der Mensch als Controller« ist ein Slogan, der inzwischen vor allem in der Spieleindustrie schon zur praktischen Anwendung gekommen ist. Durch die Kombination unserer Expertise im Bereich der Bildverarbeitung und der Homeautomation bleibt dieses Konzept nicht auf die Interaktion mit dem PC beschränkt. Stattdessen kann der gesamte Wohnbereich mit einbezogen werden. Durch einfaches Zeigen auf eine Lampe, einen Fernseher oder ein beliebiges anderes mit dem System verbundenen Gerät, können die Eigenschaften von diesem manipuliert werden. Auch wenn diese Anwendung sicher für viele Haushalte eine Bereicherung darstellt, können vor allem auch Personen, denen die Bewegung durch den Wohnbereich schwer fällt, von einer solchen Anwendung profitieren. Auch die Bedienbarkeit des Systems profitiert davon, dass nicht verschiedenste Fernsteuerungen zur Kontrolle verwendet werden müssen.
Technischer Aufbau
Zu Beginn wurden für diese Anwendung aus Webcams gewonnene Stereobilder ausgewertet. In der aktuellen Version hat eine Kamera von Microsoft Kinect das Tracking einzelner Benutzer übernommen. Die gelieferten Skelettdaten werden verwendet, um Zeigegesten aus den Bewegungen des Benutzers herauszufiltern (Länge der Geste, Winkel der Gelenke, …) und um deren Richtung zu bestimmen. Eine virtuelle Repräsentation der Umgebung (siehe auch »Rekonstruktion von Wohnumgebungen«) wird dann verwendet, um reaktive Geräte im Schnittbereich des Zeigestrahls zu bestimmen. Sollten sich dort mehrere Geräte befinden, wird eine entsprechende Liste zur Auswahl generiert. Gleiches gilt für die verschiedenen Eigenschaften des ausgewählten Gerätes (für einen Fernseher z.B. Lautstärke und Kanal). Der jeweilige Wert kann über einen vertikalen Slider mit entsprechenden auf/ab Gesten eingestellt werden. Durch ein Wischen nach links werden Aktionen jeweils bestätigt, durch ein Wischen nach rechts abgebrochen. Angeschlossene Geräte sind momentan vor allem die auf einem KNX-Bus verfügbaren Lampen, Steckdosen, ein Fenster und eine Jalousie sowie eine über UPnP verbundene Stereoanlage.
Laserunterstützung von Zeigegesten durch »EAGLE«
Kurzbeschreibung
Zeigegesten, wie in »Zeigegestensteuerung für den Heimbereich« vorgeschlagen, mögen zwar leicht zu verstehen sein, dennoch bleiben hier zwei große Herausforderungen. Zum einen kann man nicht davon ausgehen, dass ein Benutzer immer vor einem Monitor steht, welcher ihm Feedback über seine Interaktion gibt. Zum anderen interpretiert jeder eine Zeigegeste anders. Während eine Person eher vom Auge über die Hand auf Geräte zielt, zeigt eine andere Person über die Verlängerung des Unterarms. Deshalb wurde der »EAGLE« mit einem entsprechenden Framework realisiert. Hierbei handelt es sich um einen mit zwei Elektromotoren versehenen Roboterarm, an dessen Ende ein Laser angebracht ist. In Kombination mit einer möglichst exakten virtuellen Repräsentation der Umgebung (siehe auch »Rekonstruktion von Wohnumgebungen«) und einem verbundenen Tracking-System kann der Laser stets auf den aktuellen Schnittpunkt von Zeigegeste und Umgebung ausgerichtet werden. Durch z.B. Blinken des Lasers kann die Interaktion erweitert werden und reaktive Geräte in der Umgebung sowie Bestätigungen von Aktionen an beliebige Stellen im Raum projiziert werden. Zudem erhält der Benutzer ein direktes Feedback darüber, ob seine intrinsische Interpretation der Zeigerichtung und die Auswertung des Systems übereinstimmen und kann so sein Verhalten intuitiv anpassen.
Technischer Aufbau
Der EAGLE besteht aus zwei um jeweils 180° beweglichen, ineinander aufgehängten und programmierbaren Elektromotoren. Das zugehörige Framework erlaubt eine beliebige Positionierung (in Rotation und Translation) des Gerätes, es muss lediglich dessen genaue Position relativ zur Umgebung bekannt sein. Jetzt genügt eine Angabe des zu fokussierenden Schnittpunktes im Raum und der Laser wird entsprechend ausgerichtet. Das im EAGLE verwendete OpenCapSense Board kann über Bluetooth mit einem beliebigen Rechner verbunden und gesteuert werden. Der Laser kann den entsprechenden Zeigegesten in nahezu Echtzeit folgen. Um Geräte selektieren zu können, »rastet« der Laser bei reaktiven Elementen in deren Zentrum kurz ein.
Rekonstruktion von Wohnumgebungen
Kurzbeschreibung
Bei der Interaktion mit intelligenten Wohnumgebungen wird bei vielen Anwendungsfällen eine virtuelle Repräsentation der physikalischen Dimensionen der Umgebung benötigt. Zum Beispiel für die »Zeigegestensteuerung für den Heimbereich« müssen entsprechende Schnittberechnungen zwischen der aus der Geste resultierenden Geraden und den Geräten der Umgebung vorgenommen werden, um so das richtige Objekt auswählen zu können. Ein komplett manuelles Ausmessen einer Wohnung ist zeitintensiv und bei der Übertragung in das System auch fehleranfällig sowie schwer benutzerfreundlich zu gestalten. Moderne Methoden der Bildverarbeitung erlauben eine Erfassung der Umgebung in 3D. Mit Hilfe eines solchen Modells kann nun eine Platzierung von reaktiven Elementen wie Lampen, dem Fernseher oder einer Stereoanlage im virtuellen Abbild erfolgen. Auf das Ergebnis kann direkt von einer beliebigen Anwendung zugegriffen und Berechnungen auch direkt in den virtuellen Raum zurückgebildet werden. Das virtuelle Abbild lässt sich somit schneller und robuster umsetzen.
Technischer Aufbau
Für die Erfassung der Umgebung verwenden wir frei verfügbare Lösungen zur Rekonstruktion auf Basis von Microsofts Kinect. Der Umgebungseditor selbst hingegen ist eine C++ basierte Eigenkonstruktion, welche in der Bedienung an Google SketchUp angepasst ist. Für eine konfigurierbare Menge von Elementen einer Umgebung (Wohnung, Raum, Lampe, Fernseher, …) können Bounding-Boxen dem Modell hinzugefügt und mit eindeutigen Kennzeichnungen (URI’s) versehen werden. Dieses Modell wird nun als X3D-Datei gespeichert und kann von einer Java basierten Laufzeitumgebung eingelesen werden. Alle möglichen beschriebenen Elemente sind hier ontologisch modelliert und es können einzelne Typen oder alle Geräte aufgelistet, die Begrenzungen abgefragt oder Schnittberechnungen im Modellraum durchgeführt werden. Für die einzelnen Geräte können über ein service-basiertes Modell leicht neue Funktionen hinzugefügt werden. Diese stehen dann direkt für Prozesse wie eine Gestensteuerung bereit. Insgesamt wird demnach die Grundlage für ein dynamisch leicht erweiterbares System gelegt.
VAALIDATE – Planung von barrierefreien Bauvorhaben
Kurzbeschreibung
Die Simulationsumgebung »VAALIDATE« ermöglicht es Architekten, ihre Bauvorhaben vor der Umsetzung hinsichtlich der Barrierefreiheit zu prüfen. Dazu setzen sich die Bauherren in einen Rollstuhl und fahren damit durch das per 3-D-Technik simulierte, geplante Gebäude. Nicht rollstuhlgerechte Bereiche werden so identifiziert. Als Grundlage für die Simulation dienen die in der Branche üblichen softwareunterstützten Baupläne. »VAALIDATE« trägt auf diese Weise zu einer behindertengerechten Konstruktion von Gebäuden bei und verbessert die gesellschaftliche Integration von Menschen mit Handicap. Mehr Informationen hierzu können sie auch über folgendes Video erhalten: https://www.youtube.com/watch?v=X6nnrOU1Mc0. Das Projekt ist einer der Gewinner der Initiative »Land der Ideen« vom Jahr 2012 (https://land-der-ideen.de/projekt/fraunhofer-simulationsprogramm-vaalidate-1896)
Technischer Aufbau
Ein eigens entwickelter Prototyp eines Rollstuhls mit integrierten Sensoren erlaubt die Bewegung durch einen virtuellen Raum mittels Bewegung der Räder von diesem. Die mit dem vom Fraunhofer IGD entwickelten Instant-Player realisierte Umgebung beinhaltet entsprechende Schnittberechnungen, um potentielle Hürden erkennen zu können. Mit einem speziellen Eingabegerät können Objekte der virtuellen Welt manipuliert und somit zusätzlich überprüft werden, ob Elemente wie Schränke, Türgriffe oder Schlüssel auch wirklich vom Rollstuhl aus erreichbar sind. Die Darstellung der Simulation kann entweder auf der hochauflösenden Projektionswand des Fraunhofer IGD oder einem beliebigen Monitor/Beamer erfolgen.