• Publikationen
Show publication details

Trimpop, John; Schenk, Hannes; Bieber, Gerald; Lämmel, Friedrich; Burggraf, Paul

Smartwatch based Respiratory Rate and Breathing Pattern Recognition in an End-consumer Environment

2017

iWOAR 2017

International Workshop on Sensor-based Activity Recognition (iWOAR) <4, 2017, Rostock, Germany>

Smartwatches as wearables became part of social life and practically and technically offer the possibility to collect medical body parameters next to usual fitness data. In this paper, we present an evaluation of the respiratory rate detection of the &gesund system. &gesund is a health assistance system, which automatically records detailed long-term health data with end-consumer smartwatches. The &gesund core is based on technology exclusively licensed from the Fraunhofer Institute of applied research. In our study, we compare the &gesund algorithms for respiration parameter detection in low-amplitude activities against data recorded from actual sleep laboratory patients. The results show accuracies of up to 89%. We are confident that wearable technologies will be used for medical health assistance in the near future.

Show publication details

Bieber, Gerald; Kaulbars, Uwe; Trimpop, John; Haescher, Marian; Matthies, Denys J.C.

Abschlussbericht zum Vorhaben Smartwatches "FP 0375"

2016

Langanhaltende und intensive Vibrationseinwirkungen auf das Hand-Arm-System können zu schwerwiegenden Er-krankungen führen. Die Abschätzung einer Gefährdung hinsichtlich der Hand-Arm-Vibration (HAV) wird unter Be-rücksichtigung der Expositionsdauer sowie der Vibrationsintensität durchgeführt. Die subjektive Erfassung oder der Einsatz von Messgeräten zur Bestimmung der Expositionsdauer ist kostenintensiv, stört den Arbeitsablauf oder kann aufgrund des hohen Aufwandes nur sehr sporadisch und selten durchgeführt werden.Bedingt durch die Miniaturisierung in der Elektronik sind nun bezahlbare Smartwatches auf dem Markt, die eine Vielzahl von integrierten Sensoren enthalten. Obwohl die Smartwatches über leistungsfähige Beschleunigungs-, Drehraten- und Akustiksensoren sowie eine effiziente Verarbeitungseinheit verfügen, ist es bisher unklar, ob diese Systeme tatsächlich zur Bewertung der Hand-Arm-Vibration (HAV) eingesetzt werden können.In dem vorliegenden Projekt wurde gemeinsam mit dem Institut für Arbeitsschutz IFA, St. Augustin, und dem Fraun-hofer IGD, Rostock, eine Machbarkeitsuntersuchung durchgeführt, um nachzuweisen, ob mit Smartwatches eine Arbeitsgeräteidentifikation möglich ist. Hierbei wurden unter Laborbedingungen und in Feldversuchen Beschleuni-gungs- und Mikrofondaten während der Ausführung von Arbeiten mit vibrierenden Arbeitsgeräten erfasst und ana-lysiert. Dabei wurde untersucht, welche Verfahren zur Vibrationsmustererkennung geeignet und welche Erhebungs-parameter auszuwählen sind. Durch eine Klassifizierung der Messdaten wurde auf die genutzten Arbeitsgeräte so-wie die Expositionszeiträume geschlossen.Als Ergebnis der Untersuchung wurden die Möglichkeiten und Rahmenbedingungen für eine individuelle Bestim-mung der HA-Vibrationsdosis mit Smartwatches bestimmt und bewertet. Es konnte gezeigt werden, dass eine kon-tinuierliche Erfassung der HA-Vibrationsdosis mit Smartwatches möglich ist. Im Rahmen der Evaluation wurden Be-schleunigungsdaten mit 50 Hz sowie Sounddaten mit 8 kHz erfasst und in Fenster, zu je 1,28 Sekunden, unterteilt. Aus den Messdaten dieser Sensoren wurden 71 Merkmale selektiert und auf ihre Relevanz untersucht. Es zeigte sich, dass in Feldversuchen eine Untermenge von ca. 9 – 15 Merkmalen relevant sind. Bei dem Einsatz von vier unterschiedlichen Arbeitsgeräten wurden die Daten mit einem J48-Entscheidungsbaum klassifiziert, dieses führte zu einer Erkennungsrate der Arbeitsgeräte von ca. 72 Prozent. Für die A(8)-Bewertung wies hingegen die Smart-watch eine Überbewertung von ca. 11 Prozent auf.

Show publication details

Bieber, Gerald; Trimpop, John; Kaulbars, Uwe; Hofmann, Anton

Individuelle Bestimmung der Hand-Arm-Vibrationsdosis mit Smartwatches

2016

6. VDI Tagung Humanschwingungen 2016

VDI Tagung Humanschwingungen <6, 2016, Würzburg, Germany>

Langanhaltende und intensive Vibrationseinwirkungen auf das Hand-Arm-System können zu schwerwiegenden Erkrankungen führen. Die Abschätzung einer Gefährdung hinsichtlich der Hand-Arm-Vibration (HAV) wird unter Berücksichtigung der Expositionsdauer sowie der Vibrationsintensität durchgeführt. Die subjektive Erfassung oder der Einsatz von Messgeräten zur Bestimmung der Expositionsdauer ist kostenintensiv, stört den Arbeitsablauf oder kann aufgrund des hohen Aufwandes nur sehr sporadisch und selten durchgeführt werden. Bedingt durch die Miniaturisierung in der Elektronik sind nun kostengünstige Smartwatches auf dem Markt, die eine Vielzahl von integrierten Sensoren enthalten. Obwohl die Smartwatches über leistungsfähige Beschleunigungs-, Drehraten- sowie Akustiksensoren sowie eine effiziente Verarbeitungseinheit verfügen, ist es bisher unklar, ob diese Systeme tatsächlich zur Bewertung der Hand-Arm-Vibration (HAV) eingesetzt werden können. In einer Machbarkeitsstudie wurden unter Laborbedingungen und in Feldversuchen Beschleunigungs- und Mikrofondaten während der Ausführung von Arbeiten mit vibrierenden Arbeitsgeräten erfasst und analysiert. Dabei wurde untersucht, welche Verfahren zur Vibrationsmustererkennung geeignet und welche Erhebungsparameter auszuwählen sind. Durch eine Klassifizierung der Messdaten wurde auf die genutzten Arbeitsgeräte sowie die Expositionszeiträume geschlossen. Als Ergebnis der Untersuchung wurden die Möglichkeiten und Rahmenbedingungen für eine individuelle Bestimmung der HA-Vibrationsdosis mit Smartwatches bestimmt und bewertet.

Show publication details

Haescher, Marian; Trimpop, John; Matthies, Denys J.C.; Urban, Bodo

SeismoTracker: Upgrade Any Smart Wearable to Enable a Sensing of Heart Rate, Respiration Rate, and Microvibrations

2016

Proceedings of the 2016 CHI Conference Extended Abstracts on Human Factors in Computing

Conference on Human Factors in Computing Systems (CHI) <34, 2016, San Jose, CA, USA>

In this paper we present a method to enable any smart Wearable to sense vital data in resting states. These resting states (e.g. sleeping, sitting calmly, etc.) imply the presence of low-amplitude body-motions. Our approach relies on seismocardiography (SCG), which only requires a built-in accelerometer. Compared to commonly applied technologies, such as photoplethysmography (PPG), our approach is not only tracking heart rate (HR), but also respiration rate (RR), and microvibrations (MV) of the muscles, while being also computational inexpensive. In addition, we can calculate several other parameters, such as HR variability and RR variability. Our extracted vital parameters match with the vital data gathered from clinical state-of-the art technology. These data allow us to gain an impression on the user's activity, quality of sleep, arousal and stress level over the whole day, week, month, or year. Moreover, we can detect whether a device is actually worn or doffed, which is crucial when connecting such data with health services. We implemented our method on two current smartwatches: a Simvalley AW420 RX as well as on a LG G Watch R and recorded user data for several months. A web platform enables to keep track of one's data.

Show publication details

Haescher, Marian; Trimpop, John; Bieber, Gerald; Urban, Bodo

SmartMove: A Smartwatch Algorithm to Distinguish Between High- and Low-Amplitude Motions as well as Doffed-States by Utilizing Noise and Sleep

2016

iWOAR 2016

International Workshop on Sensor-based Activity Recognition (iWOAR) <3, 2016, Rostock, Germany>

In this paper, we describe a self adapting algorithm for smart watches to define individual transitions between motion intensities. The algorithm enables for a distinction between high-amplitude motions (e.g. walking, running, or simply moving extremities) low-amplitude motions (e.g. human microvibrations, and heart rate) as well as a general doffedstate. A prototypical implementation for detecting all three motion types was tested with a wrist-worn acceleration sensor. Since the aforementioned motion types are userspecific, SmartMove incorporates a training module based on a novel actigraphy-based sleep detection algorithm, in order to learn the specific motion types. In addition, our proposed sleep algorithm enables for reduced power consumption since it samples at a very low rate. Furthermore, the algorithm can identify suitable timeframes for an inertial sensor-based detection of vital-signs (e.g. seismocardiography or ballistocardiography).

Show publication details

Haescher, Marian; Matthies, Denys J.C.; Trimpop, John; Urban, Bodo

A Study on Measuring Heart- and Respiration-Rate via Wrist-Worn Accelerometer-based Seismocardiography (SCG) in Comparison to Commonly Applied Technologies

2015

iWOAR 2015 - 2nd international Workshop on Sensor-based Activity Recognition and Interaction

International Workshop on Sensor-based Activity Recognition (iWOAR) <2, 2015, Rostock, Germany>

Since the human body is a living organism, it emits various life signs which can be traced with an action potential sensitive electromyography, but also with motion sensitive sensors such as typical inertial sensors. In this paper, we present a possibility to recognize the heart rate (HR), respiration rate (RR), and the muscular microvibrations (MV) by an accelerometer worn on the wrist. We compare our seismocardiography (SCG) / ballistocardiography (BCG) approach to commonly used measuring methods. In conclusion, our study confirmed that SCG/BCD with a wrist-worn accelerometer also provides accurate vital parameters. While the recognized RR deviated slightly from the ground truth (SD=16.61%), the detection of HR is nonsignificantly different (SD=1.63%) to the gold standard.

Show publication details

Haescher, Marian; Trimpop, John; Matthies, Denys J.C.; Bieber, Gerald; Urban, Bodo; Kirste, Thomas

aHead: Considering the Head Position in a Multi-sensory Setup of Wearables to Recognize Everyday Activities with Intelligent Sensor Fusions

2015

Human-Computer Interaction. Proceedings Part II

International Conference on Human-Computer Interaction (HCII) <17, 2015, Los Angeles, CA, USA>

In this paper we examine the feasibility of Human Activity Recognition (HAR) based on head mounted sensors, both as stand-alone sensors and as part of a wearable multi-sensory network. To prove the feasibility of such setting, an interactive online HAR-system has been implemented to enable for multi-sensory activity recognition while making use of a hierarchical sensor fusion. Our system incorporates 3 sensor positions distributed over the body, which are head (smart glasses), wrist (smartwatch), and hip (smartphone). We are able to reliably distinguish 7 daily activities, which are: resting, being active, walking, running, jumping, cycling and office work. The results of our field study with 14 participants clearly indicate that the head position is applicable for HAR. Moreover, we demonstrate an intelligent multi-sensory fusion concept that increases the recognition performance up to 86.13 % (recall). Furthermore, we found the head to possess very distinctive movement patterns regarding activities of daily living.

Show publication details

Haescher, Marian; Bieber, Gerald; Trimpop, John; Urban, Bodo; Kirste, Thomas; Salomon, Ralf

Recognition of Low Amplitude Body Vibrations via Inertial Sensors for Wearable Computing

2015

Internet of Things

International Summit on Internet of Things (IoT360) <1, 2014, Rome Italy>

Pathological shaking of the body or extremities is widely known and might occur at chronic diseases e.g. Parkinson. The rhythmical shaking, also known as tremor, can be such intense that extremities are flapping. Under certain circumstances, healthy people also show a shivering and shaking of their body. For example, humans start to shiver whenever it is too cold or if feelings such as stress or fear become dominant. Some wearable devices that are in direct contact to the body, such as smartwatches or smartglasses, provide a sensing functionality of acceleration force that is sufficient to detect the tremor of the wearer. The tremor varies in frequency and intensity and can be identified, by applying detection algorithms and signal filtering. Former works figured that all endotherms show muscle vibrations. These vibrations occur in the condition of sleeping as well as when being awake, or in unconsciousness. Furthermore, the vibrations are also present when subjects are physically active, emotionally stressed, or absolutely relaxed. The vibration itself varies in structure, amplitude, and frequency. This paper shows that these muscle vibrations are measureable by acceleration sensors attached to the user, and provides an outlook to new applications in the future. It also proves that custom mobile devices are able to detect body and muscle vibration and should motivate designers to develop new applications and treatment opportunities.

978-3-319-19655-8

Show publication details

Trimpop, John; Haescher, Marian; Bieber, Gerald; Matthies, Denys J.C.; Lämmel, Friedrich; Burggraf, Paul

The Digital Health Companion: Personalized Health Support on Smartwatches via Recognition of Activity- and Vital-Data

2015

Proceedings of the International Summer School on Visual Computing 2015

International Summer School on Visual Computing <1, 2015, Rostock, Germany>

It has been shown that in various fields of social life, people tend to seek opportunities to measure their daily activities, bodily behaviors, and health related parameters. These kinds of activity tracking should be accomplished comfortably, unobtrusively and implicitly. Tracking behavior can be important for certain user groups, such as the growing population of elderlies. These people have a substantially higher risk of falling down, as they often live alone and thus have a greater need for other supporting services, as emergencies quickly occur. We would like to support these people, while providing a comfortable emergency detection and a monitoring of physical activities. Moreover, we believe such tracking applications to be beneficial for any user group, since we can perceive the trend of quantified self: knowing about one's own body characteristics, which is expressed in body movement. Simultaneously, we also perceive that a strong desire for a comprehensive monitoring of vital and health data is emerging. In this paper we describe the concept and implementation of the Digital Health Companion, a smart health support system that combines research developments of activity, vital data, and anomaly recognition with the functionality of contemporary smartwatches. The system's health monitoring includes an emergency detection and allows for the prevention of health risks in the short and long term through the recognition of body movement patterns.

Show publication details

Trimpop, John; Urban, Bodo [1. Gutachter]; Bieber, Gerald [Betreuer]

Multisensorische Aktivitätserkennung an Arm und Kopf

2014

Rostock, Univ., Master Thesis, 2014

Innovative Smart Devices ermöglichen eine umfassende, permanente und unaufdringliche Erkennung körperlicher Aktivität. Neben Smartphones und Smartwatches existieren auf dem Markt mittlerweile auch Smartglasses verschiedener Hersteller. Da die Human Activity Recognition mit nahe der Hüfte und am Arm getragener Sensoren bereits gut funktioniert, wird im Rahmen dieser Mastarbeit untersucht, ob eine auf Kopfsensorik basierende Aktivitätserkennung alleinstehend beziehungsweise in ein multisensorisches Netzwerk eingebettet durchführbar ist. Für dieses Vorhaben werden Konzepte zur multisensorischen Aktivitätserkennung und Sensorfusion entwickelt, die in einem umfangreichen System, bestehend aus mehreren Komponenten, implementiert werden. Das System kennzeichnet sich als Aktivitätstagebuch, welches Daten von am Kopf, am Arm und in der Hosentasche getragener Sensoren verarbeitet, auswertet und speichert. Die Ergebnisse einer ausgiebigen Evaluation unter Nutzung des Systems zeigen auf, dass am Kopf befestigte Sensoren für die Aktivitätserkennung eingesetzt werden können. Durch die Integration der Kopfposition innerhalb eines multisensorischen Netzwerkes konnten die Ergebnisse kontinuierlich verbessert werden. Zusätzliche Untersuchungen präsentieren darüber hinaus, dass verschiedene Geräte und Positionen am Kopf für die Aktivitätserkennung in Frage kommen und, dass die Kopfbewegung im Hinblick auf die körperliche Aktivität sehr charakteristisch ist.