Simultaneous human activity recognition, mapping, and indoor localization for ambient assisted living scenarios

Abstract

Background: The location of a person in an indoor environment and the recognition of their activity are valuable pieces of information to provide context-based assistance. This information is especially relevant for systems that assist older adults who need support in carrying out their daily living activities. However, most studies have addressed Indoor Localization (IL) and Human Activity Recognition (HAR) as isolated topics. As a result, the relationship between the place where the person is located and the activity carried out has not been completely explored. Moreover, protecting patient privacy and non-intrusiveness are fundamental aspects in Ambient-Assisted Living (AAL) scenarios. Objectives: To propose a dynamic system for simultaneous HAR, mapping, and indoor localization for AAL scenarios. Methods: A system that fuses data from an inertial measurement unit placed at the height of the person's ankle and proximity and human activity-related data captured with Bluetooth beacons deployed in the indoor environment has been proposed. This is done through an adaptation made to the Simultaneous Location and Mapping (SLAM) framework. The Human Activity Recognition component uses the K-Nearest Neighbor (KNN) data stream algorithm. The Pedestrian Dead-Reckoning (PDR) algorithm is the foundation of the indoor location component.

Results: The final evaluation of the system was carried out with 22 people, of whom 11 were older adults. As a result, it was obtained that the system can locate older adults with an average error of 1.02 ± 0.24 m and adults with an error of 0.98 ± 0.36 m. Activities of daily living were recognized with an F1 of 88% for older adults and an F1 of 88.02% for adults. There were no significant differences in activity recognition and indoor localization results. Conclusions: This research introduce a system that takes advantage of the relationship between location and human activity to simultaneously and non-invasively perform the location, mapping, and recognition of human activity in indoor environments. This is the first study that uses beacon’s movement as an input variable in SLAM to classify human activities. From this information, it is possible to obtain a map of the area in which the person is moving and adjust its location based on that map. The HAR was performed with a KNN data flow algorithm, which can be run on any wearable device due to low memory consumption. The proposed system is the backbone of future projects to develop flexible systems for monitoring IL and HAR based on two non-intrusive components: an Inertial Measurement Unit (IMU) and Bluetooth beacons.

Antecedentes: La localización de personas en entornos cerrados y el reconocimiento de su actividad son fuentes valiosas de información para proveer asistencia basada en el entorno. Esta información es especialmente relevante para sistemas que brindan asistencia a adultos mayores que necesitan algún tipo de ayuda en la ejecución de sus actividades de la vida diaria. Sin embargo, la mayoría de los estudios han abordado la localización en entornos cerrados (IL) y el reconocimiento de actividad humana (HAR) como temas aislados, es decir, la relación entre el lugar donde la persona se encuentra y la actividad que realiza no se ha aprovechado al máximo. Más aún, la protección de la privacidad de las personas y la no intrusión son aspectos fundamentales por considerar en este tipo de ambientes. Objetivos: Proponer un sistema dinámico para el reconocimiento de actividades, localización y mapeo en escenarios de la vida asistida por el entorno. Métodos: Se propone un sistema que fusiona datos de una unidad de medición inercial puesta a la altura del tobillo de la persona y datos de proximidad y relacionados con actividad humana capturados con Bluetooth beacons desplegados en el entorno cerrado. Lo anterior se hace por medio de una adaptación realizada al framework Simultaneous Location and Mapping (SLAM). El componente para el reconocimiento de actividad humana utiliza el algoritmo de data stream K-Nearest Neighbor (KNN). El algoritmo Pedestrian Dead- Reckoning (PDR) es la base del componente de localización en entornos cerrados. Resultados: La evaluación final del sistema se realizó con 22 personas de las cuales 11 fueron adultos mayores. Como resultado se obtuvo que el sistema es capaz de localizar a los adultos mayores con un error promedio de 1.02 ± 0.24 m y a los adultos con un error de 0.98 ± 0.36 m. Las actividades de la vida diaria fueron reconocidas con una F1 de 88% para los adultos mayores y con una F1 de 88.02% para los adultos. No hubo diferencias significativas en los resultados de localización y reconocimiento de actividad entre los grupos. Conclusiones: Se obtuvo un sistema que aprovecha la relación entre la ubicación y la actividad humana para realizar de forma simultánea y no invasiva la localización, el mapeo y el reconocimiento de la actividad humana en entornos cerrados. Este es el primer estudio que utiliza el movimiento de balizas como variable de entrada para clasificar actividades que luego se utilizan como landmarks en SLAM. A partir de esa información, es posible obtener un mapa del área por la que se mueve la persona y ajustar su localización basado en dicho mapa. El HAR se realizó con un algoritmo de flujo de datos KNN, que se puede ejecutar en cualquier wearable debido a su escaso consumo de memoria. El marco propuesto es la columna vertebral de futuros proyectos para desarrollar sistemas flexibles para monitorear IL y HAR basados en dos componentes no intrusivos: una IMU y balizas Bluetooth.

Hintergrund: Die Lokalisierung einer Person in einer Person im Innenbereich und das Erkennen ihrer Tätigkeit sind wertvolle Informationsquellen zur kontext-basierten Unterstützung. Diese Informationen sind insbesondere für Assistenzsysteme für alltägliche Tätigkeiten älterer Menschen wichtig. Die meisten Studien haben bisher die Lokalisierung im Innenbereich (IL) und die Tätigkeitserkennung (HAR) als isolierte Disziplinen behandelt. Folglich wurde der Zusammenhang zwischen dem Aufenthaltsort einer Person und deren Aktivität noch nicht vollständig ausgenutzt. Darüber hinaus sind Privatsphäre und Unaufdringlichkeit grundlegende Aspekte bei Ambient-Assisted-Living (AAL) Szenarien. Ziele: Implementierung eines dynamischen Systems für simultane Positionsbestimmung, Kartierung un HAR für AAL Szenarien. Methoden: Es wurde ein System aufgebaut, das Daten von Trägheitssensoren auf Höhe der Fußgelenke einer Person mit Lage- und Aktivitäts-bezogenen Daten von im Raum verteilten Bluetooth-Beacons verbindet. Dies wird durch Anpassung des Frameworks zur gleichzeitigen Lokalisierung und Mapping. Die Aktivitäts-Erkennungs-Komponente verwendet einen K-Nearest-Neighbor (KNN) Daten-Strom-Algorithmus. Der Pedestrian- Dead-Reckoning (PDR) Algorithmus bildet die Grundlage der Innenraum-Lokalisations- Komponente. Resultate: Das System wurde an 22 Personen evaluiert, von denen 11 ältere Erwachsene waren. Als Ergebnis wurde erreicht, dass das System ältere Personen mit einem durchschnittlichen Fehler von 1.02+-0.24m und Erwachsene mit einem Fehler von lokalisieren kann 0.98 ± 0.36 m. Die Aktivitäten des täglichen Lebens wurden erkannt mit einem F1 von 88% für ältere Erwachsene, und einem F1 von 88,02% für Erwachsene erkannt. Es gab keine signifikanten Unterschiede bei der Aktivität-Erkennung und Innenraum- Lokalisierung. Schlussfolgerung: In dieser Arbeit wurde ein System entwickelt, das Nutzen aus der Beziehung zwischen Ort und menschlicher Aktivität zieht, um simultane und nicht-invasiv zu lokalisieren, zu kartieren, und die menschliche Aktivität im Innenbereich zu erkennen. Dies ist die erste Studie, die Bewerbung von Beacons als Eingangsvariablen verwendet, um menschliche Aktivitäten später als Landmarken in SLAM zu klassifizieren. Mit Hilfe dieser Informationen ist es möglich, den Aufenthaltsbereich einer Person zu kartieren und den Ort basierend auf der Karte abzugleichen. Der HAR wurde mit einem KNN Datenfluss- Algorithmus realisiert, welcher wegen des geringen Speicherbedarfs auf jedem wearable lauffähig ist. Das vorgeschlagene System ist die Grundlage für künftige Projekte, um flexible Systeme zur Überwachung von IL und HAR, basierend auf zwei nicht-intrusiven Komponenten zu entwickeln: einem Inertial Measurement Unit (IMU) und Bluetooth beacons.