Tourist experiences recommender system based on wearable devices data

Abstract

The collection of physiological data from people has been facilitated due to the mass use of cheap wearable devices. Although the accuracy is low compared to specialized healthcare devices, these can be widely applied in other contexts. This research proposes the architecture for a tourist experiences recommender system (TERS) based on the user’s emotional states who wear these devices. The issue lies in detecting emotion from Heart Rate (HR) measurements obtained from these wearables. Unlike most state-of-the-art studies, which have elicited emotions in controlled experiments and with high-accuracy sensors, this research’s challenge consisted of emotion recognition (ER) in the everyday context of users based on the gathering of HR data. Furthermore, an objective was to generate the tourist recommendation considering the emotional state of the device wearer. The method used comprises three main phases: The first was the collection of HR measurements and labeling emotions through mobile applications. The second was emotional detection using deep learning algorithms. The final phase was the design and validation of the TERS-ER. In this way, a dataset of HR measurements labeled with emotions was obtained as results. Among the different algorithms tested for ER, the hybrid model of Convolutional Neural Networks (CNN) and Long Short-Term Memory (LSTM) networks had promising results. Moreover, concerning TERS, Collaborative Filtering (CF) using CNN showed better performance.

La recopilación de datos fisiológicos de personas se ha visto facilitada debido al uso masivo de dispositivos wearable baratos. Aunque la precisión es baja en comparación con los dispositivos médicos especializados, estos pueden aplicarse ampliamente en otros contextos. Esta investigación propone la arquitectura de un sistema de recomendación de experiencias turísticas (TERS) basado en los estados emocionales de los usuarios que usan estos dispositivos. El problema radica en detectar la emoción a partir de las mediciones de Frecuencia Cardíaca (HR) obtenidas de estos dispositivos wearable. A diferencia de la mayoría de los estudios de estado del arte, que han provocado emociones en experimentos controlados y con sensores de alta precisión, el desafío de esta investigación consistió en el reconocimiento de emociones (ER) en el contexto cotidiano de los usuarios basado en la recopilación de datos de HR. Además, un objetivo fue generar la recomendación turística considerando el estado emocional del usuario del dispositivo. El método utilizado consta de tres fases principales: La primera fue la recolección de medidas de HR y etiquetado de emociones a través de aplicaciones móviles. El segundo fue la detección emocional mediante algoritmos de aprendizaje profundo. La fase final fue el diseño y validación del TERS-ER. De esta manera, se obtuvo como resultados un conjunto de datos de medidas de HR etiquetadas con emociones. Entre los diferentes algoritmos probados para ER, el modelo híbrido de Redes Neuronales Convolucionales (CNN) y redes de Memoria a Largo y Corto Plazo (LSTM) tuvo resultados prometedores. Además, en cuanto a TERS, el Filtrado Colaborativo (CF) con CNN mostró un mejor rendimiento.