Vision- based human activities recognition in supervised or assisted environment
No Thumbnail Available
Date
2022
Journal Title
Journal ISSN
Volume Title
Publisher
Université De Larbi Ben M’hidi Oum EL Bouaghi
Abstract
Human Activity Recognition HAR has been a hot research topic in the last decade due to its wide range of applications. Indeed, it has been the basis for implementa- tion of many computer vision applications, home security, video surveillance, and human-computer interaction. We intend by HAR, tools, and systems allowing to detect and recognize actions performed by individuals. With the considerable progress made in sensing technologies, HAR systems shifted from wearable and ambient-based to vision-based. This motivated the researchers to propose a large mass of vision-based solutions. From another perspective, HAR plays an impor- tant role in the health care sector and gets involved in the construction of fall detection systems and many smart home-related systems. Fall detection FD con- sists in identifying the occurrence of falls among other daily life activities. This is essential because falling is one of the most frequent serious health issues encoun- tered by seniors. FD systems are especially used in elderly homes and workplaces to enable elderly isolated populations to live alone for as long as possible, enhance their security and remote assistance.
In this thesis, gaps in HAR field and current challenges are identified. This was performed by reviewing the most prominent state-of-the-art techniques, analyzing and evaluating them. Based on the literature review, new algorithms are intro- duced and embedded to explore the multi-modal HAR by combining different modalities that allowed us to highlight the spatial and temporal evolution of the actions. The proposed approach based on deep learning and video representation is quite simple and achieves state-of-the-art results.
Afterwards, to address some issues related to FD, we combine human body ge- ometry available at different frames of the video sequence with pose estimation. The proposed approach relies on deep learning architectures and transfer learning to achieve high accuracy while identifying falls from daily life activities and is intended to be used for elderly assistance. Finally, the thesis identifies manda- tory extensions regarding our proposed frameworks for HAR and FD and future research directions.
La reconnaissance des actions humaines est devenue un sujet scientifique en pleine effervescence grace à ses divers domaines d’application. Elle est à la base du développement de nombreuses applications d’interaction homme-machine, vision artificielle, sécurité, vidéosurveillance et assistance à domicile. La reconnaissance des actions humaines est l’ensemble des outils et systèmes permettant de détecter et de reconnaitre l’action réalisée par l’individu. L’évolution remarquable qu’ont connu les technologies de détection ces dernières années a influencé de manière directe le développement des systèmes de reconnaissance des activités humaines. Ceci a permis de passer des systèmes à base de contact aux systèmes à base de vision, ce qui a motivé les chercheurs à proposer une grande masse de solutions. Par ailleurs, la reconnaissance des actions humaines joue un rôle primordial dans le secteur de la santé et l’assistance à domicile. Elle est exploitée dans la construc- tion des systèmes de détection de chutes ainsi que d’autres systèmes relatifs aux maisons intelligentes. La détection des chutes consiste à identifier l’occurrence de chutes parmi les différentes actions de vie quotidienne. Ceci est essentiel car la chute est considérée comme l’un des problèmes de santé auxquels les seniors sont fréquemment exposés. Les systèmes de détection de chutes sont particulièrement utilisés dans les maisons et les bureaux des seniors pour leur permettre de vivre independament de façon autonome aussi longtemps que possible, optimiser leur sécurité et améliorer les services d’assistance à distance.
A l’issue de notre synthèse de l’état de l’art relatif au domaine de la reconnaissance des actions humaines, il nous a été possible d’identifier les challenges y afférent, d’analyser et d’évaluer les techniques existantes et par conséquent, mettre en avant quelques lacunes de recherche que nous proposons d’étudier dans ce travail. A cet effet, de nouveaux algorithmes sont proposés et sont introduits pour explorer la reconnaissance des actions humaines en combinant différentes modalités de données. Ceci nous a permis également de mettre en évidence la combinaison de l’évolution spatiale et temporelle de l’action. L’approche que nous proposons est basée sur l’apprentissage profond et la représentation de vidéo. Elle est simple et démontre de très bonnes performances.
Par ailleurs, pour résoudre quelques problèmes liés à la détection de chutes, nous combinons la géométrie du corps humain, disponible à travers les différentes séquences vidéo, avec l’estimation de poses. L’approche proposée, fondée sur l’apprentissage profond et le transfert d’apprentissage, permet d’atteindre un haut niveau de précision par une meilleure identification des chutes liées à l’exercice des activités quotidiennes. Elle est ainsi destinée à l’assistance des seniors dans leur vie quotidienne. Enfin, cette thèse identifie d’autres perspectives futures de recherche et des extensions triviales aux approches proposées pour la reconnais- sance des actions humaines et des chutes.
في العقد الأخير، كان مجال التعرف على النشاط البشري موضوع بحث ساخن بسبب استعمالاته في مجموعة واسعة من التطبيقات. وبالفعل، لقد كان الأساس لتنفيذ العديد من تطبيقات الرؤية الحاسوبية، الأمن المنزلي، المراقبة بالفيديو، او التفاعل بين البشر والحاسوب. نقصد من خلال مجال التعرف على النشاط البشري الأدوات او الأنظمة الملحقة التي تسمح باكتشاف والتعرف على النشاط الذي يقوم به الفرد. مع التقدم الـكبير الذي تم إحرازه في تقنيات الاستشعار، تحولت أنظمة التعرف على النشاط البشري من الأجهزة القابلة للارتداء والمحيطة بالأسناد الى تلك القائمة على مجال الرؤية. هذا ما حفز الباحثين على اقتراح مجموعة كبيرة من الحلول القائمة على مجال الرؤية.
من منظور آخر، يلعب مجال التعرف على النشاط البشري دورًا هاما في قطاع الرعاية الصحية، كما أستعمل أيضا في بناء أنظمة الـكشف عن السقوط والعديد من الأنظمة المتعلقة بالمنازل الذكية. يكمن نظام الـكشف عن السقوط من تحديد دقيق لحالة السقوط بين باقي أنشطة الحياة اليومية. يعتبر هذا النظام جد ضروري خاصة أن السقوط هو أحد أكثر المشاكل الصحية الخطيرة التي يواجهها كبار السن. ت ُستخدم أنظمة الـكشف عن السقوط بشكل خاص في دور المسنين وأماكن العمل لمساعدة المسنين المعزولين عن ب ُعد وتعزيز امنهم وتمكينهم من العيش بمفردهم لأطول فترة ممكنة.
في هذه الأطروحة، تم تحديد الفجوات في مجال التعرف على النشاط البشري فيما يخص جميع التحديات الحالية. وقد تم إجراء ذلك من خلال مراجعة أبرز البحوث العلمية وأيضا جميع التقنيات الحديثة مع تحليلها وتقييمها. و
بناء ً على ما تحصلنا عليه من مراجعتها، تم تقديم خوارزميات جديدة ودمجها لاستكشاف متعدد الوسائط، مجال التعرف على النشاط البشري وذلك من خلال الجمع بين الطرق المختلفة التي سمحت لنا بتسليط الضوء على التطور المكاني والزماني للأنشطة التي يقوم بها الأشخاص. ومن هنا اقترحنا النهج المتبع في هذا البحث والذي هو قائم على استعمال التعلم العميق وتمثيل بالفيديو. الطريقة المقترحة تعتبر بسيطة للغاية وأيضا توصلنا من خلالها الى تحقيق نتائج جيدة.
بعد ذلك، ولغرض معالجة بعض المشكلات المتعلقة بأنظمة الـكشف عن السقوط، نقوم بدمج هندسة جسم الإنسان المتوفرة في أوقات مختلفة من تسلسلات الفيديو مع تقدير للوضعية. يعتمد النهج المقترح على معماريات التعلم العميق وأيضا تقنية نقل التعلم وذلك لتحقيق دقة عالية أثناء تحديد السقوط من أنشطة الحياة اليومية الأخرى ويهدف من استخدامه خاصة لمساعدة المسنين. في الأخير، نحدد من خلال البحوث المنجزة في هذه الأطروحة إلى الامتدادات الإلزامية فيما يتعلق بالأطر المقترحة سوآءا ً في مجال التعرف على النشاط البشري، في أنظمة الـكشف عن السقوط، أو اتجاهات البحث المستقبلية.
Description
Keywords
Computer vision, Deep learning, Fall detection, Elderly monitoring