قسم الإعلام الالي

Permanent URI for this collection

http://localhost:4000/handle/123456789/6750

Browse

Browsing قسم الإعلام الالي by Subject "Deep learning"

Now showing 1 - 2 of 2
  • No Thumbnail Available
    Item
    Semantic extraction and interpretation of image content
    (Université De Larbi Ben M’hidi Oum EL Bouaghi, 2021) Zga, Adel; Nini, Brahim
    Nowadays, three challenges of relationship-detection should be considered in order to build a strong model namely; long-tail problem, large intra-class divergence, and the semantic dependency or semantic gap. The aim of content-based image retrieval systems must provide maximum support in bridging the semantic gap between the simplicity of available visual features and the richness of the user semantics. Another issue is the long-tail problem where there is a low infrequent appearance of some objects (i.e. predicates) versus to the high occurrence of others. For that, an adequate scaling is demanded. The third problem that must be solved to build a strong CBIR system is the Intra/inter-class divergence. For the Intra-class divergence, objects (i.e., predicates) are belonging to the same class but can't be represented with the same visual characteristics, whereas the inter-class divergence is where the similar visual descriptors can relate to two objects (i.e., predicates) that are not related to each other. In order to overcome those challenges, we propose three main contributions: 1) an ontological semantic model to filter false negatives/positives using a statistical ranking module. 2) the combination of semantic ontological module and visual relationship module that both takes as input the results of the statistical ranking module and produces as output classification of . 3) a semantic model for the visual relationship module that ranks the prediction of relation classes by transferring the spatial relationship onto a high dimension spatial feature. Finally, we used HCVRD that highlights two important practical problems, the long-tail distribution issue, and the zero-shot problem. The experimental results on the HCVRD dataset demonstrate the superior performance of the proposed approach. De nos jours, trois défis de détection de relation doivent être prises en considération afin de construire un modèle fiable qui sont ; le problème de long-tail, la large divergence intra-classe et la dépendance sémantique ou le trou sémantique. L'objectif des systèmes de recherche basée sur le contenu doit fournir un support maximal pour combler le trou sémantique entre la simplicité des caractéristiques visuelles disponibles et la richesse des sémantiques de l'utilisateur. Un autre problème qui est le long-tail problème où il y a une faible apparition peu fréquente de certains objets (c'est-à-dire les prédicats) versus à l'occurrence élevée des autres. Pour cela, une mise à l'échelle est exigée. Le troisième problème qui doit être résolu pour construire un système CBIR fiable est bien la divergence Intra/inter-classe. Pour la divergence Intra-classe, les objets (c'est-à-dire les prédicats) appartiennent à la même classe mais ils ne peuvent pas être représentés avec les mêmes caractéristiques visuelles, tandis que la divergence inter-classe est celle où les descripteurs visuels similaires peuvent se rapporter à deux objets (c'est-à dire les prédicats) qui ne sont pas liés entre eux. Dans le but de surpasser ces défis, on propose trois principales contributions : 1) un modèle d'ontologie sémantique pour filtrer les faux négatifs/positifs en utilisant un module de classement statistique. 2) la combinaison de module d'ontologie sémantique et le module de relation visuelle qui prennent tous les deux comme entrée les résultats de module de classement statistique et produisent comme sortie la classification de . 3) un modèle sémantique pour le module de relation visuelle qui classifie la prédiction des classes de relation en transférant la relation spatiale sur une caractéristique spatiale de haute dimension. Finalement, nous avons utilisé HCVRD qui montre deux problèmes pratiques très importants, le problème de distribution de longue-tail, et le problème de zero-shot. Les résultats expérimentaux sur la base HCVRD montre la supériorité des performances de notre approche proposée. اليوم في التفسير الدلالي لمحتوى الصور توجد تحديات يجب ان تؤخد بعين الاعتبار وذلك من اجل بناء نموذج قوي وتتمثل هذه التحديات في مشكلة الذيل الطو يل و التباعد الكبير داخل الطبقة والتبعية الدلالية أو الفجوة الدلالية. الهدف من أنظمة البحث عن الصور القائمة على المحتوى هو توفير أقصى قدر من الدعم لسد الفجوة الدلالية بين بساطة الميزات المرئية المتاحة وثراء دلالات المستخدم، مشكلة أخرى هي مشكلة الذيل الطويل حيث يوجد تكرار منخفض لبعض الأشياء (أي المسندات) مقارنة بالظهور المرتفع للآخرين ولهذا التحجيم المناسب مطلوب. الملة قوي هي الاختلاف داخل و بين الطبقات. بالنسبة للاختلاف CBIR الكثاثة التي يجب حلها لبناء نظام داخل الطبقة ، تنتمي الكائنات (أي المسندات) إلى نفس الفئة ولكن لا يمكن تمثيلها بنفس الخصائص المرئية ، في حين أن الاختلاف بين الفئات هو النقطة التي يمكن أن ترتبط فيه الواصفات المرئية المماثلة بكائنين (أي المسندات). من أجل التغلب على هذه التحديات ، نقترح ثلاث مساهمات رئيسية: ١) نموذج دلالي وجودي لتصفية السلبيات / الإيجابيات الكاذبة باستخدام وحدة التصنيف الإحصائي. ٢) الجمع بين الوحدة الأنطولوجية الدلالية ووحدة العلاقات المرئية اللذان يأخذان كمدخلات نتائج وحدة التصنيف الإحصائي وينتجان كمخرجات تصنيف < الإنسان المسند الكائن >. ٣) نموذج دلالي لوحدة العلاقة المرئية يصنف التنبؤ بفئات العلاقة عن الذي يسلط الضوء على HCVRD طر يق نقل العلاقة المكانية إلى خاصية مكانية كبيرة الأبعاد. أخيراً ، استخدمنا اوضحت النتائج التجريبية على .zero − shot ومشكلة long − tail مشكلتين عمليتين مهمتين ، مشكلة توزيع ان الطريقة المقترحة خققت درجة عالية من الدقة HCVRD مجموعة بيانات
  • No Thumbnail Available
    Item
    Vision- based human activities recognition in supervised or assisted environment
    (Université De Larbi Ben M’hidi Oum EL Bouaghi, 2022) Beddiar, Djamila Romaissa; Nini, Brahim
    Human Activity Recognition HAR has been a hot research topic in the last decade due to its wide range of applications. Indeed, it has been the basis for implementa- tion of many computer vision applications, home security, video surveillance, and human-computer interaction. We intend by HAR, tools, and systems allowing to detect and recognize actions performed by individuals. With the considerable progress made in sensing technologies, HAR systems shifted from wearable and ambient-based to vision-based. This motivated the researchers to propose a large mass of vision-based solutions. From another perspective, HAR plays an impor- tant role in the health care sector and gets involved in the construction of fall detection systems and many smart home-related systems. Fall detection FD con- sists in identifying the occurrence of falls among other daily life activities. This is essential because falling is one of the most frequent serious health issues encoun- tered by seniors. FD systems are especially used in elderly homes and workplaces to enable elderly isolated populations to live alone for as long as possible, enhance their security and remote assistance. In this thesis, gaps in HAR field and current challenges are identified. This was performed by reviewing the most prominent state-of-the-art techniques, analyzing and evaluating them. Based on the literature review, new algorithms are intro- duced and embedded to explore the multi-modal HAR by combining different modalities that allowed us to highlight the spatial and temporal evolution of the actions. The proposed approach based on deep learning and video representation is quite simple and achieves state-of-the-art results. Afterwards, to address some issues related to FD, we combine human body ge- ometry available at different frames of the video sequence with pose estimation. The proposed approach relies on deep learning architectures and transfer learning to achieve high accuracy while identifying falls from daily life activities and is intended to be used for elderly assistance. Finally, the thesis identifies manda- tory extensions regarding our proposed frameworks for HAR and FD and future research directions. La reconnaissance des actions humaines est devenue un sujet scientifique en pleine effervescence grace à ses divers domaines d’application. Elle est à la base du développement de nombreuses applications d’interaction homme-machine, vision artificielle, sécurité, vidéosurveillance et assistance à domicile. La reconnaissance des actions humaines est l’ensemble des outils et systèmes permettant de détecter et de reconnaitre l’action réalisée par l’individu. L’évolution remarquable qu’ont connu les technologies de détection ces dernières années a influencé de manière directe le développement des systèmes de reconnaissance des activités humaines. Ceci a permis de passer des systèmes à base de contact aux systèmes à base de vision, ce qui a motivé les chercheurs à proposer une grande masse de solutions. Par ailleurs, la reconnaissance des actions humaines joue un rôle primordial dans le secteur de la santé et l’assistance à domicile. Elle est exploitée dans la construc- tion des systèmes de détection de chutes ainsi que d’autres systèmes relatifs aux maisons intelligentes. La détection des chutes consiste à identifier l’occurrence de chutes parmi les différentes actions de vie quotidienne. Ceci est essentiel car la chute est considérée comme l’un des problèmes de santé auxquels les seniors sont fréquemment exposés. Les systèmes de détection de chutes sont particulièrement utilisés dans les maisons et les bureaux des seniors pour leur permettre de vivre independament de façon autonome aussi longtemps que possible, optimiser leur sécurité et améliorer les services d’assistance à distance. A l’issue de notre synthèse de l’état de l’art relatif au domaine de la reconnaissance des actions humaines, il nous a été possible d’identifier les challenges y afférent, d’analyser et d’évaluer les techniques existantes et par conséquent, mettre en avant quelques lacunes de recherche que nous proposons d’étudier dans ce travail. A cet effet, de nouveaux algorithmes sont proposés et sont introduits pour explorer la reconnaissance des actions humaines en combinant différentes modalités de données. Ceci nous a permis également de mettre en évidence la combinaison de l’évolution spatiale et temporelle de l’action. L’approche que nous proposons est basée sur l’apprentissage profond et la représentation de vidéo. Elle est simple et démontre de très bonnes performances. Par ailleurs, pour résoudre quelques problèmes liés à la détection de chutes, nous combinons la géométrie du corps humain, disponible à travers les différentes séquences vidéo, avec l’estimation de poses. L’approche proposée, fondée sur l’apprentissage profond et le transfert d’apprentissage, permet d’atteindre un haut niveau de précision par une meilleure identification des chutes liées à l’exercice des activités quotidiennes. Elle est ainsi destinée à l’assistance des seniors dans leur vie quotidienne. Enfin, cette thèse identifie d’autres perspectives futures de recherche et des extensions triviales aux approches proposées pour la reconnais- sance des actions humaines et des chutes. في العقد الأخير، كان مجال التعرف على النشاط البشري موضوع بحث ساخن بسبب استعمالاته في مجموعة واسعة من التطبيقات. وبالفعل، لقد كان الأساس لتنفيذ العديد من تطبيقات الرؤية الحاسوبية، الأمن المنزلي، المراقبة بالفيديو، او التفاعل بين البشر والحاسوب. نقصد من خلال مجال التعرف على النشاط البشري الأدوات او الأنظمة الملحقة التي تسمح باكتشاف والتعرف على النشاط الذي يقوم به الفرد. مع التقدم الـكبير الذي تم إحرازه في تقنيات الاستشعار، تحولت أنظمة التعرف على النشاط البشري من الأجهزة القابلة للارتداء والمحيطة بالأسناد الى تلك القائمة على مجال الرؤية. هذا ما حفز الباحثين على اقتراح مجموعة كبيرة من الحلول القائمة على مجال الرؤية. من منظور آخر، يلعب مجال التعرف على النشاط البشري دورًا هاما في قطاع الرعاية الصحية، كما أستعمل أيضا في بناء أنظمة الـكشف عن السقوط والعديد من الأنظمة المتعلقة بالمنازل الذكية. يكمن نظام الـكشف عن السقوط من تحديد دقيق لحالة السقوط بين باقي أنشطة الحياة اليومية. يعتبر هذا النظام جد ضروري خاصة أن السقوط هو أحد أكثر المشاكل الصحية الخطيرة التي يواجهها كبار السن. ت ُستخدم أنظمة الـكشف عن السقوط بشكل خاص في دور المسنين وأماكن العمل لمساعدة المسنين المعزولين عن ب ُعد وتعزيز امنهم وتمكينهم من العيش بمفردهم لأطول فترة ممكنة. في هذه الأطروحة، تم تحديد الفجوات في مجال التعرف على النشاط البشري فيما يخص جميع التحديات الحالية. وقد تم إجراء ذلك من خلال مراجعة أبرز البحوث العلمية وأيضا جميع التقنيات الحديثة مع تحليلها وتقييمها. و بناء ً على ما تحصلنا عليه من مراجعتها، تم تقديم خوارزميات جديدة ودمجها لاستكشاف متعدد الوسائط، مجال التعرف على النشاط البشري وذلك من خلال الجمع بين الطرق المختلفة التي سمحت لنا بتسليط الضوء على التطور المكاني والزماني للأنشطة التي يقوم بها الأشخاص. ومن هنا اقترحنا النهج المتبع في هذا البحث والذي هو قائم على استعمال التعلم العميق وتمثيل بالفيديو. الطريقة المقترحة تعتبر بسيطة للغاية وأيضا توصلنا من خلالها الى تحقيق نتائج جيدة. بعد ذلك، ولغرض معالجة بعض المشكلات المتعلقة بأنظمة الـكشف عن السقوط، نقوم بدمج هندسة جسم الإنسان المتوفرة في أوقات مختلفة من تسلسلات الفيديو مع تقدير للوضعية. يعتمد النهج المقترح على معماريات التعلم العميق وأيضا تقنية نقل التعلم وذلك لتحقيق دقة عالية أثناء تحديد السقوط من أنشطة الحياة اليومية الأخرى ويهدف من استخدامه خاصة لمساعدة المسنين. في الأخير، نحدد من خلال البحوث المنجزة في هذه الأطروحة إلى الامتدادات الإلزامية فيما يتعلق بالأطر المقترحة سوآءا ً في مجال التعرف على النشاط البشري، في أنظمة الـكشف عن السقوط، أو اتجاهات البحث المستقبلية.