3D-CNN basés sur les squelettes pour la reconnaissance de la langue des signes isolés
No Thumbnail Available
Date
2022
Journal Title
Journal ISSN
Volume Title
Publisher
Université Larbi Ben M'hidi Oum El Bouaghi
Abstract
Ce travail vise à la réalisation d'un système de reconnaissance du la langue des signes à partir d'un ensemble des vidéos ayant un large impact social. Ce système rendra la communication facile entre les sourds-muets et les personnes normales. En revanche, de nombreuses contraintes rendent la réalisation d'un système de reconnaissance précis de vidéos très difficile à réaliser et cela en raison ; La langue des signes qui présente de nombreux détails et caractéristiques due principalement aux grandes variations dans les actions (les gestes sont ambigus, l'environnement, tel que l'arrière-plan peut perturber la reconnaissance, la reconnaissance basée sur la vidéo peut être confrontée à plus de défis le temps de réaction, l'amplitude du mouvement et la qualité vidéo peuvent également affecter la précision).
Dans ce travail, nous proposons un système basé sur l'une des approches du réseau de neurones convolutionnels tridimensionnels (3D-CNN). Ce dernier applique un algorithme d'I3D sur deux bases de données RGB et Squelette comme deux entrées, qui extrait automatiquement les caractéristiques des vidéos, capable de détecter les signes isolés et analyser par discrimination les gestes de la langue des signes et leur classification tout en préservant les informations temporelles des séquences des vidéos.
Description
Keywords
Reconnaissance des signes isolés, Convolutionnels tridimensionnels (3D CNN), Deep learning