Projets de recherche

Liens pertinents


View Profile de Frédéric Jean sur LinkedIn

1 - Projet de doctorat

1.1 - Titre

Modélisation et comparaison de la démarche de personnes à partir de séquences vidéo monoculaires

1.2 - Collaborateurs

  • Prof. Robert Bergevin (Directeur), Département de génie électrique et génie informatique, Université Laval, Québec, Québec, Canada.
  • Prof. Alexandra Branzan Albu (Codirectrice), Dept. of Electrical and Computer Engineering, University of Victoria, Victoria, British Columbia, Canada.

1.3 - Description

Le suivi de personnes par un système informatique avec caméras est l'objet de beaucoup de travaux depuis quelques temps. Plusieurs techniques ont été développées pour tenter de résoudre ce problème. Cependant, ces méthodes ne sont pas toujours réalistes et nécessitent bien souvent un environnement contraint en plus de la coopération des personnes observées. Il serait donc intéressant de pouvoir suivre et éventuellement reconnaître des personnes à l'aide de critères plus naturels et des méthodes moins invasives telles que l'observation de la démarche des personnes.

La démarche d'une personne est caractérisée par les mouvements effectués dans le temps par le corps et les membres lors de la marche. Par conséquent, le problème consiste en un premier temps à localiser et à suivre automatiquement les principaux membres d'une personne à partir d'une séquence vidéo monoculaire. La plus grande partie des mouvements effectués par une personne qui marche se trouve dans les extrémités du corps, c'est-à-dire la tête, les mains et les pieds. Puisque le mouvement des mains n'est pas du tout contraint lorsqu'une personne marche, seulement la position de la tête et des pieds sera détectée et suivie. L'algorithme de suivi des membres qui a été développé dans ce projet permet le suivi de la tête et des pieds en temps réel. La séquence vidéo qui suit présente le résultat du suivi des membres pour une personne qui marche devant une caméra monoculaire. Il est important de noter que l'algorithme de suivi des membres maintient la correspondance des pieds même lorsqu'il y a occultation entre les pieds. En d'autres mots, le point jaune et le point rouge demeurent toujours sur le même pied, et ce, pour toute la durée de la séquence vidéo.

Un algorithme de «normalisation» a été développé afin de corriger les trajectoires de la tête et des pieds obtenues à l'aide de l'algorithme de suivi des membres. Cet algorithme de normalisation est nécessaire afin d'obtenir des trajectoires de membres invariantes à la vue et aux changements de direction dans la marche. Les trajectoires sont transformées de telle sorte qu'elles semblent avoir été obtenues à partir d'une vue de profil, laquelle est considérée comme étant la meilleure vue pour l'extraction de caractéristiques de la démarche. Une fois que les trajectoires de membres sont normalisées, il est possible d'extraire des caractéristiques de la démarche qui sont invariantes à la vue.

La séquence vidéo qui suit présente le résultat de l'algorithme de normalisation pour deux personnes ayant marché en suivant des trajets différents. Premièrement, les demi-cycles de marche sont détectés en analysant la distance apparente entre les pieds. Un demi-cycle de marche se termine et un autre demi-cycle commence au moment où la distance entre les pieds est maximale. Pour chacun des demi-cycles de marche détectés, un «plan» de marche apparent est déterminé à l'aide de la position de la tête et des pieds au début et à la fin du demi-cycle. Ces plans déformés par la projection de perspective peuvent être corrigés en calculant pour chacun une homographie qui permettra de les transformer de sorte qu'ils paraîtront avoir été observés à partir de la vue de profil (rectangle). Une fois l'homographie déterminée pour chacun des plans de marche, celle-ci peut être appliquée sur la trajectoire des membres afin de les corriger.

Des modèles de la démarche seront calculés en utilisant les caractéristiques de la démarche obtenues à partir des trajectoires des membres normalisées. Il sera alors possible de reconnaître des personnes par leur démarche, ou bien de détecter les démarches anormales.

1.4 - Publications

  • F. Jean, A. Branzan Albu, et R. Bergevin: Towards View-Invariant Gait Modeling: Computing View-Normalized Body Part Trajectories, PR 2009
  • F. Jean, R. Bergevin, et A. Branzan Albu: Computing and Evaluating View-normalized Body Part Trajectories, IVC 2009
  • F. Jean, R. Bergevin, et A. Branzan Albu: Trajectories Normalization for Viewpoint Invariant Gait Recognition, ICPR 2008
  • F. Jean, R. Bergevin, et A. Branzan Albu: Computing View-normalized Body Parts Trajectories, CRV 2007
  • F. Jean, R. Bergevin, et A. Branzan Albu: Body Tracking in Human Walk from Monocular Video Sequences, CRV 2005

2 - Projet de clavier virtuel

2.1 - Collaborateurs

  • Prof. Alexandra Branzan Albu (Codirectrice), Dept. of Electrical and Computer Engineering, University of Victoria, Victoria, British Columbia, Canada.

2.2 - Description

Le "clavier virtuel" tente d'imiter les banques de pédales qu'il est possible de trouver sur des orgues. Il a été prévu pour être utilisé conjointement avec de nouveaux instruments de musique, tel que le «Radio Drums». Certains de ces instruments de musique requièrent une interface de contrôle fonctionnant avec les pieds puisque les mains sont déjà utilisées pour jouer de l'instrument en question.

Le clavier virtuel en lui-même n'est qu'une planche de bois sur laquelle des touches ont été peintes. Le clavier est observé par une caméra web, et les images sont analysées à l'aide d'algorithmes de vision par ordinateur afin de suivre les pieds de l'artiste et de détecter les frappes sur les touches. Un marqueur blanc est installé sur le bout des pieds de l'artiste afin d'obtenir une position fiable du bout des pieds dans l'image. Puisque la position dans l'image et le modèle du clavier sont connus des algorithmes, il est possible de détecter quelle touche a été frappée et l'intervalle de temps durant lequel le pied est demeuré sur la touche. La séquence vidéo qui suit montre le le système de clavier virtuel en action. Lorsqu'une touche est dessinée en vert, c'est qu'il y a un pied juste au-dessus tandis que la touche est en rouge lorsqu'elle a été frappée.

2.3 - Publications

  • F. Jean, et A. Branzan Albu: The Visual Keyboard: Real-time Feet Tracking for the Control of Musical Meta-instruments, SPIC 2008
  • F. Jean, A. Branzan Albu, W. Schloss et P. Driessen: Computer Vision-based Interface for the Control of Musical Meta-instruments, HCI 2007

Design provided by Free Web Templates - your source for free website templates