Modelling Dynamic Scenes by Registrating Multi-View Image Sequences

We present a new variational method for multi-view stereovision and non-rigid threedimensional motion estimation from multiple video sequences. Our method minimizes the prediction error of the estimated shape and motion. Both problems then translate into a generic image registration task. The latter is entrusted to a similarity measure chosen depending on imaging conditions and scene properties. In particular, our method can be made robust to appearance changes due to non-Lambertian materials and illumination changes. Our method results in a simpler, more flexible, and more efficient implementation than existing deformable surface approaches. The computation time on large datasets does not exceed thirty minutes. Moreover, our method is compliant with a hardware implementation with graphics processor units. Our stereovision algorithm yields very good results on a variety of datasets including specularities and translucency. We have successfully tested our scene flow algorithm on a very challenging multi-view video sequence of a non-rigid event. Key-words: stereovision, non-rigid 3D motion, scene flow, registration, prediction error, variational method, cross correlation, mutual information, non-Lambertian, level sets. Modélisation de Scènes Dynamiques par Recalage de Séquences d’Images Multi-Caméras Résumé : Nous présentons une nouvelle méthode variationnelle pour la stéréovision multi-caméras et l’estimation du mouvement tridimensionnel non-rigide à partir de plusieurs séquences vidéos. Notre méthode minimise l’erreur de prédiction de la forme et du mouvement estimés. Les deux problèmes se ramènent alors à une tâche générique de recalage d’images. Cette dernière est confiée à une mesure de similarité choisie en fonction des conditions de prise de vue et des propriétés de la scène. En particulier, notre méthode peut être rendue robuste aux changements d’apparence dus aux matériaux non-lambertiens et aux changements d’illumination. Notre méthode aboutit à une implémentation plus simple, plus souple et plus efficace que les approches par déformation de surface existantes. Le temps de calcul sur de gros jeux de données ne dépasse pas trente minutes. De plus, notre méthode est compatible avec une implémentation matérielle à l’aide de cartes graphiques. Notre algorithme de stéréovision donne de très bons résultats sur de nombreux jeux de données comportant des spécularités et des transparences. Nous avons testé avec succès notre algorithme d’estimation du mouvement sur une séquence vidéo multi-caméras d’une scène non-rigide. Mots-clés : stéréovision, mouvement 3D non-rigide, recalage, erreur de prédiction, méthode variationnelle, corrélation croisée, information mutuelle, non-lambertien, ensembles de niveaux. Modelling Dynamic Scenes by Registrating Multi-View Image Sequences 3