A rigorous and realistic Shape From Shading method and some of its applications

This article proposes a rigorous and realistic solution of the Lambertian Shape From Shading (SFS) problem. The power of our approach is threefolds. First, our work is based on a rigorous mathematical method: we define a new notion of weak solutions (in the viscosity sense) which does not necessarily requires boundary data (contrary to the work of [28, 27, 26, 4, 11]) and which allows to define a solution as soon as the image is (Lipschitz) continuous (contrary to the work of [22, 9]). We prove the existence and uniqueness of this (new) solution and we approximate it by using a provably convergent algorithm. Second, it improves the applicability of the SFS to real images: we complete the realistic work of [26, 30], by modeling the problem with a pinhole camera and with a single point light source located at the optical center. This new modelization appears very relevant for applications. Moreover, our algorithm can deal with images containing discontinuities and black shadows. It is very robust to pixel noise and to errors on parameters. It is also generic: i.e. we propose a unique algorithm which can compute numerical solutions of the various perspective and orthographic SFS models. Finally, our algorithm seems to be the most efficient iterative algorithm of the SFS literature. Third, we propose three applications (in three different areas) based on our SFS method. Key-words: Applications of Shape from Shading; real images; Shape from Shading without boundary data, viscosity solutions with state constraints; black shadows; light source located at the optical center; perspective Shape From Shading; “generic” Hamiltonian. http://www-sop.inria.fr/odyssee/team/Emmanuel.Prados/ (Odyssée Lab., INRIA/ENS/ENPC, France) http://www-sop.inria.fr/odyssee/team/Olivier.Faugeras/ (Odyssée Lab., INRIA/ENS/ENPC, France) “Shape-From-Shading”: Une approche réaliste et rigoureuse; exemples d’applications. Résumé : Cet article propose une solution réaliste et rigoureuse du problème du “Shape-FromShading” Lambertien. La puissance de notre approche est triple. Tout d’abord, celle-ci est basée sur une méthode mathématique rigoureuse: nous définissons une nouvelle notion de solutions faibles (au sens des solutions de viscosité) qui ne requiert pas nécessairement de données au bord (contrairement aux travaux de [28, 27, 26, 4, 11]) et qui permet de définir une solution dès que l’image est Lipschitzienne (contrairement aux travaux de [22, 9]). Nous prouvons l’existence et l’unicité de cette (nouvelle) solution et nous l’approximons en utilisant un algorithme dont nous prouvons la convergence. Deuxièmement, notre approche augmente l’applicabilité du “Shape-From-Shading”. Nous complétons la modélisation réaliste proposée par [26, 30], en considérant une caméra de type sténopé et une source de lumière ponctuelle disposée au centre optique: cette nouvelle modélisation est très pertinente pour les applications et permet d’obtenir d’excellents résultats sur des images réelles. Notre algorithme permet de plus de traiter des images contenant des discontinuités et des ombres portées. Celui-ci est très robuste aux bruits pixéliques et aux erreurs faites sur les paramètres. Il est aussi générique: i.e. nous proposons un unique algorithme qui peut calculer des solutions numériques des divers modèles de “Shape-From-Shading” orthographiques et perspectifs. Enfin, notre algorithme semble être l’algorithme itératif le plus “performant” de la littérature du “Shape-FromShading”. Troisièmement, nous proposons trois applications (dans trois domaines différents) basées sur notre méthode. Mots-clés : Applications du Shape from Shading; images réelles; Shape from Shading “sans” condition aux limites, solutions de viscosité avec contraintes d’état; ombres portées; source de lumière au centre optique; Shape From Shading perspectif; Hamiltonien “générique”. A rigorous and realistic Shape From Shading method 3