Camera Self-Calibration Using the Singular Value Decomposition of the Fundamental Matrix: From Point Correspondences to 3D Measurements

This paper deals with a fundamental problem in motion and stereo analysis, namely that of determining the camera intrinsic calibration parameters. A novel method is proposed that follows the autocalibration paradigm, according to which calibration is achieved not with the aid of a calibration pattern but by observing a number of image features in a set of successive images. The proposed method relies upon the Singular Value Decomposition of the fundamental matrix, which leads to a particularly simple form of the Kruppa equations. In contrast to the classical formulation that yields an over-determined system of constraints, the derivation proposed here provides a straightforward answer to the problem of determining which constraints to employ among the set of available ones. Moreover, the derivation is a purely algebraic one, without a need for resorting to the somewhat non-intuitive geometric concept of the absolute conic. Apart from the fundamental matrix itself, no other quantities that can be extracted from it (e.g. the epipoles) are needed for the derivation. Experimental results from extensive simulations and several image sequences demonstrate the effectiveness of the proposed method in accurately estimating the intrinsic calibration matrices. It is also shown that the computed intrinsic calibration matrices are sufficient for recovering 3D motion and performing metric measurements from uncalibrated images. Key-words: Self-Calibration, Kruppa Equations, 3D Measurements, Motion Analysis, Stereo, Structure from Motion. This work was funded in part under the VIRGO research network (EC Contract No ERBFMRX-CT96-0049) of the TMR Programme. Auto-Calibration par Décomposition en Valeurs Singulières de la Matrice Fondamentale: De l’Appariement de Points aux Mesures 3D Résumé : Ce rapport traite du problème fondamental de l’auto-calibration d’une caméra à partir d’un ensemble de points appariés entre différentes images. Une méthode basée sur les équations de Kruppa, bien connues dans le cadre de cette application, est développée. On fait usage de la décomposition en valeurs singulières de la matrice fondamentale pour dériver de manière purement algébrique des équations de Kruppa remarquablement simplifiées. Ceci permet en particulier de resoudre le problème du choix des deux équations de Kruppa à utiliser parmi l’ensemble plus grand des équations dérivées par la méthode classique. Dans cette méthode, les équations sont dérivées très simplement, on ne fait nullement usage de l’interprétation géometrique à base de la conique absolue, ni de celle liée au plan à l’infini, et on n’utilise pas explicitement les épipoles, dont l’estimation est connue pour être instable. Enfin et surtout, cette méthode est mise en oeuvre, comparée et testée avec succès pour retrouver les paramètres intrinsèques de différentes caméras à partir de données synthétiques bruitées et de plusieures images réelles. On montre aussi que la qualité des résultats obtenus permet de valider remarquablement l’approche jusqu’à l’obtention de mesures 3D fiables à partir d’images. Mots-clés : Auto-Calibration, Equations de Kruppa, Mesures 3D, Analyse du mouvement, Stéréovision, Structure à partir du mouvement. Camera Self-Calibration Using the Singular Value Decomposition of the Fundamental Matrix: From Point Correspondences to 3D Measurements 3