Three - Dimensional Vision Forstructure and Motion Estimation

This thesis addresses computer vision techniques estimating geometric properties of the 3-D world from digital images. Such properties are essential for object recognition and classi cation, mobile robots navigation, reverse engineering and synthesis of virtual environments. In particular, this thesis describes the modules involved in the computation of the structure of a scene given some images, and o ers original contributions in the following elds. Stereo pairs recti cation. A novel recti cation algorithm is presented, which transform a stereo pair in such a way that corresponding points in the two images lie on horizontal lines with the same index. Experimental tests prove the correct behavior of the method, as well as the negligible decrease of the accuracy of 3-D reconstruction if performed from the recti ed images directly. Stereo matching. The problem of computational stereopsis is analyzed, and a new, e cient stereo matching algorithm addressing robust disparity estimation in the presence of occlusions is presented. The algorithm, called SMW, is an adaptive, multi-window scheme using left-right consistency to compute disparity and its associated uncertainty. Experiments with both synthetic and real stereo pairs show how SMW improves on closely related techniques for both accuracy and e ciency. Features tracking. The Shi-Tomasi-Kanade feature tracker is improved by introducing an automatic scheme for rejecting spurious features, based on robust outlier diagnostics. Experiments with real and synthetic images con rm the improvement over the original tracker, both qualitatively and quantitatively. iii Uncalibrated vision. A review on techniques for computing a three-dimensional model of a scene from a single moving camera, with unconstrained motion and unknown parameters is presented. The contribution is to give a critical, uni ed view of some of the most promising techniques. Such review does not yet exist in the literature. 3-D motion. A robust algorithm for registering and nding correspondences in two sets of 3-D points with signi cant percentages of missing data is proposed. The method, called RICP, exploits LMedS robust estimation to withstand the e ect of outliers. Experimental comparison with a closely related technique, ICP, shows RICP's superior robustness and reliability. iv Riassunto Questa tesi, intitolata Visione Tridimensionale per la Stima di Struttura e Moto, tratta di tecniche di Visione Arti ciale per la stima delle propriet a geometriche del mondo tridimensionale a partire da immagini numeriche. Queste propriet a sono essenziali per il riconoscimento e la classi cazione di oggetti, la navigazione di veicoli mobili autonomi, il reverse engineering e la sintesi di ambienti virtuali. In particolare, saranno descritti i moduli coinvolti nel calcolo della struttura della scena a partire dalle immagini, e verranno presentati contributi originali nei seguenti campi. Retti cazione di immagini steroscopiche. Viene presentato un nuovo algoritmo per la retti cazione, il quale trasforma una coppia di immagini stereoscopiche in maniera che punti corrispondenti giacciano su linee orizzontali con lo stesso indice. Prove sperimentali dimostrano il corretto comportamento del metodo, come pure la trascurabile perdita di accuratezza nella ricostruzione tridimensionale quando questa sia ottenuta direttamente dalle immagini retti cate. Calcolo delle corrispondenze in immagini stereoscopiche. Viene analizzato il problema della stereovisione e viene presentato un un nuovo ed e ciente algoritmo per l'identi cazione di coppie di punti corrispondenti, capace di calcolare in modo robusto la disparit a stereoscopica anche in presenza di occlusioni. L'algoritmo, chiamato SMW, usa uno schema multinestra adattativo assieme al controllo di coerenza destra-sinistra per calcolare la disparit a e l'incertezza associata. Gli esperimenti condotti con immagini sintetiche e reali mostrano che SMW sortisce un miglioramento in accuratezza ed e cienza rispetto a metodi simili . v Inseguimento di punti salienti. L'inseguitore di punti salienti di Shi-TomasiKanade viene migliorato introducendo uno schema automatico per lo scarto di punti spuri basato sulla diagnostica robusta dei campioni periferici (outliers). Gli esperimenti con immagini sintetiche e reali confermano il miglioramento rispetto al metodo originale, sia qualitativamente che quantitativamente. Ricostruzione non calibrata. Viene presentata una rassegna ragionata dei metodi per la ricostruzione di un modello tridimensionale della scena, a partire da una telecamera che si muove liberamente e di cui non sono noti i parametri interni. Il contributo consiste nel fornire una visione critica e uni cata delle pi u recenti tecniche. Una tale rassegna non esiste ancora in letterarura. Moto tridimensionale. Viene proposto un algoritmo robusto per registrate e calcolare le corrispondenze in due insiemi di punti tridimensionali nei quali vi sia un numero signi cativo di elementi mancanti. Il metodo, chiamato RICP, sfrutta la stima robusta con la Minima Mediana dei Quadrati per eliminare l'e etto dei campioni periferici. Il confronto sperimentale con una tecnica simile, ICP, mostra la superiore robustezza e a dabilit a di RICP. vi Ringraziamenti Devo a Bruno Caprile se ho deciso di intraprendere l'impervia strada della ricerca: egli e stato per me un maestro, mi ha insegnata ad amarla e mi ha dimostrato, con l'esempio, cosa fosse l'integrit a scienti ca e morale. Per quanto riguarda questa tesi, il ringraziamento pi u grande va ad Emanuele Trucco, che mi ha costantemente seguito, incoraggiato, sorretto e guidato, sia dal punto di vista scienti co, che da quello umano. Vincenzo Isaia ed Emanuele Trucco hanno letto le bozze della tesi, ed hanno contribuito con preziosi commenti. Ringrazio Agostino Dovier, Marino Miculan, Stefano Mizzaro e Vittorio Murino per l'amicizia e per l'aiuto che mi hanno prestato in varie occasioni. Tutti coloro che mi sono vicini hanno dovuto, in ragione della loro vicinanza, sopportare i momenti di cattivo umore, gli sfoghi e le assenze, sia siche che spirituali. A loro, e segnatamente a Paola, Vincenzo ed Egle, chiedo scusa e dedico questa tesi. vii