سیستم های نظارتی هوشمند امروزه توجه زیادی در زمینه ترافیک شهری به خود جلب کرده است. این سیستم ها در مقایسه با مشاهدات انسانی، با داشتن دقت زیاد و سرعت بالاتر پردازش اطلاعات، در شناسایی تخلفات رانندگی و کنترل ترافیک مورد استفاده قرار می گیرند. یکی از مهمترین زمینه های کاربردی سیستم های نظارتی هوشمند رهگیری خودروها در ترافیک شهری است. نتایج رهگیری خودروها را همچنین می توان در پردازش های سطح بالاتر بکار برد و از آن جهت تحلیل ترافیک استفاده کرد. هدف ما در این پروژه رهگیری مقاوم و موثر خودروهای مشاهده شده از توالی تصاویر گرفته شده از یک دوربین ثابت، که روی یک پل یا ساختمان قرار دارد، است. رهگیری خودرو با تهیه کردن اطلاعات تصویری غنی تر، بطور موثری در تحلیل-های سطح بالاتر کمک می کند. هرچند که هنوز رهگیری ویدیویی بدلیل مشکلات آشکارسازی و قطعه بندی، نماهای مختلف یک شئ متحرک، مورفولوژی اشیاء نرم، هم پوشانی چند شئ متحرک، تغییرات روشنایی، سایه ها و ... یک مساله باز است. در اینجا از سه ماسک زمینه که شامل ماسک لبه، ماسک تفاضل فریم و ماسک تفاضل زمینه هستند، برای مدل سازی زمینه پویا جهت استخراج زمینه استفاده شده است، که روش efb نام گذاری شده است. پس از بدست آوردن مدل زمینه، پیش زمینه-های متحرک حاصل می شوند. در روش ارائه شده، جهت رهگیری چند خودرو بصورت همزمان، از سرعت خودروها به همراه فیلتر کالمن استفاده شده است. در حین رهگیری ممکن است دو خودرو با یکدیگر هم پوشانی داشته باشند، که این مشکل مورد بررسی قرار گرفته است. در اینجا ابتدا هم پوشانی خودروها با در نظر گرفتن فاصله خودروها از یکدیگر پیش بینی می شود. روش پیشنهادی جهت رهگیری صحیح خودروها پس از اتمام هم پوشانی، ویژگی جابجایی و جهت آنها را مورد استفاده قرار می دهد. نتایج بدست آمده و ارزیابی الگوریتم نسبتا رضایت بخش و دقت روش ارائه شده، در مقایسه با دیگر روش ها بهتر بوده است.