به دلیل ناکارآمدی دوربین های مرئی در نور کم، مثل شب یا شرایط نامسائد جوی مثل برف و باران شدید، به کارگیری ادغام اطلاعات حاصل از دوربین های مادون قرمز و مرئی، تنها راه داشتن آگاهی کامل از محیط اطراف به نظر می رسد. فرض بر این است که فریم های دریافتی از دوربین ها از نظر زمانی و مکانی با هم تثبیت شده اند. در تکنیک پیشنهادی با بهره گیری از ویژگی شباهت ذاتی موجود میان فریم های متوالی همه دنباله های ویدیوئی، پیچیدگی فرایند ادغام را کم می کنیم. دو فریم اول از دو دنباله را ادغام کرده و نتیجه را برای استفاده بعدی ذخیره می کنیم. روش عمومی کار، به این صورت است که چون معمولاً اهداف مهمی که مدنظر کاربرها هستند کمی از پس زمینه گرمترند (مثلاً شخصی که در جنگل قدم میزند یا هواپیمایی که در آسمان در حال پرواز است)، ابتدا از فریم مادون قرمز اهداف متحرک و پس زمینه ثابت را جدا می کنیم. برای این کار روش های مختلفی مثل روش ساده تفاضل تا روش های پیچیده تری مثل ترکیب گوسی ها قابل به کارگیری خواهد بود. چون در شبکه های حسگری دیداری محدودیت توان و حافظه داریم، برای استخراج اهداف از پس زمینه استخراج شده آخر و چند فریم قبلی، استفاده می کنیم. تعداد فریم ها را نرخ فریم دوربین ها و محدودیت حافظه تعیین خواهد کرد. روش های مورد علاقه ما در این پایان نامه باید از پیچیدگی پایینی برخوردار باشند تا بتوان از آن ها در حالت بلادرنگ استفاده کرد. روش هایی مثل تفاضل فریم ها و روش میانه گیری از چند فریم متوالی از روش های ساده و سریع موجود می باشند. پس از اعمال استخراج پس زمینه روی فریم مادون قرمز، نگاشت شئ مادون قرمز و نگاشت پس زمینه مادون قرمز به دست می آیند. در این مرحله آزمایش می کنیم که آیا در جفت فریم های مرئی و مادون قرمز کنونی تغییری معنادار نسبت به جفت فریم های متناظر قبلی شان به وجود آمده است یا این دو جفت شباهتشان بسیار بیشتر از آن است که تغییری مهم در آن قابل مشاهده باشد. در اینجا هم روش های با پیچیدگی محاسباتی زیاد مناسب نخواهند بود. روش های مبتنی بر پیکسل و هیستوگرام از جمله روش های مناسب ساده برای سنجش تغییرند. اگر تغییر مهمی رخ نداده باشد، تنها نگاشت شی فعلی را روی نگاشت پس زمینه فریم ادغام شده قبلی قرار می دهیم. اما اگر تغییر معناداری شناسایی شده باشد فریم مرئی و نگاشت پس زمینه فعلی را توسط روش پیشنهادی ارائه شده در این پایان نامه ادغام می کنیم. در روش پیشنهادی این پایان نامه، پس از اینکه فریم مرئی و نگاشت پس زمینه فعلی را با تبدیل ویولت گسسته (dbss) تجزیه کردیم، زیرتصویرهای تقریب آنها را با استفاده از قانون انتخاب حداکثر ادغام می کنیم. عموماً در روش های پیشین برای زیرتصویرهای جزئیات هم از قوانینی چون انتخاب حداکثر یا میانگین گیری استفاده می شود. در این پایان نامه ما با استفاده از نگاشت انتخابی که از ادغام جفت زیرتصویر تقریب به دست آمده، زیر تصویرهای جزئیات را ادغام می کنیم. این یعنی یک ضریب در زیرتصویر جزئیات بدون توجه به اندازه یا سطح فعالیتش نسبت به ضریب همتای خود، صرفاً اگر ضریب متناظرش در زیر تصویر تقریب برنده آزمایش انتخاب حداکثر شده باشد به خروجی ادغام فرستاده خواهد شد. در نهایت پس از انجام ادغام ضرایب با عکس تبدیل ویولت گیری به فریم ادغام شده میرسیم. البته با توجه به ورودی های ادغامی که استفاده کردیم، فریم ادغام شده فاقد اشیاء متحرک می باشد. حال برای تکمیل فرایند ادغام می بایست نگاشت شی مادون قرمزی را که در مرحله استخراج پس زمینه به دست آمده بود به این فریم ادغام شده اضافه کنیم.