شناسایی رفتارهای پیچیده انسان با استفاده از روش های مبتنی بر انطباق گراف از روی تصاویر ویدئویی

پردازش تصاویر ویدئویی به منظور ایجاد توانایی شناسایی خودکار صحنه ها، اشیاء ثابت و متحرک موجود و تحلیل رخدادها، یکی از مباحث مورد توجه علم بینایی ماشین است. کاربردهای فراوان این حوزه، چالش های متعدد حل نشده ی موجود، وجود بخش های متعدد مورد توجه و فراهم شدن بستر سخت افزاری مناسب، موجب توجه بیش از پیش به این شاخه در چند سال اخیر بوده است. یکی از تحقیقات مورد توجه در این حوزه، شناسایی رفتارهای انسانی در دنباله تصاویر ویدئویی است. این رفتارها اغلب به چند دسته ی رفتارهای اولیه، ساده و پیچیده دسته بندی می شوند که برای شناسایی هر یک روش های مختلفی پیشنهاد شده است. در بحث شناسایی رفتارهای پیچیده که از ترکیب زمانی- مکانی رفتارهای ساده و اشیاء درگیر حاصل می شوند، می توان روش ها را در چهار رویکرد کلی آماری، نحوی، مبتنی بر دانش و منطق و توصیفی طبقه بندی نمود. تمامی این رویکردها سلسله مراتبی بوده و هر یک محاسن و معایب مختلفی دارند. به همین دلیل هنوز به طور قطعی برتری یکی بر دیگری محرز نشده است. با این وجود رویکردهای مبتنی بر توصیف به دلیل همخوانی ذاتی با مسئله و توانایی توسعه به منظور رفع نواقص اولیه در آن ها، در تحقیقات اخیر بیشتر مورد توجه بوده اند. در این پژوهش، به ارائه ی روشی مبتنی بر رویکردهای توصیفی گرافی برای شناسایی رفتارهای پیچیده پرداخته شده است. با استفاده از گراف، یک بازنمایی از رفتار پیچیده ی رخ داده در ویدئو ایجاد می شود. در این پژوهش از دو گونه گراف ارتباط ویژگی و توصیفی جهت دار برای بازنمایی رفتارهای پیچیده استفاده شده است. در روشی دیگر با ورود احتمال مشاهده و وقوع رفتارهای ساده ای که یک رفتار پیچیده را تشکیل می دهند به گراف، گراف توصیفی جهت دار احتمالاتی را برای بازنمایی بهتر رفتارهای پیچیده تشکیل داده و با انجام انطباق گراف به شناسایی رفتارها پرداخته شده است. احتمال مشاهده و وقوع رفتارهای ساده ای که یک رفتار پیچیده را تشکیل می دهند به شناسایی بهتر آن رفتار پیچیده کمک خواهد نمود. به همین خاطر در این روش احتمال وقوع و مشاهده ی رفتارهای ساده در یک رفتار پیچیده برای زمان و مکان رخداد رفتارهای ساده و همچنین مدت زمان رخداد آن ها به عنوان ضریب تاثیری محاسبه شده و در گراف مدل می شوند. با داشتن یک بازنمایی از رفتارهای پیچیده با انجام عمل انطباق گراف بین گراف های رفتارهای شناخته شده و رفتار ناشناخته می توان رفتار پیچیده ی رخ داده در یک ویدئو را شناسایی نمود. از آنجاییکه انطباق گراف جزو مسائل ان پی- کامل بوده از معیار مشابهت کمک گرفته تا بتوان این عمل را انجام داد. معیار شباهتی که در این پژوهش مورد استفاده بوده معیار emd می باشد که امکان انطباق چند به چند و همچنین انطباق جزئی را فراهم می سازد. روش پیشنهادی را بر روی دو مجموعه داده ی rochester و hollywood2 اعمال نموده که نتایج حاصل بهبود مناسبی را نشان می دهند. برای مجموعه داده ی rochester، با استفاده از گراف ارتباط ویژگی به میانگین دقت 6/90 درصد و با گراف توصیفی جهت دار 7/96 درصد دست یافته ایم. برای مجموعه داده ی hollywood2 میانگین دقت 8/59 درصد با استفاده از گراف توصیفی جهت دار حاصل گردید. همچنین آزمایشی برای بازنمایی با گراف توصیفی جهت دار احتمالاتی انجام داده که میانگین دقت برای مجموعه داده-ی rochester، 22/97 و 43/97 درصد و برای مجموعه داده ی hollywood2، 8/60 و 2/61 درصد بوده است.