تشخیص احساسات از طریق ترکیب داده های مربوط به حالت چهره و سیگنال های بیولوژیکی

چکیده: دراین پایان نامه،روشی جدید با بهره گیری از ترکیب داده های مربوط به تصاویر چهره و سیگنال های بیولوژیکی جهت تشخیص هرچه دقیق تر احساسات انسانی ارائه شده است. برای استخراج ویژگی از تصاویر چهره، از شیوه تحلیل مولفه های اصلی و برای استخراج ویژگی از سیگنال های بیولوژیکی، از دو نوع تحلیل در حوزه زمان و فرکانس استفاده شده است. طبقه بندی ویژگی های استخراج شده، توسط چند نوع طبقه بندی کننده قدرتمند همچون ماشین بردار پشتیبان و نزدیک ترین میانگین صورت گرفته است. از روش ترکیب داده های مربوط به تصاویر چهره و سیگنال های بیولوژیکی در دو سطح ویژگی و طبقه بندی جهت تشخیص احساسات در سه بعد ظرفیت، برانگیختگی و علاقه مندی استفاده شده است. برای ارزیابی عملکرد، روش های پیشنهادی بر روی تصاویر احساسی چهره و سیگنال های بیولوژیکی مغزی و محیطی از سی ودو نفر شرکت کننده، اعمال شدند. بهترین نتیجه تشخیص احساسات از طریق ترکیب سیگنال های بیولوژیکی در بعد ظرفیت 74/32 درصد، در بعد برانگیختگی 70/27 درصد و در بعد علاقه مندی 72/97 درصد حاصل شد. در نهایت، با ترکیب سیگنال های بیولوژیکی و تصاویر چهره در بعد ظرفیت 81/76 درصد، در بعد برانگیختگی 85/81 درصد و در بعد علاقه-مندی 77/03 درصد تشخیص موفق بدست آمد که نتایج نسبت به روش های پیشین بهبود چشمگیری داشته اند.