احساسات نقش مهمی در زندگی روزمره انسان بازی می کنند، از این رو بازشناسی خودکار آن از اهمیت ویژه ای برخوردار است. بازشناسی احساسات به صورت کلی با استفاده از دو روش کلامی و غیرکلامی انجام می شود. در روش های کلامی از خود فرد در مورد احساسات درونی او سوال می شود. اما در روش های غیرکلامی، احساسات به صورت خودکار و از طریق پردازش عکس العمل های بروز حالت و عکس العمل های فیزیولوژیک اندازه گیری می شوند. عکس العمل های بروز حالت شامل بررسی تغییرات ایجاد شده در صدا و تصویر فرد و عکس العمل های فیزیولوژیک شامل تغییرات رخ داده در سیگنال های فیزیولوژیک مانند سیگنال الکتریکی مغز، قلب، چشم و ماهیچه می باشد. بازشناسی احساسات با استفاده از هرکدام از این روش ها کاربردها، مزایا و معایب خاص خود را دارد. به عنوان نمونه استفاده از عکس العمل های بروز حالت مشکلاتی مانند پنهان کردن احساس توسط فرد و تفاوت های فرهنگی در بروز احساسات را دارد. همچنین از معایب سیگنال های فیزیولوژیک می توان به سختی در ثبت سیگنال و احتمال از دست دادن بخش مهمی از اطلاعات در اثر حرکت و وجود نویز اشاره کرد. از این رو اگر بتوان احساسات را به طور هم زمان هم از طریق عکس العمل های بروز حالت و هم از طریق عکس العمل های فیزیولوژیک بازشناسی کرد می توان مشکلات هردو روش را تا حد قابل توجهی کاهش داد. در این مطالعه هدف طراحی سیستمی است که سیگنال الکتروانسفالوگرام و حالت چهره افراد را به صورت هم زمان بررسی کند. چنین سیستمی کاربردهای مختلفی دارد که مهم ترین آن ها عبارتند از: دروغ سنجی، کمک به بیمارانی که قادر به درک احساسات هستند اما از نشان دادن آن در چهره خود ناتوانند، تحقیقات روانشناسی، بهبود ارتباط انسان رایانه وساخت بازی های کامپیوتری و ربات های با قابلیت احساسی نزدیک به انسان. برای تحقق این هدف، نیاز به طراحی آزمایش هایی مطمئن به منظور ایجاد چهار وضعیت احساسی خوشحالی، ناراحتی، آرامش و نفرت در شرکت کننده ها وجود دارد. با توجه به فقدان مجموعه تحریک کننده های عاطفی برای انجام چنین مطالعاتی در فرهنگ ایرانی، تلاش بعدی این مطالعه، جمع آوری مجموعه ای از تحریک کننده های عاطفی متناسب با فرهنگ کشورمان است. برای رسیدن به این هدف 24 شرکت کننده یک بار از طریق سیستم تصاویر استاندارد عاطفی که در دانشگاه فلوریدا آمریکا جمع آوری شده است و از جمله شناخته شده ترین مجموعه های تحریک کننده عاطفی است، تحریک می شوند و بار دیگر از طریق مجموعه از فیلم هایی که با توجه به فرهنگ ایرانی جمع آوری شده است، آزمایش می شوند و در حین انجام آزمایش تصاویر چهره و سیگنال مغزی آن ها ثبت می شود. سپس پیش پردازش های لازم جهت حذف نویزها و درست نماها انجام می شود. بعد از انجام این مرحله ویژگی های مختلف از جمله مخصات آماری سیگنال، بعد فرکتال و ضرایب مدل ar، با یکدیگر مقایسه می شوند. پس از انتخاب بهترین ویژگی، چهار دسته بند mlp، adaboost، naivebayes و baggingبا یکدیگر مقایسه می شوند. نتایج پردازش سیگنال الکتروانسفالوگرام حاکی از موفقیت بیشتر مجموعه فیلم های جمع آوری شده جهت تحریک عاطفی افراد شرکت کننده است. پس از پردازش سیگنال، پردازش تصاویر انجام می شود و در نهایت مقایسه بین نتایج به دست آمده از این دو پردازش انجام می شود. همان گونه که انتظار می رود در زمان تحریک طبیعی، چهره افراد تمامی احساسات را به خوبی در خود نشان نمی دهد و این در حالی است که با استفاده از سیگنال الکتروانسفالوگرام احساسات به خوبی از یکدیگر بازشناسی می شوند بنابراین با استفاده از سیستم پیشنهاد شده می توان مشکلات ناشی از مشخص نبودن احساس در چهره افراد را حل نمود.