بدافزار به نرم افزاری گفته می شود که نیت خرابکارانه یا اثرات تخریبی دارد. با توجه به اینکه بدافزارها می توانند خرابی های جبران ناپذیری به بار آورند و به سرعت در حال گسترش و تکامل می باشند لذا شناسایی بدافزارها امری بسیار مهم و حیاتی می باشد. رایج ترین روشی که برای شناسایی بدافزارها استفاده می شود، روش های مبتنی بر امضا است. این روش موثر و کارا است و سرعت زیادی دارد اما فقط قادر به شناسایی بدافزارهایی است که از قبل شناسایی شده و امضا آن ها را داشته باشد. به همین دلیل روش های مبتنی بر یادگیری ماشین به وجود آمدند. این روش ها بر اساس ویژگی هایی که از بدافزارها استخراج می کنند قادر به شناسایی آن ها می باشند. در این پایان نامه روشی ارائه شده است تا با استفاده از الگوریتم همکاری تکاملی و الگوریتم ژنتیک مبتنی بر رتبه بندی نامغلوب و الگوریتم nsgaii چند هدفه مبتنی بر نقاط مرجع، بتوان بدافزارهای دگرگون شده را شناسایی و دسته بندی کرد. در این روش ابتدا برای هرکدام از فایل ها گرافی رسم می شود، سپس با استفاده از الگوریتم همکاری تکاملی برای بدست آوردن میزان شباهت گراف با خانواده های اصلی بدافزار از دو رویکرد استفاده می شود. هدف رویکرد اول افزایش کارایی در بدست آوردن شباهت دو گراف است که به کمک الگوریتم همکاری تکاملی و در نظر گرفتن فراخوانی های سیستمی محاسبه می شود. هدف از رویکرد دوم افزایش سرعت محاسبه شباهت دو گراف است که به کمک الگوریتم ژنتیک مبتنی بر رتبه بندی نامغلوب و الگوریتم nsgaii چند هدفه مبتنی بر نقاط مرجع محاسبه می شود. بعد از محاسبه میزان شباهت، تصمیم گیری نهایی بر اساس سایز زیرگرافی که این شباهت برای آن بدست آمده انجام می شود و این فایل به عنوان برنامه پاک و یا بدافزار دسته بندی می شود.