مراحل حل مسائل مهندسی مختلف بر این اساس استوار است که همواره از یک مدلسازی از آنچه در واقعیت است، شروع شده و در مراحل بعد به یک مسئله بهینه سازی برخورد و نیاز به حل آن مسئله می باشد. در چند دهه قبل، روش های سنتی ریاضیات راه حل این مسئله بهینه سازی بودند و دانشمندان زیادی، روش های مختلفی را برای حل آن بیان کردند که بیشتر در علم محاسبات عددی می توان آن روشها را یافت. این روشها بسیار طولانی و دشوار و نیازمند دانستن پارامترهای بسیاری از شرایط اولیه مسئله مورد نظر بودند. استفاده از کامپیوتر برای حل این مسائل بسیاری از مشکلات را حل کرد اما با رشد مسائل و پیچیده شدن آنها دیگر روشهای ریاضی قادر به حل آنها نبوده و عملا این مسائل غیر قابل حل شدند. نمونه بسیار واضح از این مسئله را می توان در علم ژنتیک برای درمان سرطان مشاهده کرد که بررسی ژنوم انسان که هر ژن دارای بیلیاردها و چه بسا بیشتر حالت گوناگون وجود دارد و تشخیص یک ساختار از بیماری در بین آنها عملا با استفاده از روشهای قدیمی امکان پذیر نیست، چه بسا که روشهای جدید نیز تا حدی قادر به حل آنها می باشند و هنوز نیاز به کار و مطالعه توسط محققان دارند. در این پایان نامه به بررسی چندین روش برای حل مسائل بهینه سازی و یک روش جدید بهینه سازی پرداخته و عملکرد آنها بر روی یک سری داده های استاندارد با یکدیگر مقایسه شده است. یک مسئله مورد نظر در این پایان نامه بحث خوشه یابی داده (به ویژه تصاویر) می باشد. ضمن ارائه یک الگوریتم جدید بهینه سازی راهکاری تازه برای خوشه یابی داده ها با استفاده از این الگوریتم ارائه شده است. الگوریتم جدید از لحاظ تئوری بر روی توابع استاندارد بررسی شد و عملکرد بسیار مناسبی را از خود نشان داد. همچنین از لحاظ عملی در دو بخش داده و تصویر به منظور حل مسئله خوشه یابی به کار رفت، که نسبت به دیگر الگوریتم های مشابه دارای نتایج بسیار ارزنده ای است.