در این پایان نامه به تشریح روشی عددی که در حل مسائل بهینه سازی خطی و غیر خطی و نیز کلاسی از مسائل بهینه سازی غیر هموار ضمن حضور مجموعه ای از محدودیت ها، کارآمد است، پرداخته می شود. این روش، الگوریتم تعمیم یافته الگوی جستجو و به اختصار gps نامیده می شود. این روش برای مسئله نامقید بیان می شود و قضیه همگرایی سراسری در خصوص این الگوریتم اثبات می گردد. همچنین نتایج مشابهی تحت مفروضات متعادلی در ضمن حضور قیود کرانداری و قیود خطی ارائه می شود . پس از آن تعمیم این الگوریتم را برای مسئله تقریب l1 ، که نمونه ای از مسائل ناهموار است، در نظر گرفته می شود و نهایتاً تعمیم الگوریتم برای کلاس بزرگتری از مسائل بهینه سازی ناهموار معرفی می شود. در انتها نیز نتایج تحقیقی پیرامون برنامه ریزی چند هدفه ضمیمه می شود.