حل مسایل بهینه سازی مقید یکی از مهمترین زمینه های مورد بحث در کاربردهای علمی و مهندسی است، بخصوص وقتی که جواب در زمانی حقیقی مورد نیاز است. شبکه های عصبی با ساختارهای موازی مشهور ترین ابزاری هستند که برای حل مسایل بهینه سازی در زمان حقیقی به کار گرفته می شوند. مدل های شبکه عصبی با ساختار ساده ای که دارند می توانند به صورت یک مدار الکتریکی سخت افزاری طراحی شوند، در حالی که روش های معمولی به علت ساختار پیچیده ای که دارند، نمی توانند در کاربردهای سخت افزاری به سادگی استفاده شوند. مدل های مداری شبکه های عصبی در کاربردهایی چون پردازش سیگنال، کنترل رباتیک، طراحی سیستم های قدرت و بسیاری از کاربردهای صنعتی و مهندسی دیگر فراوان یافت می شوند. هدف این رساله، طراحی شبکه های عصبی برای مسایل بهینه سازی ناهموار است که بر پایه شمول های دیفرانسیلی هستند. سه مدل متفاوت معرفی شده اند. مدل اول، تلاشی است برای برطرف کردن برخی کمبود ها که دیگر شبکه های عصبی مشابه با آن مواجه هستند. این مدل بدون استفاده از پارامتر جریمه و بدون این که نیازی به محاسبه تصویر یک تابع در یک ناحیه با ساختاری پیچیده داشته باشد، برای حل مسایل بهینه سازی محدب و ناهموار طراحی شده است. در مدل پیشنهادی دوم، با الهام از مدل اول، شبکه ای طراحی می کنیم که ساختارش نسبت به مدل اول بسیار ساده تر است و می تواند به صورت مداری بسیار ساده بیان شود. در مقایسه با مدل های مشابه هم ساختار ساده تری دارد و هم کمبودهای سایر مدل های مشابه را ندارد؛ برخلاف سایر مدل های مشابه، نیازی به استفاده از پارامتر جریمه یا محاسبه تصویر یک تابع در ناحیه شدنی نیست. شبکه عصبی سوم پیشنهادی در این رساله، برای حل دسته ای از مسایل بهینه سازی ناهموار نامحدب طراحی شده است. در این مدل، برخلاف مدل های دیگر آمده در این رساله، مجبور به استفاده از پارامتر جریمه ای هستیم.