هدف از این پایان نامه بررسی برخی روش های کلاسیک و تکاملی برای حل مسئله کمترین مربعات غیرخطی مقایسه با برخی روش های تکاملی و بیان کاربردی از این روش ها در مسائلی با داده های بزرگ و مسائل کنترل بهینه می باشد. ابتدا برخی از روش های موجود برای حل مسئله کمترین مربعات غیرخطی را بیان کرده نتایج حاصله از این روش ها را با روش های تکاملی مقایسه کرده و کارایی آن ها را مورد ارزیابی قرار می دهیم. در ادامه با توجه به این نکته که در کاربرد هایی مانند سیستم های هواشناسی به دلیل وجود داده های بسیار زیاد نمی توان با روش های کلاسیک بیان شده این گونه مسائل را حل کرد ضمن معرفی برخی روش های تقریبی بر پایه روش گوس-نیوتن همگرایی این روش ها را با توجه به بعضی شرایط و قضایا روی مسئله بررسی می کنیم. هم چنین یک کاربرد از مسئله کمترین مربعات غیر خطی در مسائل کنترل بهینه را تحت یک طرح تلفیقی از یک روش کارای کمترین مربعات غیرخطی و روش تابع جریمه ارائه می نماییم. در پایان با ارائه چند مثال کارایی این روش را برای مسائل کنترل بهینه نشان می دهیم.