نظر به اهمیت مسئله کمترین مربعات غیر خطی، در این پایان نامه الگوریتم های متعددی همچون، گوس-نیوتن، لونبرگ-مارکوارت، داگ لگ پاول ، تلفیقی لونبرگ-مارکوارت وشبه نیوتن، و ... برای حل آن معرفی و نقاط ضعف و قوت هر یک را بیان می کنیم. سپس برای سنجش کارایی آنها در مقایسه با یکدیگر، شاخص کارایی الگوریتم ها را معرفی می کنیم و روی چندین مثال استاندارد با استفاده از این شاخص، الگوریتم های ارائه شده مقایسه می شوند.