بهینه سازی را می توان علم مشخص نمودن بهترین جواب برای یک مسئله که به صورت ریاضی تعریف شده است، بیان کرد. یکی از شاخه های اساسی بهینه سازی، بهینه سازی نامقید است. به طور کلی برای نیاز است. اما یافتن ریشه های یک تابع برداری f حل مسئله بهینه سازی به یافتن ریشه های تابع گرادیان مشکل و در مسائل با مقیاس بزرگ عملاً غیر ممکن است. برای رهایی از این مشکلات و یافتن جواب مورد نظر اغلب از روش های تکراری استفاده می شود. از جمله این روش های تکراری روش های گرادیان، نیوتن، شبه نیوتن، گرادیان مزدوج و ... می باشد. روش های گرادیان مزدوج به دلیل عدم نیاز به محاسبه و ذخیره سازی ماتریسهسی به عنوان روش هایی موثر برای حل مسائل غیر خطی در مقیاسبزرگ استفاده می شوند.