مسأله ی بهینه سازی زیر را در نظر می گیریم: min f(x), s.t: , (6) , , که در آن و توابع هموار و حقیقی مقدار روی هستند. تابع لاگرانژ برای این مسأله به صورت زیر تعریف می شود: (7) , تابع لاگرانژ بالا، از تابع هدف مسأله و یک جمله به همراه یک ضریب برای هر قید، تشکیل شده است. شرایط لازم مرتبه اول برای بدست آوردن و این تابع، به شرایط معروف است. حال روش لاگرانژ افزوده را معرفی می کنیم. الگوریتم این روش مرتبط با تابع جریمه برای مسئله (2) است اما امکان بد وضعی را با معرفی تخمین ضرایب لاگرانژ تابع مینیمم شده- که آن را تابع لاگرانژ افزوده می نامیم- کاهش می دهد. برای مسأله ی (2) تابع لاگرانژ افزوده به فرم زیر تعریف می شود: (8) . همانطور که مشاهده می شود، تابع لاگرانژ افزوده شامل تابع هدف مسأله و دو جمله با ضرایب و برای هر قید است. از برای نشان دادن تقریب مینیمم استفاده کرده و با استفاده از فرمول زیر، مقدار را در هر گام به روزآوری می کنیم. (9) ,