امروزه یکی از مهمترین اهداف تیم های شرکت کننده در لیگ شبیه سازی سه بعدی فوتبال، قابلیت افزایش تعداد شوت های زده شده توسط ربات ها می باشد. طرح پیشنهادی این مقاله استراتژی شوت زدن در حین راه رفتن برای ربات های فوتبالیست است. رسیدن به شوتی دقیق و پرقدرت در حین حرکت نیاز به بهینه سازی پارامترهای حرکتی ربات به صورت پویا دارد. در این پژوهش با توجه به مختصات ربات نسبت به توپ و دروازه، جهت حرکت ربات به نحوی طراحی می شود که در نهایت ربات موقعیت شوت زدن به سمت هدف را داشته باشد. با توجه به منحنی حرکتی ربات، زاویه و اندازه گام های ربات به سمت توپ تنظیم شده است. با تنظیم این دو پارامتر بعد از برداشتن گام انتهایی، ربات شرایط لازم برای شوت زدن را دارا می باشد. به دلیل وجود نویز و شرایط محیط و شکل راه رفتن ربات، نیاز به محاسبه زاویه و سرعت حرکت با دقت بالاتری وجود دارد. در این مقاله جهت بهینه سازی این دو پارامتر از الگوریتم یادگیری تقویتی استفاده شده است. آزمایشات انجام شده نشان می دهد بکارگیری این روش کارایی تیمی و قابلیت شوت زدن عامل ها را به میزان قابل توجهی افزایش می دهد.