ربات مورد نظر ما یا الگو گرفتن از طرز راه رفتن انسان و حرکت به صورت دینامیکی دارای راندمان بالایی خواهد بود و با توجه به روش حرکت ربات برای سلخت پای مصنوعی مناسب می باشد.

در سال های اخیر، تلاش مطالعات انجام شده بر روی الگوریتم های یادگیری به منظور پر کردن فضای خالی بین کنترل بهینه ی تطبیقی و روش های یادگیری برگرفته از سیستم های بیولوژیکی بوده است. یادگیری تقویتی یکی از مهم ترین روش ها است که امروزه جهت کنترل ربات ها مورد استفاده قرار گرفته است. از طرفی، کنترل راه روی ربات دوپا یکی از مهم ترین و پیچیده ترین مسائل با دینامیک غیرخطی می باشد. با توجه به اینکه پژوهش های بسیاری بر روی الگوریتم های یادگیری تقویتی و نیز شبکه های عصبی مصنوعی صورت گرفته است، هیچ یک به استفاده از شبکه های عصبی در الگوریتم یادگیری تقویتی عملگر- منتقد به منظور بهبود عملکرد کنترل ربات دوپا نپرداخته اند. لذا هدف در این پایان نامه، ارائه ی یک روش کنترلی نوین و مبتنی بر یادگیری تقویتی شبکه عصبی جهت کنترل راه روی یک ربات دوپای پنج لینکی صفحه ای می باشد. بدین منظور، در ابتدا به شرح و بررسی مطالعات انجام گرفته در مورد یادگیری تقویتی و ترکیب آن با شبکه ی عصبی پرداخته ایم. سپس، ربات دوپا به صورت سینماتیکی و دینامیکی مدلسازی شده و نیز مدل ریاضی راه روی برای برداشتن گام و ضربه ی گام ارائه شده است. در قدم بعد، یک الگوریتم یادگیری تقویتی موثر عملگر- منتقد جهت کنترل راه روی ربات انتخاب و پیاده سازی شده است. همچنین، به منظور بهینه سازی عملکرد کنترلی سیستم دینامیکی پیچیده ی این ربات، شبکه های عصبی رو به جلو در دو بخش عملگر و منتقد به کار گرفته شده-اند. نتایج حاصل حاکی از آن است که فرآیند یادگیری به سرعت به حالت مطلوب همگرا شده و الگوریتم کنترلی روشی کارا و دقیق جهت کنترل راه روی ربات دوپای پنج لینکی بررسی شده در این پایان نامه می باشد.

رباتهای دوپا بیش از سه دهه موضوع تحقیق پژوهشگران بوده است، اما هنوز طراحی مکانیزم و کنترل ربات دوپایی که بتواند راه رفتن و دویدن بهینه و سریع مشابه موجودات زنده انجام دهد، یک مساله تحقیقاتی باز است. کارآیی مدل آونگ وارون فنری (slip) در توصیف دینامیک دویدن موجودات زنده نشان داده شده است و در سالهای اخیر تلاش هایی برای کنترل ربات های دوپای واقعی بر مبنای دینامیک slip صورت گرفته است. محققان نشان داده اند که مدل آونگ وارون فنری در عین سادگی می تواند دینامیک راه رفتن و دویدن انسان را توصیف کند. مدل slip معادل ربات یک مدل جرم-فنر است که جرم متمرکز آن دارای موقعیت و سرعت یکسان با مرکز جرم ربات است و پای فنری آن خطی است که پنجه پای تکیه گاهی را به مرکز جرم ربات وصل می کند. هدف این پژوهش تعیین میزان بهینگی و مفید بودن کنترل دویدن ربات های دوپای واقعی بر مبنای مدل slip می باشد و گام بهینه دویدن را برای ربات دو پا بر مبنای مدل slip طراحی خواهیم کرد.