سیستم کنترل خودفرمان بینایی، به سیستمی اتلاق می شود که از اطلاعات بازخوردی دوربین برای کنترل ربات استفاده می کند، تا ربات، از نقاط شروع دلخواه به نقطه هدف برسد. راه های متنوعی از جمله کنترل با استفاده از مدل ربات، طراحی کنترلگر بصورت مستقیم و استفاده از ماتریس ژاکوبین در این زمینه مطرح شده است. اما، از آنجا که در بسیاری از مواقع (از جمله این پایان نامه)، مدلی از ربات دردسترس نیست و یا بدست آوردن آن کاری دشوار و زمانگیر خواهد بود، فرمان کنترل با استفاده از ماتریس ژاکوبین تولید می شود. قانون کنترل استفاده شده در این پایان نامه، از معکوس ماتریس ژاکوبین برای تولید فرمان استفاده می کند. پس، با استفاده از شبکه عصبی و آموزش برون‏خط آن با داده های آموزشی جمع آوری شده، معکوس ماتریس ژاکوبین تقریب زده می شود، تا مستقیماً در قانون کنترل موردنظر استفاده شود (استفاده از شبکه عصبی، بدلیل ماهیت غیرخطی ماتریس ژاکوبین می باشد). به ازای هر کدام از درجات آزادی بازوی ربات، یک شبکه عصبی با ساختار پیشرو درنظر گرفته می شود. حالت بازوی ربات (سیستم) و ویژگی های انتخاب شده، ورودی های این شبکه ها، و خروجی آن‏ها، بیان کننده میزان تغییرات ویژگی ها به تغییر در مقادیر متغیرهای مفصل ربات (المان های معکوس ماتریس ژاکوبین) می باشد. در پیاده سازی عملی این روش، ویژگی درنظر گرفته شده، فاصله مجری نهایی ربات در بعد x و y تا هدف در قاب تصویر و بر حسب پیکسل است که مقدار آن در محل مطلوب (هدف) صفر می باشد. با توجه به ویژگی انتخاب شده و نحوه قرارگیری بازوی ربات و دوربین، با مشخص شدن محل مفصل شانه بازوی ربات، حالت سیستم بصورت یکتا مشخص می شود. از جمله چالش هایی که در پیاده سازی این روش با آن روبرو هستیم، نحوه محاسبه معکوس ماتریس ژاکوبین و ارائه ساختار هوشمند برای تقریب زدن آن، تشخیص محل مفاصل با استفاده از تصاویر دوربین، و تغییرات نور محیط می باشد. بدیهی است که برای هر یک از چالش‏های مطرح شده، راهکار مناسبی ارائه شده است. نتایج آزمایشات حاکی از موفقیت روش پیشنهادی در رساندن مجری نهایی بازوی ربات به نقاط هدف مختلف در محیط کاری است.