یادگیری تقویتی براساس معماری عملگر- نقاد در سیستم های چند عامله برای کنترل ترافیک

در نیمه دوم قرن گذشته اغلب جوامع شاهد شروع پدیده ای بنام ترافیک شهری در خود بوده اند که علت رخداد چنین پدیده ای عبور تعداد زیادی خودرو در زمان یکسان از یک زیر ساخت حمل و نقلی یکسان می باشد. پدیده ترافیک شهری دارای پیامدهای اقتصادی و محیط زیستی کاملاً شناخته شده ای از جمله آلودگی هوا، کاهش در سرعت، افزایش زمان سفر، افزایش مصرف سوخت و حتی افزایش تصادفات می باشد. یکی از راه های اقتصادی برای مدیریت کردن افزایش تقاضای سفر و جلوگیری از ترافیک شهری، افزایش کارایی زیر ساخت های موجود از طریق سیستم های هوشمند کنترل ترافیک می باشد. از سوی دیگر کنترل ترافیک به دلیل طبیعت توزیع یافته و خودمختار آن توسط سیستم های چند عامله به خوبی قابل مدلسازی می باشد. رانندگان و چراغ های راهنمایی را می توان به عنوان عامل هایی که رفتارهای هوشمندانه ای از خود نشان می دهند در نظر گرفت. برای ایجاد چنین رفتارهایی نیاز است که دانش لازمه از محیط اطراف در ذهن عامل قرار داده شود اما به دلیل پیچیدگی های بالای موجود در الگوهای ترافیک شهری و ناایستا بودن اغلب محیط های ترافیکی قرار دادن یک دانش اولیه از محیط در ذهن عامل ها بسیار دشوار و غیر عملی می باشد. بنابراین نیاز به یک روشی که عامل در طول تعامل با محیط بتواند دانش لازمه را بدست آورد کاملاً ضروری است که در این تحقیق برای حل این چالش از یادگیری تقویتی استفاده شد. هدف مقاله حاضر بهبود استراتژی های کنترل ترافیک و به طور خاص کنترل هوشمند چراغ های راهنمایی از طریق توسعه تکنیک های یادگیری تقویتی در سیستم های چند عامله است. معماری عملگر – نقاد به عنوان یک معماری رایج در یادگیری تقویتی که دارای ساختار حافظه جداگانه ای هم برای سیاست و هم برای تابع ارزش است مورد استفاده قرار گرفت. نتایج این تحقیق نشان دادند که کنترل هوشمند چراغ های راهنمایی منجر به کاهش 23% طول صف و 16% زمان سفر نسبت به کنترل غیر هوشمند چراغ های راهنمایی برای یک تقاطع منفرد می شود.