بررسی مزایا و محدودیت های ساختار حافظه بلند مدت و کوتاه مدت

در بسیاری از کاربردها مسئله زمان عاملی تعیین کننده است، به طوری که خروجی سیستم در هر لحظه تابعی از ورودی سیستم و نیز خروجی سیستم در زمان های قبل می باشد. در بعضی موارد، خروجی سیستم حتی ممکن است به ورودی سیستم در زمان های قبل هم بستگی داشته باشد. برای مدل کردن چنین سیستم هایی به وسیله شبکه های عصبی، بازنمایی زمان در عملکرد این شبکه ها اجتناب ناپذیر است. زمان به دو صورت در عملکرد شبکه های عصبی قابل پیاده سازی است: مستقیم وضمنی. یکی از روش های بازنمایی ضمنی زمان، استفاده از شبکه های عصبی بازگشتی است، که محور این پایان نامه هستند. شبکه های عصبی بازگشتی علی رغم سودمندی، محدودیت هایی نیز دارند. اساسی ترین محدودیت آن ها مشکل محو گرادیان است. در این پایان نامه به بررسی راه حل های غلبه بر مسئله محو گرادیان پرداخته ایم. از میان این راه حل ها، برساختار خاصی به نام (lstm) long short-term memory متمرکز شده ایم. lstm از مهمترین راه حل های غلبه بر مسئله محو گرادیان محسوب می شود. ما قابلیت ها و محدودیت های این ساختار را با دقت وعمق بیشتری بررسی کرده ایم. برای پی بردن به قابلیت ها و محدودیت های lstm آزمایش های متعددی انجام داده و آن را با مهمترین الگوریتم مبتنی بر گرادیان یعنی الگوریتم " انتشار به عقب در طول زمان" مقایسه کرده ایم. نتایج حاصله نشان می دهد که کارایی lstm در بسیاری موارد بیشتر است، لیکن برای مدل کردن فضاهای پیوسته lstm با محدودیت هایی روبرو می باشد