روش پیشتعلیم لایهبهلایه دوسویه برای تعلیم شبکههای عصبی عمیق
نویسندگان
چکیده مقاله:
در این مقاله، یک روش پیشتعلیم دوسویه برای همگرا نمودن تعلیم شبکههای عصبی عمیق با یادگیری دیگرانجمنی ارائه شده است. تعلیم این شبکهها بهدلیل مواجه بودن با تعداد بالای کمینههای موضعی اغلب همگرا نمیگردد. این در حالی است که با مقداردهی اولیه مناسب وزنهای شبکه، میتوان از بسیاری از کمینههای موضعی اجتناب نمود. روش پیشتعلیم لایهبهلایه دوسویه روشی سریع و کارا میباشد که در یک مسیر دوسویه بهطور جلوسو و عقبسو با استفاده از ورودیها و خروجیهای مطلوب شبکه، به تنظیم مقادیر اولیه وزنهای آن میپردازد. برای این منظور از تعلیم شبکههای کمکی یک لایه پنهان مبتنی بر وزنهای لایه تحت پیشتعلیم از شبکه عمیق و وزنهای کمکی استفاده میشود. سپس مقادیر وزن حاصل از تعلیم اینها در ساختار اصلی شبکه تحت پیشتعلیم قرار داده میشوند و برای تنظیم دقیق وزنها، تعلیم یکپارچه صورت میگیرد. این روش برای پیشتعلیم وزنهای سه شبکه عصبی عمیق بازشناس فرد، حالتهای احساسی و ارقام دستنوشتار مورد استفاده قرار گرفت و نشان داده شد که با بهکارگیری این روش پیشتعلیم، سرعت همگرایی تعلیم بهطور چشمگیری افزایش مییابد. همچنین میزان بازشناسیها در پایگاه دادههای چهره به میزان قابل توجهی بهبود مییابد که حاکی از افزایش قدرت تعمیم شبکه با استفاده از این روش میباشد.
منابع مشابه
روش پیش تعلیم لایه به لایه دوسویه برای تعلیم شبکه های عصبی عمیق
در این مقاله، یک روش پیش تعلیم دوسویه برای همگرا نمودن تعلیم شبکه های عصبی عمیق با یادگیری دیگرانجمنی ارائه شده است. تعلیم این شبکه ها به دلیل مواجه بودن با تعداد بالای کمینه های موضعی اغلب همگرا نمی گردد. این در حالی است که با مقداردهی اولیه مناسب وزن های شبکه، می توان از بسیاری از کمینه های موضعی اجتناب نمود. روش پیش تعلیم لایه به لایه دوسویه روشی سریع و کارا می باشد که در یک مسیر دوسویه به ط...
متن کاملروش پیش تعلیم سریع بر مبنای کمینه سازی خطا برای همگرائی یادگیری شبکه های عصبی با ساختار عمیق
در این مقاله با توسعه روش های موجود و بر مبنای کمینه سازی خطا و حفظ تمایز بیشینه مابین نمونه ها یک روش پیش تعلیم لایه به لایه سریع و کارا جهت مقداردهی اولیه مناسب وزن ها در شبکه های عصبی با ساختارهای عمیق ارائه شده است. تعلیم شبکه های عصبی عمیق به دلیل مواجه با تعداد بالای کمینه های موضعی اغلب همگرا نمی گردد. درحالیکه با مقداردهی اولیه مناسب وزن های شبکه به جای مقادیر تصادفی در ابتدای مسیر تعلی...
متن کاملروش پیشتعلیم سریع بر مبنای کمینهسازی خطا برای همگرائی یادگیری شبکههای عصبی با ساختار عمیق
In this paper, we propose efficient method for pre-training of deep bottleneck neural network (DBNN). Pre-training is used for initial value of network weights convergence of DBNN is difficult because of different local minimums. While with efficient initial value for network weights can avoided some local minimums. This method divides DBNN to multi single hidden layer and adjusts them, then we...
متن کاملمنابع من
با ذخیره ی این منبع در منابع من، دسترسی به آن را برای استفاده های بعدی آسان تر کنید
ذخیره در منابع من قبلا به منابع من ذحیره شده{@ msg_add @}
عنوان ژورنال
دوره 6 شماره 2
صفحات 1- 10
تاریخ انتشار 2015-08-23
با دنبال کردن یک ژورنال هنگامی که شماره جدید این ژورنال منتشر می شود به شما از طریق ایمیل اطلاع داده می شود.
میزبانی شده توسط پلتفرم ابری doprax.com
copyright © 2015-2023