Improved Generalization in Recurrent Neural Networks Using the Tangent Plane Algorithm

Improved Generalization in Recurrent Neural Networks Using the Tangent Plane Algorithm

The tangent plane algorithm for real time recurrent learning (TPA-RTRL) is an effective online training method for fully recurrent neural networks. TPA-RTRL uses the method of approaching tangent planes to accelerate the learning processes. Compared to the original gradient descent real time recurrent learning algorithm (GD-RTRL) it is very fast and avoids problems like local minima of the sear...

Improved sequential and batch learning in neural networks using the tangent plane algorithm

fault location in power distribution networks using matching algorithm

چکیده رساله/پایان نامه : تاکنون روش‏های متعددی در ارتباط با مکان یابی خطا در شبکه انتقال ارائه شده است. استفاده مستقیم از این روش‏ها در شبکه توزیع به دلایلی همچون وجود انشعاب‏های متعدد، غیر یکنواختی فیدرها (خطوط کابلی، خطوط هوایی، سطح مقطع متفاوت انشعاب ها و تنه اصلی فیدر)، نامتعادلی (عدم جابجا شدگی خطوط، بارهای تک‏فاز و سه فاز)، ثابت نبودن بار و اندازه گیری مقادیر ولتاژ و جریان فقط در ابتدای...

Pruning recurrent neural networks for improved generalization performance

Determining the architecture of a neural network is an important issue for any learning task. For recurrent neural networks no general methods exist that permit the estimation of the number of layers of hidden neurons, the size of layers or the number of weights. We present a simple pruning heuristic that significantly improves the generalization performance of trained recurrent networks. We il...

rodbar dam slope stability analysis using neural networks

در این تحقیق شبکه عصبی مصنوعی برای پیش بینی مقادیر ضریب اطمینان و فاکتور ایمنی بحرانی سدهای خاکی ناهمگن ضمن در نظر گرفتن تاثیر نیروی اینرسی زلزله ارائه شده است. ورودی های مدل شامل ارتفاع سد و زاویه شیب بالا دست، ضریب زلزله، ارتفاع آب، پارامترهای مقاومتی هسته و پوسته و خروجی های آن شامل ضریب اطمینان می شود. مهمترین پارامتر مورد نظر در تحلیل پایداری شیب، بدست آوردن فاکتور ایمنی است. در این تحقیق ...