شبکه های پیشخور نقش بسیار مهمی در یادگیری ماشین ایفا می کنند. در این بین، شبکه ی پیشخور با یک لایه مخفی به دلیل قابلیت تقریب کلی از اهمیت بسزایی برخوردار است. این شبکه به طور گسترده در مسائل طبقه بندی و رگرسیون مورد استفاده قرار گرفته است. از نظر معماری، این شبکه به سه دسته ی معماری ثابت، معماری افزایشی و معماری کاهشی تقسیم می شود. عدم وجود مشکل حداقل محلی از مزایای شبکه با معماری افزایشی می باشد. از جمله چالش های این شبکه تنظیم بهینه پارامترهای ورودی نود مخفی افزوده شده است که راهکارهای متفاوتی برای این منظور ارائه شده است. در این پایان نامه پارامترهای ورودی نود مخفی افزوده شده با حل یک مسئله ی بهینه سازی درجه دو بدست می آیند. این کار سبب می شود قدر مطلق سینوس زاویه ی بین نود افزوده شده و مانده خطا حداقل گردد و نود افزوده شده حداکثر کارایی ممکن را داشته باشد. با توجه به اینکه تعداد نودهای شبکه کمترین مقدار ممکن خواهد بود، این شبکه، ماشین یادگیر افزایشی با معماری فشرده نامیده می شود. به منظور تنظیم بهینه ی زاویه ی بین نود افزوده شده و خطا در روش پیشنهادی، از نودهای با درجه آزادی بالا استفاده می گردد. علی رغم مزیت های فراوان ماشین یادگیر افزایشی با معماری فشرده، این روش مانند همه ی روش های مبتنی بر حداقل سازی مربعات خطا، در برابر نویز غیرگوسی و داده های پرت،کارایی مناسبی نخواهد داشت. بنابراین ماشین یادگیر افزایشی با معماری فشرده مبتنی بر آنتروپی و کورآنتروپی ارائه می شود.از جمله کاربردهای شبکه های پیشخور، تقریب جواب معادله ی دیفرانسیل معمولی و معادله دیفرانسیل با مشتقات جزیی است. در این پایان نامه از نگاه شبکه با معماری افزایشی، روشی برای تقریب جواب این معادله ها ارائه شده که کارایی بهتری نسبت به روش های موجود با معماری ثابت خواهد داشت. آزمایشات روی مجموعه داده ها و مثال های مختلف کارایی روش های پیشنهادی در این پایان نامه را نشان می دهند.