آنتروپی معیاری از اطلاع است که در سال 1948برای اولین بار توسط کلود شانون معرفی شد. این معیار براساس احتمالات توزیع های ناپیوسته تعریف می شود. مع هذا، تعمیم این اندازه به توزیع های پیوسته (آنتروپی تفاضلی) چالشهایی را ایجاد می کند. به همین علت، رائو و همکارانش (2004) آنتروپی جدیدی را معرفی کرده که براساس تابع توزیع تجمعی تعریف گردیده، آن را آنتروپی باقیمانده ی تجمعی نامیدند. در این پایان نامه در ابتدا قضایا و لم هایی را بیان و ثابت می کنیم که در طول پایان نامه به آن ها احتیاج پیدا خواهیم کرد.سپس به تعریف آنتروپی و اصل ماکسیمم آنتروپی می پردازیم.در ادامه به معرفی آنتروپی باقیمانده ی تجمعی پرداخته و خواص آن را بیان خواخیم کرد.همچنین با استفاده از نمادهای جدید، به معرفی دوباره این آنتروپی خواهیم پرداخت.در ادامه نیز آنتروپی باقیمانده ی تجمعی تعمیم یافته را معرفی و خواص آن را بیان می کنیم.در پایان ،با استفاده از آنتروپی نسبی روشی را برای برآورد پارامتر مجهول ارائه می نماییم.