نظریه ی اطلاع شاخه ای از نظریه ی ریاضی امار و احتمال است که شامل کمی کردن اطلاع
است. یکی از مهمترین اندازه هایی که برای کمی کردن اطلاع به کار می رود، انتروپی است. انتروپی، اندازه ای احتمالاتی از عدم اگاهی درباره ی برامد یک ازمایش تصادفی
است. از دیدگاه شانون، آنتروپی، عدم یکنواختی (تمرکز احتمالها) را تحت چگالی f اندازه می گیرد.در این پایان نامه در مورد انتروپی، آنتروپی شانون و به ویژه آنتروپ...