در این نوشتار ابتدا مدل رگرسیون خطی، نحوه برآورد پارامترهای مدل رگرسیون، آزمون معنی داری ضرایب رگرسیون، انتخاب بهترین معادله رگرسیون و مساله هم خطی مطرح می شود. تعاریفی از نظریه اطلاعات بیان می گردد و اصل آنتروپی ماکسیمم معرفی می شود. با استفاده از نظریه اطلاعات‏، آنتروپی ماکسیمم برای ضرایب و خطا‎‏های مدل رگرسیون حاصل می شود، ضرایب مدل رگرسیون با کمک نظریه اطلاعات برآورد می شوند و آزمون معنی داری رگرسیون با توجه به نظریه اطلاعات صورت می گیرد. در نهایت نحوه تشخیص هم خطی و رفع مشکل هم خطی مدل رگرسیون بر اساس نظریه اطلاعات بیان می شود ‏، یکی از روشهایی که برای برطرف کردن هم خطی با کمک نظریه اطلاعات صورت می گیرد‏، آنتروپی ماکسیمم تعمیم یافته است که در این طرح به معرفی آن پرداخته می شود.