زنجیرهای مارکف در زمینه های مختلف علمی برای تحلیل داده های دنباله ای به کار می روند. در این پایان نامه با مفاهیم الگوهای مارکف، الگوهای مارکف پنهان و نظریه اطلاع آشنا شده و نشان می دهیم چگونه می توان زنجیرهای مارکف از مرتبه k (برای k دلخواه) را برای داده های متناهی با استفاده از روش های بیزی در برآورد پارامترها و انتخاب مرتبه الگو مورد استفاده قرار داد. با به کارگیری روش هایی از نظریه اطلاع، آنتروپی نسبی و نرخ آنتروپی را محاسبه کرده و به این ترتیب سه مرحله اساسی استنباط آماری یعنی برآورد نقطه ای پارامترهای الگو، مقایسه الگو و برآورد نرخ آنتروپی را مورد مطالعه قرار می دهیم. سپس روشی معرفی می شود که می تواند با استفاده از داده های با اندازه متناهی و به وسیله مقایسه الگو برای استنباط در مورد ساختار فرآیندهای خارج از کلاس به کار رود. در نهایت با ارائه مثال هایی مراحل بالا را عملا پیاده سازی می کنیم.