یکی از ابزارهای هوش ماشین آتاماتاهای احتمالی است.یک رویکرد برای توسعه آتاماتای احتمالی در واقع تعمیم کلاس آتاماتاها است. دراین رویکرد برحسب اینکه احتمال چگونه استفاده می شود و چه نقشی را در آتاماتا بازی می کند آتاماتا نامهای گوناگونی می یابد. و مسیر دیگر رویکردآماری است که آتاماتارا متشکل از تعدادی متغییر تصادفی در نظر می گیرد. اگر بخواهیم این دو رویکرد را کاملا از هم جدا کنیم، خروجی رویکرد اول آتاماتاهایی برای مدل سازی داده ها با توجه به گرامر بوده است و خروجی رویکرد دوم آتاماتاهائی برای مدل کردن همبستگی بین دادهای ورودی است. به عبارت دیگر اولی سعی در استنتاج قیاسی و دومی سعی در استنتاج تجربی دارد.در بین این دو رویکرد که اتفاقا به اشکال تقریبا مشابهی منجر شده یک فاصله وجود دارد. نبود یک مدل جامعتر در فاصله بین این دو یکی از مشکلاتی است که هنگام استفاده از این دسته از مدلها نمایان می شود. در اینجا سعی شده که انواع آتاماتا را بتوانیم در یک قالب ارائه کنیم یا حداقل گامی در این راه برداشته شود.مدل vpa با برداشتن قید محدود بودن الفبا، از تعریف قبلی به مدلی با تعریفی کلی تر می رسد. انگیزه اصلی ارائه چنین مدلی ارائه استنتاج منطقی بر حسب داده های گرامری، رویدادی و ...، هم استنتاج تجربی بر اساس همبستگی بین داده ای در یک مدل واحد می باشد. آتاماتاهای احتمالی خود نیز دارای ضعف های زیادی است. مهمترین ضعف یکپارچه نبودن و وجود فاصله بین انواع مختلف است. یک متد یکپارچه برای حل مسایل بوسیله آتاماتای احتمالی وجود ندارد. خوشبختانه تعریف جدید آتاماتای احتمالی که در فصل دوم بررسی می شود قید احتمالی بودن آتاماتا را عملا برداشته است و روشهای جالب و هوشمندانه ای برای حل مسایل ارائه کرده است. در فصل سوم قید دیگری هم از مدل قبلی برداشته می شود و به سوی کم کردن فاصله بین دو رویکرد گام برمی داریم. همچنین در استفاده از آتاماتاهای احتمالی در حل مسائل سوالهای زیادی بوجود می آید. درابتدا بایستی نوع آتاماتا مشخص شود. انواع اتاماتاها در برخورد با داده های پیوسته گسسته داده هایی با همبستگی بالا یا حتی داده هایی قطعی وجود دارد. بعد از انتخاب مدل تعداد حالات یا مثلا در مورد hmm تابع چگالی یا روش تعیین وزن هرحالت اهمیت میابد. در مرحله بعدی تعیین کمینه تعداد حالتها می تواند مسئله باشد. تعداد حالت روش ساخت مدل مثلا ساختن مدلهای کوچکتر و نیز ترکیب مدلهای کوچکتر(روش پایین به بالا) یا برعکس. در میان انواع اتاماتاهای احتمالی، hmm توجه بیشتری را به خود جلب کرده است. اینکه hmm چقدر قدرت دارد و چه کارهایی می تواند انجام دهد قابل توجه است. چگونه می توان بهترین hmm ای را که می تواند داده ها را توصیف کرد پیدا کرد؟ آیا لزوما بهترین hmm ای که می تواند داده ها را مدل کند همان hmm ای است که داده ها را تولید کرده است؟ سوال اخیر سوالی است که انگیزه تولید این کار شده است. بخشی از این کار در واقع جواب منفی به این سوال است. با تولید مدلی که بهتر از مدل مبدل داده های تست را تشخیص می دهد بوسیله الگوریتم جدید mlesr بر اساس کاهش مدل جواب این سوال داده شده است.