برای دستیابی به تعامل طبیعی انسان و کامپیوتر، دست انسان می تواند به عنوان یک رابط استفاده شود. حرکات و اشاره های دست کانال ارتباطی قدرتمندی بین انسان هاست که بخش اصلی انتقال اطلاعات در زندگی روزانه را تشکیل می دهد. اما ردگیری و تشخیص حرکات دست به دلیل پیچیدگی حرکات دست و درجه های آزادی زیادی که دست دارد، یک مسئله چالش انگیز است. از طرف دیگر الگوریتم های بینایی ماشین به طور آشکاری ضعیف و حساس هستند. در این پژوهش از یک معماری دولایه ای برای تشخیص حرکات دست استفاده شده است که در لایه پایین آن برای حل مشکل تشخیص ضعیف حالت های دست، یک سری ویژگی های شبه هار جدید ارائه شده است. این ویژگی ها مشکل اصلی ویژگی های شبه هار را که نرخ خطای بالای آنها در کلاس بندی حالت های دست است، کاهش می دهد. همچنین راه کار دوم ارائه شده، استفاده از ترکیب ویژگی های شبه هار و هیستوگرام گرادیان جهت دار است. ایده بنیادی، استفاده از مزیت های هر کدام از ویژگی ها در تشخیص حالت های دست و بالا بردن نرخ تشخیص و کم کردن خطای مثبت کاذب است. برای کلاس بندی از الگوریتم یادگیری آدابوست که می تواند با ساختار آبشاری سرعت اجرا را بالا ببرد، استفاده شده است. برای کلاس بندی نهایی حالت های دست، الگوریتم یادگیری ماشین های بردار پشتیبان چند کلاسه آموزش یافته با ویژگی های هیستوگرام گرادیان جهت دار استفاده شده است. همچنین برای مقاوم کردن سیستم در برابر پس زمینه های پیچیده و همچنین افزایش سرعت، از آشکارسازی ناحیه پوستی استفاده شده است. در لایه بالا تشخیص حرکات دست انجام می شود. در این لایه با استفاده از گرامر های مستقل از متن تصادفی، ساختار نحوی حرکات دست تحلیل می شوند. ساختار نحوی حرکات با تبدیل حالت های آشکار شده و تشخیص داده شده از لایه پایین به رشته ها، ایجاد می شود. یک رشته ورودی که مطابق با حرکات دست است می تواند با اندازه گیری شباهت ها و احتمالات تخصیص داده شده به هر قانون و جست وجو کردن قانونی که بیشترین احتمال را برای آن رشته ورودی تولید می کند تشخیص داده شود.