بازشناسی بلادرنگ مستقل از اجراکننده زبان اشاره فارسی

بینایی کامپیوتر بر پایه بازشناسی ژست، کاربردهای بالقوه¬ای در حوزه تعامل انسان-کامپیوتر مانند بازشناسی زبان اشاره دارد. بازشناسی خودکار زبان اشاره¬ فارسی به دلیل عامل¬هایی مانند تعداد وسیع ژست¬های مشابه هم، جهت¬گیری دست¬ها، پس زمینه¬ی پیچیده و تغییرات روشنایی نور محیط، یکی از پر چالش¬ترین حوزه¬های تحقیقاتی می¬باشد. در این پایان¬نامه دو نوع سیستم متفاوت بازشناسی خودکار زبان اشاره فارسی بر پایه بینایی کامپیوتر با اهدافی چون پردازش بلادرنگ ژست¬ها، مستقل¬سازی سیستم بازشناسی در برابر افراد مختلف و همچنین عدم استفاده اجـراکننده ژست¬ها از دستکش یا مارکر پیشنهاد شده است. در سیستم پیشنهادی اول، پس از تقطیع دست¬ها از فریم¬های ویدویی، با تصحیح زاویه جهت گیری دست و برش زدن ناحیه مچ دست از مابقی ناحیه دست، مرز ناحیه دست استخراج می¬گردد و در جهت بازنمایی آن، محاسبه تابع زاویه¬ای تجمعی صورت می¬گیرد و در ادامه با محاسبه دامنه ضرایب فوریه گسسته و یک سری عملیات ریاضی در جهت مقاوم سازی آنها نسبت به انتقال، چرخش و تغییر مقیاس، ویژگی¬های مطلوب در حوزه¬ی فرکانس استخراج می¬گردد و این ویژگی¬های استخراجی جهت بازشناسی ژست¬ها به ورودی¬های یک شبکه عصبی پرسپترون چند لایه پیشرو اعمال می¬گردد اما در سیستم پیشنهادی دوم تمام عملیات پیش¬پردازش تا مرحله استخراج ناحیه کف دست و انگشتان مشابه سیستم اول انجام می¬پذیرد ولی پس از این مرحله، محاسبه ثابت-های گشتاور در جهت بازنمایی ناحیه دست صورت می¬گیرد که این ثابت¬های گشتاور تغییرناپذیر مشابه با سیستم اول جهت بازشناسی ژست¬ها به ورودی¬های یک شبکه عصبی چند لایه اعمال می¬گردد البته طبقه¬بندی داده¬ها توسط سه طبقه¬بند بیز، k-nn و شبکه عصبی در جهت مقایسه عملکرد طبقه-بندهای مختلف انجام شده است و همچنین این دو سیستم پیشنهادی با یکدیگر مقایسه شده¬اند. مجموعه آموزشی ژست¬ها از250 نمونه به ازای 10 ژست در پنج موقعیت وجهت¬گیری متفاوت به وسیله پنج نفر بدست آمده است و نتایج بازشناسی این سیستم¬ها، نرخ بازشناسی 100% را برای سیستم اول و 95% را برای سیستم دوم نشان می¬دهد.