بازشناسی استریو زبان علائم

در سالهای اخیر، اهمیت فراوانی به تحقیقات در زمینه تعامل انسان و کامپیوتر برای ایجاد واسط های ساده تر از طریق بکار گیری شیوه های ارتباطی و مهارتهای انسانی داده شده است. در بین تمامی قسمت های بدن، دست انسان، به علت عملکرد بسیار گسترده در برقراری ارتباط به عنوان موثرترین ابزار و عمومی ترین تعامل بین افراد نسبت به سایر قسمت ها و اندام های بدن شناخته می شود. زبان علایم، روش ارتباطی ابتدایی ارتباط افرادی است که دچار مشکلات شنوایی می باشند. لذا از کاربرد های این سیستم های تعامل مستقیم انسان و کامپیوتر می توان به استفاده آنها در ایجاد ابزاری خودکار برای تشخیص زبان علایم توسط افراد ناشنوا اشاره نمود. اولین تلاش ها برای تشخیص خودکار زبان علایم در دهه 90 در مقالات تجلی یافت. در آن سالها اغلب سیستم های بازشناسی زبان علایم به بازشناسی حرکات ساکن و یا حرکاتی در تصویر می پرداختند که دست در آن تغییر شکل چندانی نداشت. با گذشت زمان و با استفاده از ویژگی های متعدد دامنه حرکات زبان علایم گسترش یافت. اما از مشکلات روش های بازشناسی زبان علایم دقت کم روش های موجود در علایمی است که در عمق اجرا می شوند. در این پروژه به منظور بازشناسی هرچه بیشتر زبان علایم از دید استریو برای انطباق نقاط مختلف در دو تصویر و در نهایت استخراج عمق این نقاط استفاده شده است. بدین ترتیب پس از استخراج کانتور دست و مدل سازی آن توسط 100 نقطه، از دو روش معرف های فوریه بیضوی و روش تکراری نزدیک ترین نقطه استفاده شد. با مقایسه این دو روش توسط حرکت های کنترل شده، روش تکراری نزدیک ترین نقطه برای انجام انطباق بین نقاط کانتور دست مناسب تر ارزیابی شد. در نهایت، پارامتر های سه بعدی استخراج شده برای مدلسازی حرکات مختلف به عنوان ورودی به مدل های مخفی مارکوف داده شد. با استفاده از این پارامتر ها نرخ بازشناسی برابر 91% بدست آمد که توانسته است به میزان 16% نرخ بازشناسی را نسبت به عدم استفاده از پارامتر های سه بعدی دست بهبود دهد.