شناسایی زبان اشاره با استفاده از دوربین های عمقی

پایان نامه
چکیده

تشخیص زبان اشاره توسط رایانه در حوزه های مختلف هنوز یک چالش محسوب می شود. یکی از مهمترین مشکلات در این حوزه قطعه بندی دست، به خصوص در پس زمینه های پیچیده است. با ارائه دوربین های عمقی به خصوص سنسور کینکت، عمق پیکسل های تصویر نیز در دسترس می باشد که می تواند در قطعه بندی تصویر دست بسیار مفید باشد. در این تحقیق یک سیستم بلادرنگ تشخیص هجی انگشتی حروف الفبای زبان اشاره آمریکایی بر مبنای قطعه بندی عمقی دست از طریق سنسور کینکت ارائه شده است. تعداد 26 ویژگی هندسی از تصاویر قطعه بندی شده دست پس از چندین مرحله پیش پردازش استخراج و پس از تحلیل ویژگی ها توسط lda، توسط دسته بند بیِز دسته بندی شده اند. ویژگی های استخراج شده شامل 19 ویژگی بر حسب moment ها و 7 ویژگی بر حسب لبه بیرونی دست قطعه بندی شده می باشند. مراحل پیش پردازش نیز شامل آستانه گیری تصویر عمقی برای قطعه بندی دست جهت ایجاد ماسک، حذف نویز ماسک بدست آمده، جابجایی و تغییر اندازه آن می باشد. قطعه بندی تصویر رنگی و عمقی توسط اطلاعات عمقی سنسور کینکت و ارائه ویژگی ها و سیستم بلادرنگ مناسبی جهت دسته بندی بهینه داده های بدست آمده دستاورد اصلی این تحقیق می باشد. نتایج مختلفی با اعتبارسنجی ضربدری ارائه شده است که برتری این روش را نسبت به شش روش مشابه قبلی نشان می دهد. استفاده از یک پایگاه داده استاندارد با بیش از 54000 نمونه در پنج اجرا مختلف توسط چهار فرد، اعتبار نتایج بدست آمده را تضمین نموده است. نتایج مختلفی بر حسب انتخاب های مختلفی از پایگاه داده برای 24 حرف الفبا ارائه شده است که از 78.29% برای کل پایگاه داده شامل پنج اجرا کننده و 450 نمونه از حروف به ازای هر فرد تا 99.75% برای یک اجرا کننده با 100 نمونه برای هر حرف را شامل می شود. بررسی سرعت پردازش ورودی ها بر روی یک پردازنده core i7 لپ تاپ، بلادرنگ بودن سیستم با حداقل 38 فریم بر ثانیه در حالت تک نخه و 245 فریم بر ثانیه در حالت چند نخه را نشان می دهد. همچنین در تحلیل و اعتبار سنجی داده ها و نتایج نیز مشخص شده است که استفاده از lda و ویژگی های ترکیبی حاصل از اعمال ماسک عمقی بر روی تصاویر قطعه بندی شده عمقی و رنگی بهترین نتیجه را در سیستم ارائه نموده و در صورت تصادفی کردن داده ها و اعمال آموزش برای هرفرد جدید قبل از استفاده از سیستم، بهبود چشم گیری در نتایج بدست آمده حاصل می شود.

منابع مشابه

شناسایی زبان اشاره فارسی با استفاده از دوربین های عمقی

شناسایی زبان اشاره توسط رایانه گام اولیه و مهمی در راستای ارتقای تعامل کاربران ناشنوا با رایانه است. با وجود گستردگی کارهای انجام شده در شناسایی زبان اشاره سایر کشور ها به خصوص زبان اشاره امریکایی، تنها هنوز گام های اولیه و آزمایشگاهی در مورد زبان اشاره فارسی انجام پذیرفته است. در این پایان نامه روشی جهت شناسایی حروف الفبای زبان اشاره فارسی باغچه بان (اولین و پرکاربردترین زبان اشاره فارسی) ار...

15 صفحه اول

مثلث بندی با استفاده از تصاویر دوربین های CCD

در ساختمان اکثر دوربین­ های پیشرفته از آرایه­ های خطی CCD استفاده شده است. تصاویر استریو، همزمانی که سکوی دوربین در حرکت است برداشته می­ شوند. مدل ریاضی، برای اندازه­ گیری نقاط فتوگرامتری در تصویربرداری هوایی براساس چند جمله­ ای­ ها می­ باشد، با توجه به اینکه در تصویربرداری فضایی شرط­ های 5 مداری نیز در نظر گرفته خواهد شد. نتایج شبیه ­سازی کامپیوتری برای اندازه­ گیری نقاط در بلوک اجستمنت همزمان...

متن کامل

بازشناسی علامت های ساکن زبان اشاره ی فارسی با استفاده از یک توصیف گر شکلی جدید

در این مقاله یک سیستم برای بازشناسی علامت های ساکن زبان اشاره ی فارسی پیشنهاد شده است. این سیستم بر مبنای یک ویژگی شکلی جدید طراحی شده و قادر است با نرخ تشخیص بالایی، علامت های ساکن الفبای زبان اشاره ی فارسی را به طور خودکار بازشناسی کند. در اینسیستم، ابتدا با استفاده از آنالیز مؤلفه ی اصلی (pca)، جهت های غالب دست را بدست می آوریم و تصاویر را در جهت غالب دست، به نحوی که سیستم مختصات جدید تصویر ...

متن کامل

لاپاروسکوپی با استفاده از انگشت اشاره

متن کامل

تهیه عکس نقشه با استفاده از دوربین های غیرمتریک در پرنده های بدون سرنشین غیر خودکار

فتوگرامتری هوایی با استفاده از دوربینهای متریک روش مرسوم تهیه نقشه های عکسی است. اما در بعضی از موارد استفاده از این تکنیک به دلیل برخی مسائل بویژه هزینه های بالا و ریسک های جانی عملاً دور از انتظار می‌باشد. یک روش جایگزین، استفاده از پرنده های بدون سرنشین و دوربین های غیرمتریک می باشد. در این تحقیق به منظور ارزیابی کارایی این روش، یک مطالعه موردی در شهرک صنعتی نکا با استفاده از یک کوادروتور غیر...

متن کامل

راهبردهای آموزش علوم و مهندسی همگام با زبان اشاره ناشنوایان

زبان از ویژگی‌های مهم بشر و عنصر وجودی انسان است. زبانِ اشاره راهکاری برای رفع نیازهای شفاهی و ارتباطی جامعه ناشنوایان است، همان‌طور که زبان‌هایی همچون فارسی، چینی، انگلیسی و... راهکارهایی برای رفع نیازهای ارتباطی جامعه شنوایان است. تجربه‌های بی‌نظیر در زندگی، دیدگاه‌های دانشمندان را در پژوهش شکل می‌دهد. بنابراین، تنوع در زندگی و تجربه‌های فرهنگی در میان دانشمندان سبب گسترش جهت گیری‌های پژوهشی و...

متن کامل

منابع من

با ذخیره ی این منبع در منابع من، دسترسی به آن را برای استفاده های بعدی آسان تر کنید

ذخیره در منابع من قبلا به منابع من ذحیره شده

{@ msg_add @}


نوع سند: پایان نامه

وزارت علوم، تحقیقات و فناوری - دانشگاه صنعتی شاهرود - دانشکده کامپیوتر و فناوری اطلاعات

کلمات کلیدی

میزبانی شده توسط پلتفرم ابری doprax.com

copyright © 2015-2023