یکی از استفاده هایی که از حرکت در تصویر می توان کرد، به کار بردن آن در سیستمهای حفاظتی و بصری هوشمند است. در این پروژه هدف ما این است که سیستمی طراحی و پیاده سازی کنیم که با ثبت تصاویر پیوسته از یک فرد در حال استراحت یا خواب، و با استفاده از الگوریتمهای تشخیص حرکت، مشخص کنیم که آیا فرد حرکت دارد یا ندارد، و اگر دارد، حرکت عادی است یا تشنجی است. در این پروژه برای تشخیص این امر در یک دنباله تصویری، برای هر فریم تصویری یک مقدار عددی محاسبه می کنیم که میزان تغییرات را در آن فریم بیان می کند. مجموعه این مقادیر برای دنباله تصویری تشکیل سیگنال مشخصه را می دهد که با پردازشهایی که روی آن انجام می شود، زمانهای حرکت (عادی و تشنجی) را در آن مشخص می کنیم. در این پروژه روشهای مختلفی برای تشکیل سیگنال مشخصه شرح داده شده و پیاده سازی شده است. این روشها شامل روشهای تفاضلی، نسبتی و مشابهتی است. چند الگوریتم تخمین حرکت نیز شرح داده شده است که از نتایج آنها برای تشکیل سیگنال مشخصه شده است. روشهایی نیز در حوزه تبدیل برای تشخیص حرکت و تخمین حرکت ارایه شده است. همچنین با استفاده از تخمین حرکت، روشی برای تشکیل سیگنال مشخصه ای که بتواند مستقیماً نواحی تشنجی را معین کند، ارایه شده است. روشهایی که برای تشکیل سیگنال مشخصه ارایه شده اند روی ده کلیپ واقعی که دارای حرکات عادی و تشنجی است پیاده شده و نتایج آن ارایه شده است. نتایج روشهای مختلف از لحاظ صحت تشخیص زمانهای حرکت و تمییز حرکت عادی از حرکت تشنجی مورد بررسی و مقایسه قرار گرفته است. کلیپهای مورد استفاده شامل 6 کلیپ از حرکت تشنجی واقعی و 4 کلیپ شامل شبیه سازی حرکات تشنجی است. روشهای ارایه شده با دقت حدود 97 % قادر به تشخیص تمام حرکات فرد در طول کلیپ می باشند. همچنین این روشها با دقت بالاتر از 94 % حرکات تشنجی را از حرکات عادی تمیز می دهند.

بیش از سی سال است که سیستم های تعقیب حرکت چشم به منظور برقراری ارتباط بین افراد ناتوان حرکتی و کامپیوتر، طراحی و روانه بازار شده اند. در یک سیستم تعقیب گر حرکت چشم، کاربر در مقابل یک صفحه نمایش قرار می گیرد و یک (یا چند) دوربین ویدیویی از چشمان وی تصویربرداری می کند. دنباله تصاویر به دست آمده، برای تخمین مسیر نگاه کاربر پردازش می شود. تعقیب گرهای تجاری موجود در بازار، به دلیل استفاده از دوربین های حساس به مادون قرمز و دارای قابلیت بزرگنمایی زیاد، بسیار گران قیمت بوده و قیمتی بین چند هزار تا چند ده هزار دلار دارند. از طرفی، در این سیستم ها به منظور کنترل شرایط نورپردازی و استفاده از ویژگی خاص مردمک در برابر اشعه مادون قرمز از نورپردازی ویژه ای استفاده می شود. بسیاری از شرکتهای تولید کننده دستگاه های تعقیب چشم به دنبال بررسی راه هایی هستند که امکان استفاده از تکنولوژی ارزان قیمتی را در شرایط نوری معمولی فراهم نماید. در این پروژه سیستم ارزان قیمتی مبتنی بر وب کم طراحی شده است که در شرایط نوری معمولی تصویر برداری می کند و نیازی به نصب سخت افزار بر روی سر کاربر ندارد و دوربین بر روی میز و در مقابل کاربر قرار می گیرد. هدف این پروژه، ارایه روشی به منظور بالا بردن دقت و کاهش قیمت تعقیب گر طراحی شده، با هدف کمک به افراد ناتوان حرکتی در کار با کامپیوتر است. تعقیب گرهایی که از کل چهره تصویربرداری می کنند، نیاز به انجام مراحل پردازشی متعددی دارند که عبارتند از تشخیص موقعیت چهره در تصویر، تشخیص محل اجزاء چهره (چشم ها و لبها و ...) تشخیص نقاط مشخصه ای مانند مختصات مرکز مردمک، گوشه های چشم، روش های مطرح در زمینه تشخیص و تعقیب چهره و اجزاء آن به دو دسته سرتاسری و محلی (سلسله مراتبی) تقسیم می شوند و در هر مورد ایده های مختلفی وجود دارد. در این پروژه دو روش محلی و سرتاسری، پیاده سازی و نتایج آنها با یکدیگر مقایسه شده است. همچنین برای ایجاد نگاشت از فضای تصویر به مختصات مورد نظر روی نمایشگر از دو شبکه عصبی پرسپترون با یک لایه پنهان استفاده شد که ویژگی های در نظر گرفته شده و مدل تتعلیم یافته موفق شد به دقت تشخیص 6.52 درجه دست یابد. این در حالی است که نمونه های مشابه مبتنی بر وب کم دقت های حدود 8 درجه را گزارش کرده اند. مجموعه دادگان مورد استفاده در این پروژه عبارت است از دنباله های ویدیویی ضبط شده از 10 فرد مختلف که هر یک در شرایط خاصی (به فاصله 60 سانتی متری و در نمای رو به رو) نسبت به دوربین و نمایشگر قرار گرفته اند و به نقاط خاصی از صفحه نمایش نگریسته اند. در مورد یکی از افراد، علاوه بر نمای رو به رو، دادگانی از دوران های مختلف سر نیز ثبت شده تا مقاومت روش را به تغییر وضعیت سر نیز نشان دهد.

یکی از عواملی که در فرایند تشکیل تصویر سه بعدی در دستگاهای اولتراسوند اختلال ایجاد می کند، نویز لکه ای است. این نویز باعث افت کیفیت بصری تصاویر می شود و تقطیع خودکار حجمهای بدست آمده را دشوار می سازد. تاکنون روشهای متنوعی برای کاهش نویز لکه ای ارایه شده است. برخی از این روشها نیاز به اطلاعات دقیقی از خصوصیات فنی دستگاه تولید کننده تصویر دارند، که این اطلاعات معمولا در دسترس نمی باشد. روشهایی نیز ارایه شده که تنها بر اساس محتویات حجم موجود، نویز لکه ای را کاهش می دهد. درمیان روشهای معرفی شده استفاده از تبدیل ویولت یکی از موفق ترین روشها است. این روش نویز لکه ای را کاهش داده و کیفیت بصری را افزایش می دهد. روشهای موجود برای آستانه گذاری روی ضرایب، معمولا آستانه را بر اساس کل محتویات زیرباند تعیین می کنند. آستانه گذاری سراسری موجب کاهش اطلاعات مرزی و جزییات تصویر می شود. برای رفع این مشکل روش آستانه گذاری پنجره ای به سه بعد تعمیم داده می شود. با استفاده از روش کنی مرزهای درون حجم استخراج شده و ماسک مرز تشکیل می گردد. از این ماسک برای تشخیص نواحی همگن و فاقد مرز استفاده شده است. درحین آستانه گذاری پنجره های حاوی مرز بی تغییر می ماند اما اطلاعات پنجره هایی که درون قسمت همگن زیرباند قرار می گیرد، حذف می شود. پیاده سازی های عملی روی صد تصویر مصنوعی نشان می دهد که میزان کاهش نویز لکه ای در روش آستانه گذاری پنجره ای از روش بیرج بیشتر است اما هر دو روش کیفیت مرزها را کاهش می دهند. معیار که معرف میزان حذف مرز است، در روش بیرج بیش از 29% و در روش پنجره ای حدود 23% کاهش می یابد. متقابلا در روش پیشنهادی به ازای حذف نویز یکسان، تنها 2.5% کاهش یافته است. این نتایج بیانگر حفظ مرزها وجزییات تصویر است. در ادامه روش پیشنهادی روی 7 حجم واقعی نیز پیاده سازی شد و از 30 نفر خواسته شد تا از میان 128 برش، برش های حاوی بافت معیوب را شناسایی کنند. با توجه به این که در واقعیت تنها 53 برش حاوی بافت معیوب است، "درجه اطمینان" محاسبه شد. مقدار "درجه اطمینان" بدون فیلتر کردن تصاویر 757/0، برای تصاویر بعد از آستانه گذاری بیرج 804/0 ، بعد از آستانه گذاری پنجره ای 820/0 و بعد از آستانه گذاری پیشنهادی 882/0 می باشد. این نتایج نشان می دهد که روش پیشنهادی کیفیت بصری تصاویر را بیشتر از روش آستانه گذاری بیرج و پنجره ای بهبود داده است.

در سالهای اخیر، اهمیت فراوانی به تحقیقات در زمینه تعامل انسان و کامپیوتر برای ایجاد واسط های ساده تر از طریق بکار گیری شیوه های ارتباطی و مهارتهای انسانی داده شده است. در بین تمامی قسمت های بدن، دست انسان، به علت عملکرد بسیار گسترده در برقراری ارتباط به عنوان موثرترین ابزار و عمومی ترین تعامل بین افراد نسبت به سایر قسمت ها و اندام های بدن شناخته می شود. زبان علایم، روش ارتباطی ابتدایی ارتباط افرادی است که دچار مشکلات شنوایی می باشند. لذا از کاربرد های این سیستم های تعامل مستقیم انسان و کامپیوتر می توان به استفاده آنها در ایجاد ابزاری خودکار برای تشخیص زبان علایم توسط افراد ناشنوا اشاره نمود. اولین تلاش ها برای تشخیص خودکار زبان علایم در دهه 90 در مقالات تجلی یافت. در آن سالها اغلب سیستم های بازشناسی زبان علایم به بازشناسی حرکات ساکن و یا حرکاتی در تصویر می پرداختند که دست در آن تغییر شکل چندانی نداشت. با گذشت زمان و با استفاده از ویژگی های متعدد دامنه حرکات زبان علایم گسترش یافت. اما از مشکلات روش های بازشناسی زبان علایم دقت کم روش های موجود در علایمی است که در عمق اجرا می شوند. در این پروژه به منظور بازشناسی هرچه بیشتر زبان علایم از دید استریو برای انطباق نقاط مختلف در دو تصویر و در نهایت استخراج عمق این نقاط استفاده شده است. بدین ترتیب پس از استخراج کانتور دست و مدل سازی آن توسط 100 نقطه، از دو روش معرف های فوریه بیضوی و روش تکراری نزدیک ترین نقطه استفاده شد. با مقایسه این دو روش توسط حرکت های کنترل شده، روش تکراری نزدیک ترین نقطه برای انجام انطباق بین نقاط کانتور دست مناسب تر ارزیابی شد. در نهایت، پارامتر های سه بعدی استخراج شده برای مدلسازی حرکات مختلف به عنوان ورودی به مدل های مخفی مارکوف داده شد. با استفاده از این پارامتر ها نرخ بازشناسی برابر 91% بدست آمد که توانسته است به میزان 16% نرخ بازشناسی را نسبت به عدم استفاده از پارامتر های سه بعدی دست بهبود دهد.

مالتیپل اسکلروزیس (ms) یکی از بیماریهای شایع سیستم اعصاب مرکزی انسان است که باعث تغییرات شکلی و ساختاری در مغز می شود. بررسی کمی این تغییرات به همراه ارزیابی علایم بالینی، اطلاعات مهمی را برای طرح درمان و پی گیری بیماری ارایه می دهند. رویکردهای متفاوتی برای کمی سازی ضایعات ms با درجات مختلف دخالت کاربر در بررسی های مختلف تصاویر تشدید مغناطیسی (mr3) پیشنهاد شده اند. در این پایان نامه، رویکرد کاملا جدیدی بر مبنای تحلیل فرکتال جهت تقطیع ضایعات ms در تصاویر mr مغز ، با بررسی بازیافت معکوس مایع تضعیف شده (flair4) ارایه شده است. نتایج ارزیابی تقطیع فرکتالی مبتنی بر محاسبه ی میانگین سنجه های مشابهت (شاخص مشابهت (si6)، کسر هم پوشانی (of7) و کسر زیادی (ef8) به ترتیب برابر با : 79/0 ، 81/0 و 25/0 بیانگر عملکرد بهتر این رویکرد نسبت به روش های متداول است. همچنین، بر اساس میانگین بعد فرکتال تخمینی، ضایعات ms (32/2) و بافت طبیعی (68/2) به ترتیب طرحواره ی یکنواخت و غیر یکنواختی دارند. در نهایت، دو رویکرد کاملا نو جهت تعیین نوع ضایعات ms در تصاویر flair، مبتنی بر میزان در گیری واحدهای حجمی (وکسل ها) و تخریب میلین ها ارایه شده است. در این رویکردها، ابتدا وکسل ها به دو نوع : تخریب شده (مزمن) و در حال تخریب (حاد) دسته بندی می شوند. سپس، ضایعات حاد با استفاده از اطلاعات تصاویر tl- وزن دار (tl-w) و tl-w ارتقا یافته با گادولنیم (gad-e-tl-w) به دو نوع : حاد اخیر و حاد نو دسته بندی می شوند. این رویکردها بکارگیری مواد پارامگنت برای ارتقا تصاویر را کاهش داده و شیوه هایی ارزان با زمان بری کم را برای طرح درمان مناسب بیماری و پی گیری آن از طریق حجم سنجی واقعی ضایعات درگیر در تصویرگری های پی گیری ارایه می دهند.

تشخیص تظاهرات احساسی در چهره، یکی از زمینه های پژوهشی در موضوع ارتباط انسان با ماشین است که امروزه توجه بسیاری از محققین را به خود جلب کرده است. تشخیص خودکار تظاهرات احساسی در تصاویر چهره به دو بخش جایابی چهره و طبقه بندی ویژگی های استخراجی از تصاویر جایابی شده، تقسیم می گردد که در تحقیق حاضر، این دو بخش پیاده سازی شده اند. برای جایابی چهره، با استفاده از گذر از صفر ضرایب تبدیل گابور، یک بردار ویژگی باینری تولید شده و بر اساس معیار فاصله همینگ، مقایسه بردارهای ویژگی انجام می شود. عمل جایابی چهره بر اساس یک تصویر مرجع انجام می گردد. با استفاده از یک ساختار جستجوی هرمی، امکان جایابی چهره هایی با اندازه های مختلف در تصویر ورودی فراهم شده است. روش مورد نظر بر روی بیش از 11000 تصویر چهره از بانک های اطلاعاتی bioid، arو cohen-kanadeآزمایش شده است. دقت جایابی در پس زمینه های ساده و نورپردازی معمولی برابر 99 درصد و در پس زمینه های شلوغ برابر با 1/92 درصد به دست آمده است. در بخش طبقه بندی تظاهرات احساسی درد، علاوه بر جداسازی حالات درد از غیر درد، سعی می گردد تا تظاهرات احساسی درد در سه شدت مختلف درجه بندی گردد. بانک اطلاعاتی مورد استفاده در این تحقیق شامل 476 تصویر از 30 نفر می باشد که هر فرد علاوه بر حالت "معمولی"، تظاهرات احساسی مختلف شامل "خوشحالی"، "تعجب"، "عصبانیت" و همچنین حالت "درد" در سه درجه مختلف را ابراز نموده است. در بخش استخراج ویژگی، ابزارهایی مثل گشتاورهای زرنیک، مولفه های اساسی و تبدیل موجک گابور و گذر از صفر ضرایب گابور و همچنین انطباق تعداد محدودی الگوی احساسی استفاده شده است. در بخش طبقه بندی ویژگی ها از سه طبقه بندی کننده شبکه عصبی پس انتشار خطا، ماشین بردار پشتیبان(svm) و تجزیه بر اساس تفکیک کننده های خطی(lda) ، استفاده شده است. طبقه بندی کلاس ها به دو صورت یک مرحله ای و دو مرحله ای انجام گرفته است. در حالت یک مرحله ای، هر درجه درد یکباره نسبت به تمامی کلاس ها طبقه بندی می گردد. در حالت دو مرحله ای، ابتدا کلاس درد از غیر درد جدا شده و سپس درجه های مختلف درد نسبت به یکدیگر طبقه بندی می گردند. منحنی roc مربوط به خروجی طبقه بندی کننده ها استخراج شده و بر اساس آن مقایسه نتایج انجام گرفته است. برای درد شدید و متوسط، نتایج هر دو روش تقریباً هم ارز می باشد و برای درد کم، استفاده از طبقه بندی کننده دو مرحله ای نتایج بهتری را تولید می نماید. دقت طبقه بندی حالت درد در مقابل غیر درد برابر با 61/86 درصد و دقت طبقه بندی یک مرحله ای حالات درد شدید، متوسط و کم به ترتیب برابر با 02/77 درصد، 71/73 درصد و 15/71 درصد به دست آمده است.