حاشیه نویسی خودکار تصاویر با ترکیب ویژگی های سراسری و ناحیه-ای و استفاده از همبستگی کلمات

امروزه با فراگیر شدن اینترنت و دسترسی آسان وسایل ضبط تصاویر رقمی، حجم تصاویر رقمی به شدت افزایش پیدا کرده است و در حال رشد است. بنابراین چگونگی بازیابی و جستجوی تصاویر مسئله ی مهمی است که تحقیقات زیادی در مورد آن انجام شده است. یک راه حل مناسب برای این مسئله حاشیه نویسی خودکار تصاویر است که در سال های اخیر مورد توجه بسیاری از محققان قرار گرفته است. حاشیه نویسی خودکار تصاویر فرایند انتساب خودکار کلمات به تصاویر است. در این پژوهش یک چارچوب بر مبنای روش های یادگیری ماشین برای این مسئله پیشنهاد کرده ایم. حاشیه نویسی خودکار تصاویر به عنوان یک مسئله ی دسته بندی چند برچسبی مدل شده است و با توسعه ی الگوریتم knn وزن دار و knn فازی به ترتیب دو دسته بند چند برچسبی dwml-knn و fuzzyml-knn ارائه شده است. خروجی این دسته بندها برای هر تصویر یک بردار امتیاز است که برای ترکیب دسته بندها مناسب است. همچنین این دسته بندها تصاویر مربوط به هر کلمه را رتبه بندی می کنند، همبستگی بین کلمات را نادیده نمی گیرند، نسبت به پارامتر k حساسیت کمی دارند و می توان برای کاربردهای دیگر دسته بندی چند برچسبی از آن ها استفاده کرد. در این پایان نامه بر آنیم تا از هر دو نوع ویژگی های محلی و سراسری به منظور بهره بردن از مزایای آن ها استفاده کنیم. بنابراین چندین بردار ویژگی شامل ویژگی های محلی و ویژگی های سراسری از تصاویر استخراج شده است. برای هر بردار ویژگی یک دسته بند استفاده شده و خروجی دسته بندها با هم ترکیب می شوند. همچنین برای حذف ویژگی های اضافی و بهبود کارایی روش، الگوریتم ژنتیک را برای انتخاب ویژگی بکار برده ایم. برای ارزیابی روش، دو مجموعه داده ی شناخته شده corel5k و iapr tc-12 انتخاب شده اند. در ارزیابی عملکرد حاشیه نویسی (معیار f1) روی مجموعه داده corel5k بهبودی نسبت به بهترین روش نداشته ایم و روی مجموعه داده iapr tc-12 ، 5 درصد بهبود حاصل شده است. همچنین از نظر کیفیت رتبه بندی تصاویر (معیار میانگین دقت متوسط) روی مجموعه داده corel5k و iapr tc-12 به ترتیب 9 و 38 درصد بهبود نسبت به بهترین روش حاصل شده است.