بهبود سیستم تشخیص کاربران بدرفتار وب از طریق کاوش در logهای وب سرور

ربات های وب به عنوان کاربران وب سایت ها و سرویس دهنده های وب سرتاسر شبکه ی جهانی وب را جهت اهداف گوناگونی پیمایش می کنند. این کاربران غیر از عملیات مفید مانند اندیس گذاری و راحت تر کردن عملیات جستجو، می توانند آزاردهنده و تهدیدکننده نیز باشند. تهدیداتی مانند جعل کلیک، استخراج آدرس های پست الکترونیک از وب سایت جهت ارسال نامه های هرز و حملات توزیع شده ی محروم سازی از سرویس، نمونه های شناخته شده ی فعالیت های مخرب از این کاربران وب سایت ها به عنوان ربات¬های بدرفتار می¬باشد که اخیراً مشاهده شده است. جهت ارزیابی تاثیر الگوریتم¬های مختلف در تشخیص نشست¬های ربات¬¬های بدرفتار با سرویس¬دهنده¬ی وب در این پژوهش یک فرآیند یادگیری با ناظر پیشنهاد شده¬است. در این فرآیند یادگیری پس از اعمال یک مکانیزم برچسب گذاری نوین بر اساس ip، مجموعه ی نشست¬های استخراجی از فایل لاگ سرویس-دهنده¬ی وب را به 3 دسته ی نشست های اعتبارسنجی، نشست های آموزش و نشست های آزمون تقسیم می¬کنیم. پس از استخراج هوشمند ویژگی های مناسب، رفتار کاربران را بر اساس نشست-هایشان که نمایانگر چگونگی پیمایش آنها در وب¬سایت است مدل سازی می¬کنیم. مدل آموزش دیده شده با مجموعه داده¬ی آموزشی را با مجموعه داده ی آزمون از طریق یک استراتژی 2 مرحله ای آبشاری به عنوان الگویی جدید از دسته بندی، آزمایش می کنیم. بر اساس این استراتژی، نشست آزمون می تواند مورد پذیرش یا عدم پذیرش واقع شود. موارد پذیرش شده را با معیارهایی مانند دقت، یادآوری و f score ارزیابی می کنیم. تصمیم گیری در رابطه با مواردی که رد شده اند بر عهده ی مدیر سرویس دهنده یا وب سایت است.