استفاده از یادگیری تقویتی برای تشکیل ائتلاف های پویا در شبکه های حسگر نیمه مشارکتی

امروزه شبکه های حسگر در بسیاری از پروژه های نظامی و امنیتی کاربرد دارند. گرچه هنوز بسیاری از این شبکه ها از کنترل کننده های مرکزی و معماری ترکیب مرکزی استفاده می کنند، علاقه مندی فزاینده ای از دهه ی گذشته برای کاهش نقش عامل مرکزی به دلیل محدودیت های اعمال شده ی آن در میان محققین پدید آمده است. برخی از این محدودیت ها عبارتند از: نیاز به پهنای باند ارتباطی زیاد، ترافیک بالای پیام ها در یک نقطه از شبکه، از کار افتادگی کل سیستم و از دست دادن کلیه ی دانش از موقعیت سیستم به دلیل نقص در عامل مرکزی و ... . به علاوه، امروزه فناوری پردازشی حسگرها بسیار پیشرفته شده و قیمت آن ها کاهش یافته است و همین امر متخصصین را بر آن داشته است که به تک حسگرها وظایفی بیش از تنها جمع آوری و ارسال داده های خام بدهند. در یکی از این پروژه ها برای تخصیص پهنای باند ارتباطی محدود در یک شبکه ی حسگر، مکانیسمی بر مبنای vcg ارائه شد که سازگار با انگیزه، کارا و از لحاظ فردی منطقی بود. مهمترین نقطه ضعف این پروژه وجود یک عامل مرکزی بود که فرآیند تخصیص به دست وی صورت می گرفت و نویسندگان در بخش پژوهش های آتی، یک جهت کاری را توزیع کردن نقش این عامل مرکزی عنوان کردند. در کار ما فرض بر این است که حسگرها مالکین مختلفی دارند و به همین دلیل احتمالاً اهداف متفاوتی هم دارند. محیط به صورت یک بازی احتمالاتی مدل شده است و به منظور تشویق عامل ها به همکاری با یکدیگر به آن ها یک ابزار داده شده است. این ابزار یادگیری تقویتی (rl) و نیز تابعی از آن به نام فاکتور اعتماد است. برای توزیع کردن نقش عامل مرکزی به عامل ها فرصت داده شد تا با مذاکره بهترین ائتلاف ممکن را برای پیوستن بیابند. پروتکل حاکم بر مذاکره، «پروتکل امتیازدهی یکنوا» است که پارامترهای آن بر اساس خروجی rl تعیین می گردد، بنابراین عامل ها یک مذاکره ی آگاهانه خواهند داشت. این بدین معناست که آن ها در مذاکره از تاکتیک های متفاوتی استفاده می کنند و پارامترهای هر تاکتیک را بر اساس شایستگی حریف (که از طریق rl یاد گرفته می شود) تعیین می کنند. در این پایان نامه، همچنین به کمک خروجی rl، یک مفهوم اعتماد تعریف شده که به کمک آن خود عامل (و نه یک عامل مرکزی) قادر است با دقت بالایی عامل های خودخواه را در سیستم شناسایی کرده و نسبت به حذف آن ها از فضای جستجویش اقدام کند. این روش هم سرعت اجرای هر گام rl را بالا می برد و هم از اتلاف منابع (cpu، انرژی، رادار و پهنای باند) عامل جلوگیری می کند.