در این پایان نامه با بیان مقدماتی در مورد فیزیک پلاسما، ناپایداری مدولاسیون و پلاسمای کوانتومی به بررسی ناپایداری مدولاسیون امواج الکترون- سیکلوترون الکترومغناطیسی در یک پلاسمای مغناطیده چگال پرداختیم. هم چنین اثرات کوانتومی و برخوردی را در این ناپایداری ها بررسی کرده وتحلیل نمودیم. به این نتیجه رسیدیم که اثرات کوانتومی در طول موج های کوتاه تأثیرات قابل توجهی بر ناپایداری دارند و محدوده طول موج های موثر در ناپایداری را کاهش می دهد. از طرفی وارد کردن اثرات برخوردی آهنگ رشد ناپایداری را افزایش می دهد. هم چنین محدوده ی طول موج های مجاز برای ناپایداری را هم افزایش می دهد.