در طی دو- سه دهه ی اخیر صنعت برق در سرتاسر جهان، گذار از ساختارهای یک پارچه ی عمودی را به سمت بازارهای آزاد رقابتی آغاز کرده است. با وجود حرکت به سمت فضای رقابتی، متأسفانه این گذار به صورت کامل صورت نگرفته است، و بازارهایی با رقابت ناکامل ایجاد شده اند. در بازاری با رقابت ناکامل، تولید کننده گان درمی یابند که اگر قیمتی بالاتر از هزینه ی حدی شان پیشنهاد دهند ممکن است سود بیشتری به دست آورند. بنابراین نیاز به ابزارهای مناسب برای قیمت دهی بیش از پیش احساس می شود. ویژگی هایی نظیر اطلاعات نامتقارن، رقابت ناکامل، تعامل استراتژیک، یادگیری تجمعی، و امکان تعادل چندگانه سبب پیچیده شدن بازار برق شده و استفاده از روش های سنتی را برای مدل سازی بازار برق با مشکل مواجه کرده است. اقتصاد محاسباتی مبتنی بر عامل یکی از روش های قدرتمند و جذابی است که به خوبی می تواند با این پیچیده گی ها مواجه شود. در میان روش های مدل سازی مبتنی بر عامل، یادگیری تقویتی به دلیل ذات عامل محور بودن خود برای مدل سازی مبتنی بر عامل سیستم های پیچیده از جمله بازار برق بسیار توانمند می باشد؛ و در بین الگوریتم های یادگیری تقویتی، الگوریتم یادگیری-q از آن جا که برای تصمیم گیری به مدل سیستم نیاز ندارد، برای مدل سازی رفتار بازیگران بازار بسیار مناسب است. اما این الگوریتم همواره خود را در برابر چالشی بزرگ می بیند، و آن چالش دوراهی بین کاوش و بهره برداری می باشد. بازار برق به دلیل ذات چندعامله بودن خود از دید عامل یادگیری تقویتی محیطی ناایستا می باشد. در یک محیط ناایستا نیاز به کاوش همواره وجود دارد. اما گاهی اتفاقاتی در بازار رخ می دهد که بر روی میزان ناایستایی بازار از دید برخی از عامل ها و درنتیجه بر میزان کاوش اشان تأثیر می گذارد و آن اتفاقی ا ست که منجر می شود عاملی از قدرت بازار قابل توجهی برخوردار شود. در این پایان نامه رویکردی پیشنهاد می دهیم که نرخ کاوش الگوریتم یادگیری-q را هم زمان با تغییرات میزان ناایستا بودن محیط به علت تغییرات قدرت بازار تنظیم می کند. روش پیشنهادی در یک بازار برق حوضچه ی توان شبیه سازی شده است و عملکرد آن را با روش های یادگیری-q با نرخ کاوش ثابت، یادگیری-q با نرخ کاوش کاهشی، و با یادگیری-q فازی مقایسه کرده ایم. نتایج شبیه سازی نشان می دهند که روش پیشنهادی نسبت به دیگر روش های نامبرده، به سودآوری بیشتری منجر می شود.