معماری های کامپیوترهای موازی، الگوریتم های موازی و برنامه نویسی موازی از ارکان محاسبات موازی می باشند. در این پایان نامه به اختصار در مورد هریک بحث می شود. در ابتدا درباره معماری سیستم های کامپیوتری موازی معاصر و ارزیابی کارایی و مقیاس پذیری سیستم های موازی بحث می شود. همچنین درباره مدل های برنامه نویسی موازی، حافظه اشتراکی، انتقال پیام و بعلاوه درباره ابزارها و محیط برنامه نویسی موازی بحث خواهیم کرد. در ادامه درباره مدل های محاسباتی موازی، اصول و تکنیک ها و روش های طراحی الگوریتم های موازی بحث خواهیم کرد. هرچند با ظهور کامپیوترهای مدرن، سرعت انجام محاسبات بهبود یافته است اما باز هم در حل مسایل با مقیاس بزرگ به لحاظ زمان محاسباتی کمبودهایی وجود دارد. در این راستا محاسبات موازی به عنوان یک جایگزین کم هزینه مطرح می باشند و ماشین های محاسباتی در راستای قابلیت انجام محاسبات موازی پیش می رود. دستگاه های تنک از جمله مسایل محاسباتی با مقیاس بزرگ می باشند که در حل بسیاری از مسایل علوم و مهندسی ظاهر می شود، از طرفی روش های تکراری برای سیستم های خطی بزرگ و اسپارس به عنوان اولین گزینه مطرح می باشند، لذا بدیهی است که این روش ها کاندید اولیه برای پیاده سازی روی معماری های موازی باشند که در این پایان نامه به این موضوع پرداخته می شود. در این راستا در دو بخش پایانی، درباره روش های ذخیره ماتریس های اسپارس در کامپیوتر و همچنین درباره موازی سازی هسته محاسباتی روش های تکراری بحث می شود.