کاربردهای علمی اغلب نیاز به حل یک یا چند سیستم خطی دارند. هنگامی که ماتریس ضرایب دستگاه خطی مورد نظر ax=b یک ماتریس تنک باشد، استفاده از روش های تکراری نسبت به روش های مستقیم ارجحیت دارد. در این گونه از ماتریس ها تعداد عناصر ناصفر و نحوه پراکندگی آنها تاثیر بسزایی در کارایی روش مورد استفاده دارد. این کارایی می تواند خود را در دقت جواب بدست آمده، زمان اجرا یا تعداد تکرار مورد نیاز نشان دهد.از بین روش های تکراری، روش gmres که توسط سعد و شولتز در سال 1986 معرفی گردید، برای ماتریس های غیر متقارن عمومی، مورد توجه قرار دارد. این روش، همگرایی سریعی دارد و نسبت به روش های تکراری دیگر مانند گرادیان مزدوج از پایداری بیشتری برخوردار می باشد. علاوه بر این، روش gmres اغلب بر پایه عمل های پایه ای جبر، مانند ضرب ماتریس-بردار، ضرب نقطه ای، محاسبه نرم و غیره پیاده سازی می گردد. همین خواص باعث گردیده است تا این روش بتواند به راحتی بصورت موازی پیاده سازی گردد. در این پایان نامه به معرفی روش gmres و در ادامه به بررسی انواع معماری های پردازش موازی می پردازیم و سپس به پیاده سازی gmres بر روی gpu بعنوان یک پردازنده موازی و cpu بعنوان یک پردازنده سری و مقایسه توانایی این دو سخت افزار در حل معادلات خطی، می پردازیم.