با توجه به رشد روز افزون داده های پیرامون بشر، به کارگیری ابزارهایی برای تحلیل این داده‏ها و دستیابی به دانش نهفته‏ی درون آنها الزامی است. به این دلیل که بشر دیدگاه ذاتی و بصری غیر قابل درکی درباره مسائل با ابعاد بالا و یا سایزهای بزرگ پایگاه داده دارد، اخیراَ داده‎کاوی از اهمیت بالایی برخوردار شده است. طبقه‎بندی یکی از ابزارهای مهم در داده‎کاوی برای استخراج دانش از داده‎هاست. استنتاج بالا - پایین درخت های تصمیم عمومی ترین تکنیک برای طبقه بندی داده ها در زمینه داده‎کاوی و اکتشاف دانش می باشد. درخت های تصمیم محدودیت هایی دارند که از جمله آنها می توان به حساس بودن به نویز، داده محور بودن ، پیچیدگی محاسبات در ویژگی های پیوسته برای تعیین ویژگی جداساز در هر گره تصمیم، عدم دقت کافی در تعیین آستانه جداساز در هر گره تصمیم، عمق و سایز زیاد درخت تصمیم اشاره کرد. یکی دیگر از روش‏های طبقه‏بندی داده‏ها ماشین‎های بردار پشتیبان هستند که از محبوبیت و قدرت بسیار بالایی در سیستم های یادگیری برخوردار هستند. ارائه خواص تعمیم پذیری خوب، توانایی در طبقه بندی الگوهای و یافتن ابر صفحه جدا کننده بهینه بین دو کلاس در فضای ورودی و دارا نبودن محدودیت های درخت تصمیم از ویژگی های svm است. هدف اصلی این پایان نامه، توسعه درخت تصمیم مبتنی بر تابع هزینه ماشین بردار پشتیبان است. در این تحقیق دو درخت تصمیم مرتبه اول و ارتقاء یکی از آنها به درخت تصمیم مرتبه دوم ارائه شده است. این درختان در هر گره تصمیم برای انتخاب بهترین ویژگی/های جداساز از مفهوم همبستگی یا حداکثر کردن حاشیه بین کلاسی استفاده می کنند و همچنین برای محاسبه آستانه جداساز از ماشین بردار پشتیبان بهره می برند. با این انتخاب ها، محدویت های ذکر شده درخت تصمیم برطرف می گردد و ویژگی های جدیدی همچون عامل انشعاب متغیر در هر گره، ایجاد نواحی عدم تصمیم گیری و کاهش حساسیت به نویز در درخت تصمیم بوجود می آید. در این پایان نامه موضوع چگونه حل کردن مسائل طبقه بندی چند کلاسه مورد توجه قرار گرفته است.