خوشه بندی اسناد متنی الکترونیکی بر اساس دانش پس زمینه و وزن دهی ابعاد و مفاهیم

خوشه بندی یا دسته بندی بدون نظارت با سازمان دهی پیکره های بزرگ متنی، نقش کلیدی در پیمایش و مرور آسان انبوهی از متون دارد. نقش این سازمان دهی در موتورهای جستجو برای ارائه خوشه های معنادار مرتبط با پرس و جو، جهت پیشگیری از سردرگمی کاربر در حجم عظیمی از اسناد بازیابی شده بیشتر نمایان می شود. علاوه بر مشکلاتی نظیر تعداد ابعاد بسیار زیاد و تحلیل خوشه ای، متاسفانه دیدگاه متعارف خوشه بندی های افرازی و سلسله مراتبی، به متن، همانند کیسه ای از کلمات است که در نتیجه در مقایسه ها فقط شباهت های ظاهری اسناد مورد توجه قرار می گیرد. در این نوع دیدگاه، کلمات یا تِرم ها کاملا ناهمبسته اند و به روابط کلمات (مثل هم معنایی و شمول) توجهی نمی شود. همچنین تلاشی برای رفع ابهام از کلمات چند معنایی صورت نمی گیرد. عدم توجه به این گونه مسائل غالبا منجر به خوشه بندی با کیفیت پایین و یا غیرمعنایی می شود. در این تحقیق، زبان فارسی با توجه به اهمیت آن به عنوان یکی از زبان های زنده دنیا و رشد روزافزون متون الکترونیکی به زبان نوشتاری فارسی، مورد توجه قرار گرفته است. ایده اصلی یافتن توصیف های مناسب برای دانش پس زمینه و غنی سازی متن فارسی با استفاده از آن جهت افزایش کیفیت خوشه بندی است. برای نیل به این مقصود از منبع دانش خارجی با نام واژ-هستان شناسی فارس نت استفاده شده است. با کمک فارس نت عملیات رفع ابهام از دسته های معنایی کلمه صورت پذیرفته، روابط هم معنایی و شمول مربوط به معنای کلمه رفع ابهام شده، وارد بردار کلمات متن می شود. همچنین برای خوشه بندی متنی بر رهیافت نمایش مبتنی بر اجزاء یا فاکتورگیری نامنفی ماتریس ترم-متن تاکید شده است. نتایج ارزیابی های صورت گرفته بر روی پیکره استاندارد متنی همشهری، نشان از بهبود کیفیت خوشه بندی متون فارسی غنی شده (بخصوص با رابطه شمول) در مقایسه با خوشه بندی خام دارد. همچنین تاثیر این روابط در بهبود کیفیت خوشه بندی و نیز توضیح خوشه ای بر پایه فاکتورگیری نامنفی ماتریس بیشتر از خوشه بندی bisecting kmeans بوده است.