موتورهای جستجوی مبتنی بر ربات ، یکی از انواع سرویسهای جستجوی موجود در وب هستند. این ابزارها ، کاربران بسیاری بر روی وب دارند و در راهنمایی کاربران برای دستیابی به مستندات مورد نظرشان نقش بسیار مهمی ایفا می نمایند. سیرتکاملی این ابزارها در جهت بالاتر بردن کیفیت نتایج برگردانده شده از انها می باشد. به علت وجود تعداد زیاد مستندات موجود در وب ، تعداد ورودی های لیست نتایج برگردانده شده از ااین ابزارها بسیار زیاد و کنترل همه آنها از حوصله کاربران خارج است. به همین علت ، ترتیب لیست مستندات برگردانده شده از اهمیت ویژه ای برخوردار است.روال مشخص و قطعی برای تعیین ارزش مستندات وجود ندارد. به طور کلی بر روی وب ، دو منبع برای ارزش دهی مستندات وجود دارد ،که یکی محتوای خود مستند و دیگری ساختار اتصال مستندات بر روی وب می باشد.