Пошуковий робот або веб-павук використовується як певне програмне забезпечення для сортування різних інтернет-ресурсів , всієї їх інформації та занесення в базу даних.
Різновиди подібних ботів:
- Технічний робот. Певна програма відстежує роботу якого-небудь ресурсу, шукає скрипти і впізнає їх мети.
- Графічний бот. Це краулер, який збирає по мережі будь-які популярні на даний момент фотографії, зображення, відеоролики.
- Швидкий веб-павук. Дана програма займається додаванням в індекс нової, більш актуальної інформації в мережі і вносить її в загальну базу.
- Індексуючий робот. Таке ПО займається пошуком інформації для формування пошукової бази. Подібні боти також перевіряють веб-сторінки на релевантність, унікальність і т. ін.
У чому полягає робота пошукових роботів?
Виконувана робота пошуковими роботами дуже схожа з діями всім відомих браузерів: аналіз інформації, зберігання різних даних у правильному форматі.
Вони виконують такі дії:
- Сканування не тільки актуальних і популярних серверів, але і також малопопулярні.
- Виконання запиту на активацію.
- Відбір сторінок і формування подачі та надання її користувачеві.
За таким принципом працюють переважно всі краулери, але у кожного з них є своя особлива специфіка в роботі.
Дзеркальник
Даний робот займається склеюванням дзеркал сайтів. Дзеркала сайтів найчастіше створюються з метою збереження копій даного сайту, рівномірного розподілу навантаження популярних сторінок та інші. Коли дзеркальник знаходить сайти з однаковою інформацією, то він вибирає тільки один у якості головного дзеркала.
Швидкоробот мережі Яндекс
ШБ (швидкоробот) є ботом популярної мережі Яндекс, який визначає різні портали, блоги і т. ін.
Індексація полягає в зберіганні в базі. Коли розміщується нова стаття на сайті, ШБ заходить і відразу ж заносить її в тимчасову базу. Контент з’являється в мережі вже протягом 2-ох годин.
Для того щоб залучити швидкоробота використовують лише декілька прийомів – часте додавання свіжої інформації на сайт або створення RSS стрічки, яка сповіщає про те, що сайт активний і його регулярно оновлюють.