Пошуковий робот або веб-павук використовується як певне програмне забезпечення для сортування різних інтернет-ресурсів , всієї їх інформації та занесення в базу даних.

Різновиди подібних ботів:

  • Технічний робот. Певна програма відстежує роботу якого-небудь ресурсу, шукає скрипти і впізнає їх мети.
  • Графічний бот. Це краулер, який збирає по мережі будь-які популярні на даний момент фотографії, зображення, відеоролики.
  • Швидкий веб-павук. Дана програма займається додаванням в індекс нової, більш актуальної інформації в мережі і вносить її в загальну базу.
  • Індексуючий робот. Таке ПО займається пошуком інформації для формування пошукової бази. Подібні боти також перевіряють веб-сторінки на релевантність, унікальність і т. ін.

У чому полягає робота пошукових роботів?

Виконувана робота пошуковими роботами дуже схожа з діями всім відомих браузерів: аналіз інформації, зберігання різних даних у правильному форматі.

Вони виконують такі дії:

  • Сканування не тільки актуальних і популярних серверів, але і також малопопулярні.
  • Виконання запиту на активацію.
  • Відбір сторінок і формування подачі та надання її користувачеві.

За таким принципом працюють переважно всі краулери, але у кожного з них є своя особлива специфіка в роботі.

Дзеркальник

Даний робот займається склеюванням дзеркал сайтів. Дзеркала сайтів найчастіше створюються з метою збереження копій даного сайту, рівномірного розподілу навантаження популярних сторінок та інші. Коли дзеркальник знаходить сайти з однаковою інформацією, то він вибирає тільки один у якості головного дзеркала.

Швидкоробот мережі Яндекс

ШБ (швидкоробот) є ботом популярної мережі Яндекс, який визначає різні портали, блоги і т. ін.

Індексація полягає в зберіганні в базі. Коли розміщується нова стаття на сайті, ШБ заходить і відразу ж заносить її в тимчасову базу. Контент з’являється в мережі вже протягом 2-ох годин.

Для того щоб залучити швидкоробота використовують лише декілька прийомів – часте додавання свіжої інформації на сайт або створення RSS стрічки, яка сповіщає про те, що сайт активний і його регулярно оновлюють.