Пошуковий робот

Пошуковий робот – основа будь-якої пошукової системи. Його робота полягає в ретельному аналізі вмісту сторінок представлених в Інтернеті сайтів і відправці результатів аналізу в індекс пошукової системи.

Нові сторінки пошуковий робот деякий час обходить, але в подальшому вони індексуються і при відсутності будь-яких санкцій з боку пошукових систем можуть відображатися в результатах пошуку.

Принцип дії

Пошуковий роботДія пошукових роботів заснована на тому ж принципі, що і робота звичайного браузера. Відвідуючи той чи інший сайт, вони обходять частину його сторінок або всі сторінки без винятку. Отриману інформацію про сайт вони відправляють в пошуковий індекс. Ця інформація з’являється в пошуковій видачі, відповідної тому чи іншому запиту.

Через те, що пошукові роботи можуть відвідувати тільки частину сторінок, з індексацією великих сайтів можуть виникати проблеми. Такі ж точно проблеми можуть виникати через низьку якість хостингу.

Перебої в його роботі роблять частину сторінок недоступними для аналізу. Важливу роль в оцінці сайту пошуковими роботами грає правильно складена карта сайту і грамотно налаштований файл robots.txt.

Глибина сканування ресурсу і періодичність обходу сайтів пошуковими роботами залежить від:

  • Алгоритмів роботи пошукових систем.
  • Частоти оновлення сайтів.
  • Структури сайтів.

Саме тому SEO оптимізація сайтів під Яндекс повинна обов’язково включати в себе ретельний підбір хостингу.

Дії пошукового робота чимось нагадують дії людини в браузері: він переходить за посиланнями, розміщеними на сайтах. Якщо ж посилань на новий сайт на інших ресурсах немає, він не буде помічений роботом і не буде індексований.

Для додавання нових сайтів пошукові системи пропонують спеціальні інструменти. В Яндексі це Яндекс.Вебмайстер.

Пошуковий індекс

Пошуковий роботБаза даних з інформацією, яку збирають пошукові роботи, називається пошуковим індексом. Ця база використовується пошуковими системами для формування результатів видачі по конкретних запитах.

В індекс заноситься не тільки інформація про сайти: пошукові роботи здатні розпізнавати зображення, мультимедіа файли і документи в різних електронних форматах (.docx, .pdf і ін).

Один з найактивніших пошукових роботів системи Яндекс – швидкоробот. Він постійно сканує новинні ресурси і інші часто оновлювані сайти. Просування новинного сайту, який не помічений швидкороботом, не має сенсу.

Залучити його можна за допомогою спеціальних інструментів, причому дієві вони для сайтів самого різного призначення. Для перевірки сайтів на доступність, для аналізу окремих їх характеристик, для індексації картинок і документів в пошукових системах є окремі роботи.