Роботи пошукової системи
Роботи пошукової системи, іноді їх називають «павуки» або «кроулери» (crawler) - це програмні модулі, що займаються пошуком web-сторінок. Як вони працюють? Що ж вони роблять насправді? Чому вони важливі?
Як працюють роботи пошукової машини?
Пошукові роботи варто сприймати, як програми автоматизованого одержання даних, які подорожують по мережі в пошуках інформації і посилань на інформацію.
Прийшовши на ваш сайт, роботи спочатку перевіряють, чи є файл robots.txt. Цей файл повідомляє роботам, які розділи вашого сайту не підлягають індексації. Зазвичай це можуть бути директорії, що містять файли, якими робот не цікавиться або йому не слід було б знати.
"Дотепно" щодо індексування сторінок в реальному режимі часу залежить від інженерів пошукових машин, які винайшли методи, використовувані для оцінки інформації, одержуваної роботами розвідувача. Будучи впроваджена в базу даних пошукової машини, інформація доступна користувачам, які здійснюють пошук. Коли користувач пошукової машини вводить пошуковий запит, проводиться ряд швидких обчислень для впевненості в тому, що видається дійсно правильний набір сайтів для найбільш релевантного відповіді.
Крім ідентифікації унікальних пошукових роботів і підрахунку кількості їхніх візитів, статистика також може показати вам агресивних, поглинаючих ширину катала пропущення роботів або роботів, небажаних для відвідування вашого сайту.
Як вони Новомосковскют сторінки вашого web-сайту?
Після цього, інформація, доставлена в індексні бази даних пошукової системи, стає частиною розвідувача і процесу ранжирування в базі. Коли відвідувач существляется запит, пошуковик переглядає всю базу даних для видачі кінцевого списку, релевантного пошуковому запиту.
Бази даних пошукових систем піддаються ретельній обробці і приведення у відповідність. Якщо ви вже потрапили в базу даних, роботи будуть відвідувати вас періодично для збору будь-яких змін на сторінках і впевненості в тому, що володіють самої останньої інформацією. Кількість відвідувань залежить від установок пошукової машини, які можуть варіюватися від її виду та призначення.
Іноді пошукові роботи не в змозі проіндексувати web-сайт. Якщо ваш сайт упав або на сайт іде велику кількість відвідувачів, робот може бути безсилля в спробах його індексації. Коли таке відбувається, сайт не може бути переіндексувати, що залежить від частоти його відвідування роботом. У більшості випадків, роботи, які не змогли досягти ваших сторінок, спробують пізніше, в надії на те, що ваш сайт найближчим часом буде доступний.
Багато пошукові роботи не можуть бути ідентифіковані, коли ви переглядаєте логи. Вони можуть відвідувати вас, але логи стверджують, що хтось використовує Microsoft броузер і т.д. Деякі роботи ідентифікують себе використанням імені пошукача (googlebot) або його клону (Scooter = AltaVista).
Залежно від того, як робот настроєний, інформація індексується, а потім доставляється в бази даних пошукової машини.
З цієї причини, читання лог-файлів і стеження за видачею пошукової системи допомагає вам спостерігати за індексацією ваших проектів.