Що таке пошуковий робот. Пошуковий Павук
Пошуковий робот ( «веб-павук», краулер) - програма, що є складовою частиною пошукової системи і призначена для обходу сторінок Інтернету з метою занесення інформації про них в базу даних пошукової системи. За принципом дії павук нагадує звичайний браузер.
Власники пошукових машин нерідко обмежують глибину проникнення павука всередину сайту і максимальний розмір сканованого тексту, тому надто великі сайти можуть виявитися не повністю проіндексованими пошуковою машиною. Крім звичайних павуків, існують так звані «дятли» - роботи, які «простукують» проіндексований сайт, щоб визначити, що він доступний.
Порядок обходу сторінок, частота візитів, захист від зациклення, а також критерії виділення значущої інформації визначаються пошуковими алгоритмами.
Також багато пошукові системи надають користувачеві можливість самостійно додати сайт в чергу для індексування. Зазвичай це істотно прискорює індексування сайту, а у випадках, коли ніякі зовнішні посилання не ведуть на сайт, взагалі виявляється єдиною можливістю вказати на його існування.
Обмежити індексацію сайту можна за допомогою файлу robots.txt, проте деякі недобросовісні боти можуть ігнорувати наявність цього файлу. Повний захист від індексації може бути забезпечена іншими механізмами, наприклад установкою пароля на сторінці або вимогою заповнити реєстраційну форму перед тим, як отримати доступ до вмісту.