Вітаю всіх читачів блогу seversantana.ru. Як правильно скласти robots.txt, для чого він потрібен, і що це таке? Давайте спробуємо прояснити ситуацію.
robots.txt - текстовий файл складається для роботів пошукових систем. У ньому задаються параметри індексування сайту. Ці параметри можна прописати як для всіх роботів відразу, так і для кожної пошукової системи окремо.
Пошукові роботи ( «веб-павуки») це спеціальні програми є складовою частиною пошукової системи призначені для сканування веб-сторінок і занесення інформації про ці сторінки в базу даних пошукової системи. Далі, пошуковик згідно нікому не відомим алгоритмам визначає значимість отриманої інформації, і заносить її (або ні) в свій індекс визначаючи ранжування.
Крім усіляких «веб-павуків» по інтернету ще гуляють і роботи- «дятли», періодично «простукуючи» індексовані сайти, перевіряючи їх на доступність. Ось для всього цього «звірини» і призначений текстовий файл robots.txt.
Призначення robots.txt вказати пошуковим роботам яких сторінок починають перегляд і дані потрібно індексувати, а які ні. Робиться це за допомогою складання директив (вказівок). Робота пошукових роботів зайшли на сайт починається з закачування robots.txt.
Як поводяться пошукові роботи при відсутності robots.txt? При його відсутності або неправильному розташуванні, коли робот просто не може його знайти, він сканує весь сайт без обмежень.
Крім robots.txt заборона на індексацію можна здійснювати за допомогою парольного захисту файлів на сервері або використовуючи метатеги з директивами по індексуванню.
Погано це чи добре? Ну і, нехай сканує та індексує всі підряд. Яка різниця є robots.txt чи ні? Почнемо з того, що скласти директиви для robots.txt і створити його навіть вперше в житті, не таке вже трудомістка справа. Навіщо віддавати на індексацію службові файли або добровільно створювати внутрішні дублі?
Складання директив в robots.txt для пошукових роботів не є повним керівництвом до дії. Це всього лише рекомендації. Все залежить від того, який робот зайшов на сайт і як налаштовані його пошукові алгоритми. Деякі роботи будуть впритул не бачити наші заборони. І навіть «прочитавши» директиву на повну заборону індексації сайту не сядуть на дупу, як робот на зображенні, прикріпленою до моєї статті. А просто візьмуть і проїндексируют те, що їм треба.
Але так як нас цікавить в основному видача в Гугл і Яндексі для цих пошукових систем в першу чергу і призначений наш robots.txt.Как я говорив вище robots.txt можна створити універсальний для всіх пошукових систем, а можна прописати окремі директиви (вказівки) спеціально для певних роботів.
Створення та складання robots.txt
Відкриється наступне вікно в якому треба вибрати місце на комп'ютері де ми хочемо зберегти файл. Наприклад, на робочому столі. І прописуємо в рядку «Файл» - robots.txt. І тиснемо на «Зберегти». Все, файл robots.txt створений. Правда, поки без змісту. Тепер займемося складанням директив для пошукових роботів.
Використовувані директиви при складанні robots.txt
Як приклад складемо найпростіший у світі robots.txt в двох варіантах. З повною забороною на індексацію всього сайту, і з роздільною директивою індексації за все підряд.
Повна заборона на індексацію всього сайту