Твитнуть в Twitter
Роботи пошукових систем при вході на сайт насамперед звертаються до файлу robots.txt, щоб отримати інструкції до подальшого дії і дізнатися, які файли і директорії заборонені до індексування. Тому веб-майстру вкрай необхідно знати, як правильно написати цей файл, так як помилки в ньому можуть призвести до дуже плачевних наслідків. Ще раз повторимося і уточнимо, що файл robots.txt нічого не дозволяє до індексації, а тільки забороняє. І ще один нюанс. Він не є стовідсотковим вказівкою для пошукових роботів. Швидше можна сказати, що він є рекомендаційним документом.
Файл robots.txt - звичайний файл з розширенням txt, який створюють за допомогою Блокнота і мають у своєму розпорядженні в кореневій директорії конкретного сайту і який містить інструкції по індексації для пошукових роботів. Інструкції можуть бути, як і загальні, так і для конкретних роботів окремі.
Основні правила при створенні і завантаженні файлу robots.txt:
- не плутати назву, тобто називати файл robots.txt, а не robot.txt і так далі.
- писати назву файлу robots.txt обов'язково в нижньому регістрі, тобто robots.txt, а не Robots.txt і ROBOTS.TXT і так далі.
- розміщувати файл robots.txt саме в кореневій директорії сайту, а не в якомусь іншому місці.
User-agent: *
Disallow: / adminka /
Disallow: / image /
Перший рядок «User-agent: *». Зірочка в інструкції User-agent позначає, що дана інструкція відноситься до всіх пошукових роботів. Якщо інструкція призначена для конкретного пошукового робота, то необхідно прописати його ім'я.
Друга і третя рядок забороняють індексацію директорій adminka і image. Зверніть увагу, що кожна заборонена до індексації директорія прописана в окремому рядку. Поєднання їх в одному рядку є грубою помилкою. Також не можна переносити рядка в межах однієї інструкції.
User-agent: Yandex
Disallow: / adminka /
Host: www.site.ru
А тепер наведу конкретні приклади написання файлу robots.txt для різних завдань.
1. Заборонити весь сайт до індексації всіма пошуковими роботами.
2. Не забороняти весь сайт до індексації всіма пошуковими роботами.
3. Заборонити весь сайт до індексації одним пошуковим роботом (наприклад, SeoBot).
User-agent: SeoBot
Disallow: /
4. Не забороняти весь сайт до індексації одному роботу (наприклад, SeoBot) і заборонити до індексації всім іншим пошуковим роботам.
User-agent: SeoBot
Disallow:
5. Заборонити кілька директорій до індексації всіма пошуковими роботами.
User-agent: *
Disallow: / directoria-1 /
Disallow: / directoria-1 /
Disallow: / hidedirectoria /
6. Заборонити кілька файлів до індексації всіма пошуковими роботами.
User-agent: *
Disallow: /hide.php
Disallow: /secret.html
Які ж помилки слід не допускати в написанні вмісту файлу robots.txt?
Ось основні правила написання вмісту файлу robots.txt: