Файл robots.txt необхідний тільки в тому випадку, якщо ваш сайт містить контент, який пошукові системи не повинні індексувати. Якщо пошукові системи повинні індексувати весь сайт, файл robots.txt зайвий (навіть порожній).
Для використання файлу robots.txt, вам потрібно мати доступ до кореневої папки вашого домену. У разі відсутності доступу до кореневої директорії домену, ви можете обмежити доступ за допомогою метатега robots.
Для того, щоб повністю заборонити додавання змісту сторінки в індекс інтернет-Google, навіть якщо на нього ведуть посилання з інших сайтів, використовуйте метатег noindex або заголовок x-robots-tag. При завантаженні такої сторінки метатег noindex дозволить запобігти додавання її в індекс Google. HTTP заголовок x-robots-tag особливо корисний для контролю індексування файлів у форматі, відмінному від HTML, такі як графічні зображення або інші документи.
Створення файлу robots.txt
У найпростішому файлі robots.txt використовуються два правила:
- User-agent. робот, до якого застосовується це правило
- Disallow. URL, який повинен бути заблокований
Ці два рядки являють собою одну запис файлу. Файл може містити будь-яку кількість записів. В одному повідомленні можна вказати кілька рядків Disallow і кілька рядків User-agent.
Кожна секція в файлі robots.txt незалежна і не є продовженням попередніх розділів. наприклад:
В даному прикладі для Googlebot блокує тільки URL відповідно до критеріїв / folder2 /.
Додатки user-agent і роботи
Додаток user-agent - це термін, що позначає робота пошукової системи. База даних сканерів містить імена багатьох популярних роботів. Щоб застосувати запис для конкретного робота, вкажіть його ім'я. Для того, щоб використовувати його для всіх роботів, замість імені введіть зірочку. Запис для всіх роботів виглядає наступним чином:
Google використовує кілька різних роботів (додатки user-agent).
Блокування додатків user-agent
Рядок Disallow містить список сторінок, які повинні бути заблоковані. Можна вказати конкретний URL або шаблон. Запис повинен починатися з косою риси (/).
Тестування файлу robots.txt
Зміни, внесені в цьому інструменті, не зберігаються. Щоб зберегти можливі зміни, ви повинні скопіювати текст і вставити його в файл robots.txt.