robots.txt - це текстовий файл, який використовується для того, щоб заборонити роботам (зокрема роботам пошукових систем) індексацію і «обхід» певних частин вашого сайту. Без цього файлу боти зможуть вільно гуляти по вашому сайту, що не дуже то й добре.
За замовчуванням WordPress не створює файл robots.txt, тому його необхідно створити самостійно і налаштувати теж самому.
Загальний сенс заборони доступу до певних частин вашого сайту в тому, щоб сфокусувати увагу роботів на важливому контенті.
Що станеться, якщо у вас не буде файлу robots.txt?
Якщо коротко, буде індексуватися все підряд.
Для WordPress це означає наступне:
Як ви вже, напевно, здогадалися, нічого з перерахованого вище не є релевантним контентом для SEO і може навіть нашкодити вашому сайту. Google дозволяє лише певну кількість «засланого сміття», тому має сенс сконцентрувати зусилля на контенті і сторінках.
Як можна контролювати індексацію свого сайту?
Рішення дуже просте.
Скопіюйте та вставте в нього наступне:
Збережіть файл. Якщо ж ви створили його поза сервера, то просто завантажте в кореневу директорію сайту. Це та ж директорія, де розташовані папки wp-admin, wp-includes і wp-content.
От і все. Тепер ви помітите, що деякі посилання сайту стануть випадати з пошуку протягом декількох днів або навіть тижнів.
Якщо ви захочете додати інші файли, просто додайте правило на зразок цього:
Зверніть увагу, що ми пропускаємо домен сайту, а додаємо шлях до папки починаючи з прямого слеша (/).