Статей на цю тему в мережі безліч. Практично в кожній з цих статей можна знайти свій варіант файлу robots txt, який можна взяти і використовувати практично без правок на своєму сайті WordPress. Я не буду в черговий раз переписувати в даній статті один з таких варіантів, оскільки особливого сенсу в цьому немає - всі ці варіанти ви без зусиль зможете знайти в мережі. У цій же статті ми просто розберемо, як як створити robots txt для WordPress і який мінімум правил там повинен бути.
Хочете швидко навчитися створювати сайти і блоги на WordPress з унікальним дизайном?
Отримайте найповнішу в Рунеті безкоштовну систему навчання створення сайтів на WordPress
Хоча можете побачити і ось таку картину:
Вся справа в простій налаштування - це настройка ЧПУ. Якщо на вашому сайті включені ЧПУ, тоді ви побачите динамічно згенерований движком robots.txt. В іншому випадку буде повернуто помилку 404.
Включимо ЧПУ в меню Налаштування - Постійні посилання, зазначивши настройку Назва записи. Збережемо зміни - тепер файл robots.txt буде динамічно генеруватися движком.
Загалом, пошукачам цей файл, звичайно, без потреби, навіть і не уявляю, з яких міркувань WordPress прописав це правило. Ну да мені і не шкода, в принципі
До слова, я спеціально додавав вище фразу «в моєму випадку«, оскільки в вашому випадку вміст robots.txt вже може відрізнятися. Наприклад, може бути заборонена до індексування папка wp-includes.
Крім директив Disallow і Allow в robots.txt ми бачимо директиву User-agent, для якої в якості значення вказана зірочка. Зірочка означає, що йде далі набір правил відноситься до всіх пошукачам. Також можна замість зірочки вказувати назви конкретних пошукових систем. Файл robots.txt підтримує і інші директиви. Я на них зупинятися не буду, все їх з прикладами можна подивитися в консолі для веб-майстрів Гугла або Яндекса. Також можете прочитати інформацію на даному сайті.
Як створити robots txt для WordPress
Отже, файл для пошукових роботів у нас є, але цілком імовірно, що він вас не влаштує в поточному вигляді. Як же скласти свій файл. Тут є кілька варіантів. Почнемо з першого - ручне створення файлу. Створіть звичайний текстовий документ в блокноті і збережіть його під ім'ям robots з розширенням txt. У цьому файлі запишіть необхідний набір правил і просто збережіть його в корінь вашого сайту WordPress, поруч з файлом конфігурації wp-config.php.
Про всяк випадок перевірте, що файл завантажився і доступний, звернувшись до нього з браузера. Це був перший спосіб. Другий спосіб - це все та ж динамічна генерація файлу, тільки тепер це зробить плагін. Якщо ви використовуєте популярний плагін All in One SEO, тоді можна скористатися одним з його модулів.
Спочатку цей модуль потрібно включити. Йдемо в меню All in One SEO - Управління модулями і активуємо модуль Robots.txt.
Після цього в меню плагіна з'явиться новий пункт - Robots.txt. Перейдемо туди і побачимо вже пропонований набір правил, який можна зберегти.
Давайте збережемо і перевіримо зміни, звернувшись на сайті WordPress до robots.txt.
Як бачимо, все працює. Тепер ви можете написати robots txt для WordPress на свій смак і так, як вам потрібно. Ну а в мене на цьому все. Успіхів!
Хочете швидко навчитися створювати сайти і блоги на WordPress з унікальним дизайном?
Отримайте найповнішу в Рунеті безкоштовну систему навчання створення сайтів на WordPress
Найсвіжіші новини IT і веб-розробки на нашому Telegram-каналі
Олена, тут питання не в тому, що подобається або не подобається пошуковому роботу, їм дай волю - вони все проїндексируют. Тут питання в тому, що Ви хочете заборонити їм індексувати. А про це я сказав на початку статті:
Статей на цю тему в мережі безліч. Практично в кожній з цих статей можна знайти свій варіант файлу robots txt, який можна взяти і використовувати практично без правок на своєму сайті WordPress. Я не буду в черговий раз переписувати в даній статті один з таких варіантів, оскільки особливого сенсу в цьому немає - всі ці варіанти ви без зусиль зможете знайти в мережі. У цій же статті ми просто розберемо, як як створити robots txt для WordPress і який мінімум правил там повинен бути.
Наприклад, ось перший же варіант, який мені запропонував Гугл за запитом wordpress robots.txt - pro-wordpress.ru/chast-2-raskrutka-bloga/pravilnyj-robots-txt-dlya-wordpress.php
Посилання на варіант того, що можна закрити, я дав вище. Також мінімальний варіант показав і в статті. Я б використовував як раз варіант зі статті, вважаю, що його цілком достатньо.
Добрий день. У мене вже був сформований движком. І я знав, що він є, знаходив його. Зібрався, за порадою Вебмастера, вставити директиву Host. Думав дурниця. Але не тут-то було. Єдине нормальне пояснення знайшов у Вас. Причому вже відразу і з відповідями на додаткові питання. Сайт тепер в закладках. Велике спасибі.