Як правильно створити файл robots.txt для CMS Joomla
robots.txt - текстовий файл, розташований в корені сайту, що містить спеціальні інструкції для пошукових роботів, служить для заборони від індексації дублів сторінок, адмінки, сторінок реєстрації пользователлей, посилань на друк і т.п.
Створення файлу robots.txt
Відкриваємо створений файл і вписуємо в нього інструкції:
Зберігаємося і завантажуємо файл в кореневий каталог сайту.
Опис параметрів файлу robots.txt
Дозволяємо звертатись будь-яким роботам (замість * можна вказати ім'я конкретного пошукового робота наприклад Yandex).
Дозволяє доступ до карти сайту для індексування.
Забороняє індексацію директорій CMS Joomla - панелі управління, компонентів, модулів, плагінів, тимчасових файлів, логів, шаблонів тощо, залишаємо відкритою для індексування тільки папку / images / для індексування зображень на Вашому сайті.
Забороняємо індексацію 404 помилки.
Забороняємо індексацію всіх ссилкок містять знаки. .
Забороняємо індексацію кириличних посилань.
Закриваємо від індексації дублі головної сторінки (якщо у вас немає цих дублів то пропустіть цей пункт).
Закриваємо від індексації файли pdf і swf.
Закриваємо від індексації посилання на друк.
Закриваємо від індексації RSS.
Закриваємо від індексації спливаючі окона.
Закриваємо від індексації посилання на водяні знаки.
Закриваємо від індексації посилання на скачування.
Закриваємо від індексації хмари тегів (якщо ви його використовуєте).
Якщо необхідно закрити сторінку від індексації (наприклад / page), але при цьому дозволити індексувати вкладені сторінки (/ page / links).
Щоб знайти якісь сторінки потрапили в індекс введіть в рядок пошуку в Яндексі: host: ВАШ-САЙТ або site: ВАШ-САЙТ. а в Google: site: ВАШ-САЙТ
На цьому все. Бувайте усі.