Розглянемо як створити для Joomla 2.5 / 3.x правильний файл для пошукових роботів - robots.txt
Цей файл потрібен для вказівки роботам того, що індексувати не потрібно.
Спочатку robots.txt має такий вигляд
Щоб розуміти суть цього файлу, давайте трохи розберемо що тут написано і які оператори (команди) він підтримує.
User-agent - це ім'я робота, для якого призначена інструкція. За замовчуванням в Joomla варто * (зірочка) - це означає, що інструкція призначена для всіх пошукових роботів.
Найбільш поширені імена роботів:
Використовувати окремі інструкції для кожного робота в більшості випадком немає необхідності. Якщо тільки на якихось специфічних проектах і для особливих завдань.
Кожен робот розуміє більшу частину команд, і тільки для некотрих, наприклад для робота Яндекса існують власні команди.
Тому сміливо можна ставити * (зірочку) і писати інструкції для всіх. Якщо якийсь робот не поёмёт щось, він просто проігнорує цю команду і буде працювати далі.
Disallow - забороняє індексувати вміст зазначеної папки або URL.
Allow - навпаки, дозволяє індексацію папки або URL.
Host - вказівка основного дзеркала сайту (з www або без www)
І щоб Яндекс не брав до уваги такі спеціальні сторінки, в robots.txt задається директива Clean-param.
Все той же приклад з пошуком по сайту:
Clean-param: searchword / - директива забороняє індексувати всі URL з параметром? Searchword
Crawl-delay - директива поки знайома тільки Яндексу. Вона вказує з яким інтервалом сканувати сторінки, інтервал задається в секундах.
Може бути корисно якщо у вас багато сторінок і досить високе навантаження на сервер, оскільки кожне звернення робота на сторінку вашого сайту - це навантаження на сервер. Робот може сканувати по кілька сторінок в секунду і тим самим завантажити серврер.
приклад:
Crawl-delay: 5 - інтервал для завантаження сторінки - 5 секунд.
Специфічні директиви для Яндекса ви можете подивитися тут >>
Всі директиви пишуться з нового рядка, без пропуску.
Бажаю гарної і швидкої індексації!
З повагою Олег.