Створюємо простий текстовий документ і називаємо його robots.txt. У Windows 7 писати розширення .txt не потрібно, просто називаємо новостворений текстовий документ robots
Синтаксис зовсім не складний, нічого мудрі немає.
User-Agent: * - дана директива вказує до якого саме пошуковому роботу йде звернення. Значок "*" означає, що всім роботам. Для того, що б вказати роботу будь-якої певної пошукової системи, потрібно лише вписати замість "*" назва робота.
Ось список пошукових роботів основних пошукових систем Ру нету:
Disallow: - директива забороняє індексацію файлу. матеріалу, сторінки, директорії.
Для того, щоб пошукові системи індексували весь матеріал, необхідно директиву Disallow: залишити порожній:
Allow: - директива дозволяє індексацію того чи іншого матеріалу, сторінки, директорії.
Для того, щоб повністю заборонити індексацію всього сайту Вам необхідно прописати наступний код:
Так само можна заборонити індексацію файлів з певним розширенням, наприклад вписавши в robots.txt такий рядок, ми заборонимо індексувати всі файли з розширенням .pdf:
Host: - директива, яка вказує на основне дзеркало сайту. Так можна вказати основний сайт з www або без. Хоча краще це робити на стороні хостингу.
Sitemap: - директива, яка вказує на те, де знаходиться .xml карта сайту, призначена для пошукових систем.
Файл robots.txt потрібно розміщувати в кореневому каталозі сайту.
Для сайтів, створених за допомогою CMS (систем керування вмістом), типу WordPress або Joomla! існують спеціальні плагіни, що дозволяють налаштувати правильну індексацію сайту.