Всі пошукові роботи при заході на сайт в першу чергу шукають файл robots.txt. Якщо ви - Веб-майстер, ви повинні знати призначення і синтаксис robots.txt.
Файл robots.txt - це текстовий файл, що знаходиться в кореневій директорії сайту, в якому записуються спеціальні інструкції для пошукових роботів.
При інтерпретації роботом, буде використовуватися та секція, яка найбільш точно відповідає за його user-agent. Якщо в robots.txt є блок з ім'ям робота, то буде використовуватися саме вона, а не секція з User-agent: *.
Кожна секція триває або до початку наступної секції, або до кінця файлу robots.txt. Відповідно до стандарту, між сусідніми секціями повинна вставлятися хоча б один порожній рядок. Кожна секція повинна починатися з директиви User-agent і містити значення User-agent того робота, до якого відноситься дана секція. Наприклад, директива User-agent для основного пошукового робота Yandex виглядає наступним чином:
Щоб вказати секцію (блок), що відноситься до всіх роботам, в директиві User-agent можна використовувати значення «*».
Якщо у файлі robots.txt є секція з ім'ям конкретного бота, то для цього робота буде використовуватися саме вона, в іншому випадку блок, що починається з
Директива Disallow
Забороняє директива, і одночасно найбільш часто використовувана в файлі robots.txt. Disallow забороняє індексацію сайту або його частини, згідно шляху, прописаному в значенні цієї директиви. Забороняє весь сайт до індексації для пошукового бота Яндекса.
Директива Allow
Ця директива має синтаксис, схожий з Disallow, але на противагу директиві Disallow навпаки носить дозвільний характер. Наприклад, в наступному прикладі всім роботам забороняється індексувати весь сайт, крім шляхів, що починаються з / master.
Важливо розуміти, що існують директиви, розуміти які здатні не всі роботи. Саме такого роду директивою і є Host, яка з усіх популярних роботів розпізнається тільки Яндексом. Host служить для вказівки роботу Яндекса головного дзеркала Вашого сайту. Справа в тому, що один і той же сайт може бути доступний за кількома доменами, наприклад, master-tenge.kz. robot.txt
User-agent: Yandex Host: master-tenge.kz