Важливо передати пошуковикам актуальну інформацію про сторінки, які закриті від індексації, про головне дзеркалі і карті сайту (sitemap.xml). Для цього в корені сайту створюється файл robots.tx і заповнюється директивами.
Розглянемо як в найзагальнішому випадку у Бітрікс створити файл robots.txt.
Перше, переходимо на сторінку Робочий стіл -> Маркетинг -> Пошукова оптимізація -> Налаштування robots.txt
Друге, вказуємо основні правила.
На першій сходинці бачимо User-agent: *. це означає, що директиви вказані для всіх роботів всіх пошукових систем.
Для того, щоб закрити директорію пишемо правило:
Третє, вказуємо головне дзеркало сайту за допомогою директиви Host. Врахуйте www, якщо головним обраний домен з www.
Четверте, в директиві Sitemap прописуємо посилання до файлк sitemap.xml.
В цілому, це все що потрібно, для того, щоб передати файл в вебмастера Яндекса і Google.
Наприклад, вам не потрібно індексувати картинки, що знаходяться в папці / include /, але ви хочете, щоб статті з цього розділу індексувалися. Для цього, слід закрити директивою Disallow папку / include / для робота YandexImages.
User-agent: YandexImages
Disallow: / include /
Поділитися в соціальних мережах: