Після того як Ви створили і завантажили XML-файл Sitemap на веб-сервер.
Коли слід оновлювати діректівуSitemap?
Оновлювати директиву слід тільки в тому випадку, коли діючий URL файлу Sitemap змінився. У разі, якщо Sitemap оновився, але його URL залишається колишнім, ніяких додаткових дій робити не потрібно.
Для того щоб додати директиву про наявність файлу Sitemap в robots.txt слід додати такий рядок:
- це повний URL Вашого файлу XML Sitemap (наприклад: sitemap.xml).
У підсумку, robots.txt у Вас повинен вийти такого виду:
User-Agent: *
Sitemap: httр: //mysite.com/sitemap.xml
У разі якщо Вам потрібно оновити директиву - досить замінити наявну в robots.txt рядок:
Що робити якщо robots.txt містить кілька секцій (User-Agent)?
Якщо Ви використовуєте різні директиви для різних пошукових роботів, Вам слід додати директиву Sitemap в кожну з них (або в ті з них, відповідним пошуковим роботам яких, Ви хочете передати інформацію про Sitemap).
У підсумку, robots.txt у Вас повинен вийти такого виду:
# Для всіх, крім Google і Yandex
User-Agent: *
Sitemap: httр: //mysite.com/sitemap.xml
# Буде використана роботами Яндекса
User-Agent: Yandex
Sitemap: httр: //mysite.com/sitemap.xml
# Буде використана роботами Google
User-Agent: Googlebot
Sitemap: httр: //mysite.com/sitemap.xml