файл robots.txt
директиви robots.txt
Директиви - це правила або можна ще сказати команди для пошукових роботів. Найголовнішою є «User-agent», з її допомогою можна встановити правила для всіх роботів або для конкретного бота. Ця директива прописується спочатку, а після неї вказуються всі інші правила.
Ще однією обов'язковою директивою є «Disallow», з її допомогою закриваються розділи і сторінки сайту, а її протилежністю є директива «Allow», яка навпаки примусово дозволяє індексувати зазначені розділи і сторінки сайту.
«Sitemap» - директива, яка вказує шлях до файлу sitemap.xml, шлях необхідно вказувати повністю з протоколом, прописувати цю директиву дозволяється в будь-якому місці файлу.
Для спрощення написання правил існують спеціальні символьні оператори:
Після знайомства з основними директивами і спеціальними операторами вже можна накидати вміст простенького файлу robots.txt.
файл sitemap.xml
Необхідно відзначити, що sitemap.xml не обов'язковий, і пошукові системи можуть його не враховувати, але в той же час все пошуковики говорять про те, що наявність файлу бажано і допомагає правильно індексувати сайт, особливо, якщо сторінки створюються динамічно або на сайті складна структура вкладеності.
Висновок напрошується один: що файли robots.txt і sitemap.xml необхідні. Правильна настройка індексації - це один з факторів знаходження сторінок сайту на більш високих місцях в пошуковій видачі, а це мета будь-якого більш-менш серйозного сайту.
