Збережіть дані в файл "robots.txt" і скопіюйте в конревую папку сайту.
Для чого призначений інструмент "Генератор robots.txt"
Сервіс cy-pr.com представляє вам інструмент "Генератор robots.txt", за допомогою якого можна в режимі онлайн за кілька секунд створити файл robots.txt, а також встановити заборону на індексацію сторінок сайту певними пошуковими системами.
Що таке robots.txt
Robots.txt - це файл, який розташований в корені сайту і в якому містяться вказівки для пошукових роботів. Заходячи на будь-який ресурс, роботи починають з ним знайомство з файлу robots.txt - своєрідної "інструкції по застосуванню". Видавець вказує в даному файлі, як роботу необхідно взаємодіяти з ресурсом. Наприклад, тут може міститися заборона індексації деяких сторінок або рекомендація про дотримання тимчасового інтервалу між збереженням документів з веб-сервера.
Веб-майстер може встановити заборону на індексацію роботами пошукових систем Яндекс, Google, Mail.ru, Рамблер, Bing або Yahoo. а також задати тайм-аут між переходами пошукового робота по сторінках ресурсу і заборонити індексацію окремими сторінками сайту. Крім цього, в спеціальній рядку можна вказати пошуковим роботам шлях до карти сайту (sitemap.xml).
Після того, як ви заповните всі поля інструменту і натиснете кнопку "Створити", система автоматично згенерує файл для пошукових роботів, який ви повинні будете розмістити в кореневій зоні вашого сайту.
Зверніть увагу, що файл robots.txt не можна застосовувати для приховування сторінки з результатів пошуку, тому що на неї можуть посилатися інші ресурси, і пошукові роботи так чи інакше її проїндексируют. Нагадуємо, що для блокування сторінки в результатах пошукової видачі використовується спеціальний тег "noindex" або встановлюється пароль.
Варто також відзначити, що за допомогою інструменту "Генератор robots.txt" ви створите файл виключно рекомендаційного характеру. Само собою, боти "прислухаються" до вказівок, залишеним для них веб-майстрами в файлі robots.txt, але іноді ігнорують їх. Чому так відбувається? Тому, що кожен пошуковий робот має свої настройки, згідно з якими він інтерпретує інформацію, отриману з файлу robots.txt.