Заборонити індексацію сторінок / директорій (robots.txt)
Всі пошукові роботи при заході на сайт в першу чергу шукають файл robots.txt. Це текстовий файл, що знаходиться в кореневій директорії сайту (там же де і головний файл index. Для основного домену / сайту, це папка public_html), в ньому записуються спеціальні інструкції для пошукових роботів. Ці інструкції можуть забороняти до індексації папки або сторінки сайту, вказати роботу на головне дзеркало сайту, рекомендувати пошуковому роботу дотримуватися певний часовий інтервал індексації сайту і багато іншого
Якщо файлу robotx.txt немає в каталозі вашого сайту, тоді ви можете його створити.
Щоб заборонити індексування сайту через файл robots.txt, використовуються 2 директиви: User-agent і Disallow.
User-agent: УКАЗАТЬ_ПОІСКОВОГО_БОТА
Disallow: / # буде заборонено індексування всього сайту
Disallow: / page / # буде заборонено індексування директорії / page /
1. Заборонити індексацію вашого сайту ботом MSNbot
2. Заборонити індексацію вашого сайту ботом Yahoo
User-agent: Slurp
Disallow: /
3. Заборонити індексацію вашого сайту ботом Yandex
4. Заборонити індексацію вашого сайту ботом Google
5. Заборонити індексацію вашого сайту для всіх пошукових систем
6. Ускладнюємо завдання і наприклад Яндексу забороняємо індексувати папки cgi-bin і images, а Апорт файли myfile1.htm і myfile2.htm в директорії subdir (назва папки де розташовані файли myfile1.htm і myfile2.htm)
User-agent: Yandex
Disallow: / cgi-bin /
Disallow: / images /
User-agent: Aport
Disallow: /subdir/myfile1.htm
Disallow: /subdir/myfile2.htm
7. Заборона індексації папок cgi-bin і images для всіх пошукових систем
User-agent: *
Disallow: / cgi-bin /
Disallow: / images /
Тепер як дозволити індексувати всі сторінки сайту всім пошуковим системам (примітка: еквівалентом даної інструкції буде порожній файл robots.txt):
P.S. Для різних CMS, в інтернеті можна знайти рекомендації, які директорії краще закрити від індексації пошуковими системами. більшою мірою це потрібно заради безпеки і зменшення навантаження на сервер.
- 9 Користувачі знайшли це корисним
Related Articles
Редирект з HTTP на HTTPS за допомогою .htaccess
Як збільшити ліміт пам'яті для скрипта (memory_limit).
Як збільшити ліміт пам'яті для скрипта, сайту, CMS (memory_limit)? 1. Якщо вам потрібно що б ліміт.
Як швидко завантажити сайт (файли) на FTP
Всім відомо що коли ви копіюєте багато дрібних файлів на FTP, або на своєму комп'ютері, с.
Як подивитися поточні настройки PHP.
Для цього існує спеціальна функція phpinfo (). Створіть в директорії
Створення і використання власного файлу php.ini (suPHP)
Створення і використання власного файлу php.ini Увага. Дана інформація не актуальна.