Н едавно один з наших користувачів питав нас, як вони можуть зупинити пошукові системи від сканування та індексування свого сайту WordPress? Є багато сценаріїв, коли ви могли б використовувати, щоб заборонити роботам пошукових систем відвідувати ваш сайт або показувати його в результатах пошуку. У цій статті ми вам покажемо, як заборонити роботам пошукових систем заходити на WordPress сайт.
Чому і хто хоче заборонити пошуковики
Для більшості веб-сайтів, пошукові системи є основним джерелом трафіку. Ви можете запитати, чому хтось хоче блокувати пошукові системи?
Вірите чи ні, є багато користувачів, які працюють на своїх сайтах, поміщаючи їх на живому загальнодоступному домені замість створення локального середовища розробки або створення development site.
Деякі люди створюють сайти з управління проектами за допомогою WordPress. Є багато людей, які використовують WordPress для створення приватних блогів. У всіх цих ситуаціях, ви. ймовірно, не хочете бути проіндексовані пошуковими системами і бути знайдені, якщо ви не готові до цього. Поширеною помилкою є те, що якщо у мене немає посилань, що вказують на мій домен, то пошукові системи, ймовірно, ніколи не зможуть знайти свій сайт. Це не зовсім вірно.
Є багато способів, за допомогою яких пошукові системи можуть знайти сайт. наприклад:
- Ваше доменне ім'я могло бути раніше належали комусь ще, і на нього все ще є деякі посилання, що вказують на веб-сайт в даний час.
- Результати деякої області пошукового сайту може індексуватися з вашого посилання на них.
- Є буквально тисячі сторінок з списком доменних імен, і ваш сайт може з'явитися на одному з них.
Є багато речей, які відбуваються в Інтернеті, і не одна з них не знаходяться під вашим контролем. Проте, ваш сайт все ще знаходиться під вашим контролем, і ви можете доручити пошуковим системам не слідувати або індексувати ваш сайт.
Блокування пошукових систем від сканування та індексування WordPress сайту
WordPress поставляється з вбудованою функцією, яка дозволяє інструктувати пошукові системи не індексувати ваш сайт. Все, що вам потрібно зробити, це відвідати Налаштування »Читання і встановіть прапорець поруч із пунктом опції пошуку видимості сайту.
Коли цей параметр вибрано, WordPress додає цей рядок в заголовок вашого сайту:
Ці лінії говорять роботам (пошукових роботів) НЕ індексувати ваші сторінки. Проте, це повністю залежить від пошукових систем, Ви погодитеся або проігнорувати його. Незважаючи на те, що більшість пошукових систем слідують йому, деякі сторінки або випадкове зображення з вашого сайту можуть індексуватися.
Як переконатися, що Ваш сайт не відображається в результатах пошуку?
Найефективніший спосіб блокувати пошукові системи від живого веб-сайту за допомогою пароля захисту всього сайту WordPress на рівні сервера. Це означає, що, коли хтось звертається до вашого веб-сайту, вони просять надати ім'я користувача і пароль ще до того, як вони досягнуть WordPress. Це включає в себе також пошукові системи. У разі відмови входу в систему, вони будуть показувати 401 помилку і боти йдуть. Ось як захистити паролем весь сайт WordPress.
Як захистити паролем весь сайт, використовуючи Cpanel
Якщо ваш хостинг провайдер для WordPress пропонує доступ для управління облікового запису хостингу Cpanel. то ви можете захистити весь сайт, використовуючи її. Просто увійдіть в панелі управління Cpanel, а потім натисніть на захистити паролем каталоги.
Після цього з'явиться спливаюче вікно, де вам потрібно вибрати кореневої документ.
На наступному екрані виберіть папку, в якій встановлено ваш WordPress сайт. Це, як правило, public_html або каталог www. Після цього, встановіть прапорець поруч з написом "захистити паролем цю директорію". Далі, введіть ім'я в захищеному каталозі і натисніть кнопку Зберегти.
Це все, ваш сайт тепер захищений паролем, і ніхто в тому числі пошукові системи не можуть отримати доступ до веб-сайту.
