Robots.txt - допомагаємо Яндексу і Google в індексації сайту, robots.txt для WordPress
Привіт всім мандрівникам, мандрівним в мережі в пошуку знань. Розмова сьогодні піде про важливе інструменті вебмастера під назвою robots.txt. Якщо нас цікавить, як заробляти в інтернеті, і ми хочемо заробляти на сайті. то для просування свого сайту (блогу) robots.txt грає не останню роль.
І так, для Вас як заробити в інтернеті мета найперша, значить, час гроші і я Вам спочатку:
Robots.txt для WordPress
Найперше хочу сказати, що часто багато блогерів ігнорують robots.txt і не приймають ніяких заходів, щоб обмежувати в індексації пошукових роботів Гугла і Яндекса. Це звичайно їхня справа, але я коли створив свій robots.txt зауважив, як змінилася відвідуваність мого сайту:
Не скажу, що на всі 100% так вплинув robots.txt, але після його створення пішла тенденція до зростання. З цього я зробив висновок, якщо ми створюємо свій сайт для заробітку, потрібно по максимуму зробити свій сайт адаптований до всіх вимог, а значить все-таки robots.txt потрібен, і створюється він не просто так.
Правильний robots.txt для WordPress скопіювати Ви можете прямо ось звідси:
Robots.txt
Robots.txt можна порівняти з командувачем в армії, а якщо бути точніше він є регулювальником руху по сайту для пошукових роботів. Не складно здогадатися, що для того щоб просувати і розкручувати сайт самостійно потрібен комплекс заходів.
Важливо не тільки підбирати популярні запити в статистиці яндекса для складання семантичного ядра і писати унікальний контент, а й слід потурбуватися про допомогу пошуковим системам Яндексу і Google індексувати сторінки вашого сайту (інші системи для пошуку я не розглядаю, їх частка дуже мала в пошуку Рунета) . Чим скоріше і повніше Яндекс і Гугл зможуть проіндексувати Ваш сайт, тим швидше буде просуватися ресурс в пошуковій видачі.
Для здійснення цього завдання у нас з вами в руках є два основні інструменти. Перший - карта сайту (Sitemap xml) і другий robots.txt, що дозволяє заборонити пошуковим роботам індексувати все те, що не має інтересу для просування (файли движка), а часом навіть може нашкодити в просуванні сайту (дублікати контенту).
Robots.txt - регулювальник пошукових роботів або навіщо пояснювати Яндексу і Google що індексувати.
Robots.txt і Sitemap xml (файли, що дозволяють управляти індексацією сайту) важливі для просування проекту як конституція для країни. У файлі robots.txt прописуються незаперечні правила поведінки для пошукових роботів. Однією з технічних помилок у початківців вебмайстрів буває незнання про існування таких важливих файлів або ж неправильне їх складання і використання.
Я свого часу сам спершу ігнорував файл robots.txt, але коли вирішив поекспериментувати і створив для свого сайту robots.txt, то побачив зміни і прийшов до висновку, що не всі наповнення будь-якого ресурсу, створеного на будь-якому CMS движку має бути доступне для індексації в пошукових системах. На жаль, в CMS двигунах файли Robots.txt і Sitemap xml відсутні.
Відсутність файлу robots.txt ускладнює роботу для пошукового бота. Бот, потрапляючи в кореневій каталог вашого сайту, не знайшовши файлу robots.txt буде шукати сторінки для індексації всюди, куди він зможе пролізти (в файлах і директорії). Це призведе:
Перше, до того, що пошуковий робот буде витрачати велику кількість часу і по закінченню терміну даного йому на індексацію одного ресурсу, піде з нього, пропустивши дійсно чекають індексації сторінки.
Нижче ми розберемо robots.txt на частини до гвинтиків.
Розбираємо Robots.txt на частини або Директиви і правила написання файлу robots.txt (disallow, user-agent, host)
Якщо створити порожній файл robots.txt, то пошукові боти це сприймуть, як дозвіл пхати свого носа куди заманеться, тому ми цей файл обов'язково заповнимо директивами для пошукових роботів. Так давайте у запропонованого мною robots.txt розглянемо всі докладно:
Нижче директиви «User-agent» ми починаємо писати заборони за допомогою забороняє директиви (Disallow). Коли (Disallow :) без продовження він нічого не забороняє, а як ми знаємо, в нашому житті що не заборонено, то дозволено, в цьому випадку у пошукових роботів буде такий же погляд на Ваш сайт і вони будуть індексувати всі підряд.
Для заборони потрібно поставить знак (/). він дає заборона на індексацію всього, що буде написано після нього, якщо після (/) нічого не написано, то пошукові боти зрозуміють таку директиву як заборона для індексації всього сайту. Нас це не влаштовує і тому в (Disallow) після знака (/) ми вказуємо файл або папку, що знаходиться на хостингу на нашому сайті наприклад, Disallow: / wp-admin, тим самим забороняємо індексувати директорію «wp-admin», а так само всі файли і директорії, що починаються з символами «wp-admin».
Якщо нам треба закрити від індексації будь-якої файл або папку, то даємо директиву, наприклад таку (Disallow: / wp-content / plugins) - це означає в папці «wp-content» ми закриваємо для пошукових роботів папку «plugins».
У разі, коли від пошукових роботів потрібно закрити файл, папку або розширення в будь-якому місці на сайті, то ми застосовуємо символ (*) - який означає будь-яку (в тому числі порожню). Наприклад: (Disallow: * / feed) - що означає, в будь-якій папці забороняється до індексації «feed». Коротше, з директивою (Disallow) ми розібралися, йдемо далі.
Далі все просто, директива Host - рекомендується щоб уникнути проблем з дзеркалами сайту (домени з www і без www). Вона повинна вказувати пошуковому боту Яндекса головне дзеркало сайту (як при використанні 301 редиректу). У мене домен з www, значить, я прописую так: (Host: www.realnodengi.ru). Ви ж будете вписувати свій.
Ось і все, нічого складного в написанні файлу robots.txt немає, тепер Ви знаєте, з чого складається robots.txt і якщо Вас не задовольняє вище наведений robots.txt, то Ви самі його зможете написати.
Не забудьте налаштувати редирект 301 - він також важливий для Вашого сайту як robots.txt.