Існує кілька способів допомогти роботам пошукових систем оцінити якомога більшу кількість сторінок сайту і навіть прискорити цей процес. Ефективність методів відрізняється, тому в статті розберемо, що потрібно робити обов'язково, і яких технологій краще уникати.
Підготовка сайту до індексації
Перш ніж приманювати пошукового робота той чи інший спосіб, потрібно підготувати сайт до його приходу. Для цього в файлі robots.txt слід прописати правила індексації, установлені для даного сайту. Головні директиви такі:
- Disallow вказує, які сторінки або розділи індексувати не потрібно (службові розділи, сторінки з особистою інформацією користувачів і т.д.);
- Crawl Delay встановлює інтервал звернення робота до сервера для зниження навантаження (актуально для сайтів на нестабільних хостингах);
- Clean Param потрібен для сайтів з динамічно змінюються url сторінок, наприклад, використовують ідентифікатори сесій; роботу потрібно вказати, що індексувати кожен url годі було;
- Host вказує, який сайт є головним дзеркалом.
Якщо все налаштовано правильно, пошуковий робот Яндекса виявить тільки призначені для нього сторінки. А значить, індексація пройде швидше. На жаль, robots.txt не має значення для Google, тому від його роботів контент треба ховати, вказуючи в мета-теге robots значення noindex і nofollow для атрибута content ().
Далі слід перевірити наявність дублів сторінок і видалити або позначити їх атрибутом rel = «canonical». Це потрібно для того, щоб робот індексував тільки одну сторінку, не звертаючи уваги на її «клони». Звичайно, краще дублі видаляти, але якщо це неможливо, на допомогу прийде ще і редирект 301.
І, нарешті, в карті сайту (sitemap.html і / або sitemap.xml) слід показати всі сторінки, відкриті для індексації. Карту можна помістити в файл robots.txt.
Яндекс і Google дають можливість перевірити коректність заповнення файлів robots.txt (Яндекс. Веб-майстер), переконатися в наявності sitemap і перевірити кількість проіндексованих на даний момент сторінок. Цими інструментами потрібно користуватися, щоб контролювати процес знайомства пошукачів з сайтом. Якщо все в порядку, залишається тільки чекати приходу пошукового робота. Подивимося, як можна наблизити цю подію.
Посилання, каталоги і add url
Новий сайт, зрозуміло, потрібно зареєструвати в сервісах Яндекса і Google. Таким способом власник сайту показує, що на просторах мережі з'явився новий ресурс, на який варто звернути увагу. Через 1-2 тижні пошуковики проїндексируют, швидше за все, тільки частина сторінок, але початок буде покладено.
Додавання сайту в усі існуючі каталоги давно стало методом не тільки марним, але часто навіть шкідливим. Пошуковики ретельно стежать за якістю посилань, а списки каталогів для автоматичного «прогону» залишають бажати багато кращого.
Можна спробувати додати сайт в каталоги Яндекса і Google (Яндекс. Каталог, DMOZ). Але пошукові системи довго перевіряють кожен сайт, тому очікувати негайного ефекту не варто. Цей спосіб краще розглядати в комплексі робіт по просуванню сайту.
Пошукові системи і самі пропонують такі інструменти для прискорення індексації, але можна скористатися додатковими сервісами. Наприклад, у сайтів на WordPress така функція встановлена за замовчуванням, потрібно тільки вказати в настройках необхідні послуги. Краще обмежитися найбільшими від Яндекс і Google і, при необхідності, тематичними.
Сервіси прискорення індексації та «ловці ботів»
Способи автоматизувати залучення пошукових роботів шукаються давно, правда, успішної діяльності в цьому напрямку поки не спостерігається. На сьогоднішній день сервіси, дійсно працюють і при цьому не порушують правила пошукових систем, так і не зустрічаються.
У більшості випадків для прискорення індексації нових сторінок досить додати новий url у відповідних сервісах Яндекса і Google і трохи почекати. Якщо сайт технічно підготовлений до приходу робота, а хостинг працює без збоїв, з часом індексація буде проводитися все швидше і швидше. А розміщення і поширення контенту має вестися в першу чергу для людей. Адже сам факт індексації ще не означає отримання високих позицій у видачі.
