Зазвичай всі хочуть повної і якісної індексації. Однак, на початковому етапі проектування сайту часто виникає потреба дати пошукачам знати, що сайт вже пишеться і натякнути, що скоро пора буде його індексувати. Для цього потрібно вирішити обробляти головну сторінку і заборонити лізти глибше.
Увага! Тривале перебування в пошуку тільки однієї сторінки сайту з великою ймовірністю призведе до накладення фільтра від яндекса АГС. Після накладення фільтра буде потрібно докласти чимало сил, щоб вивести з під фільтра АГС і повернути ТИЦ ресурсу. Рекомендую максимальний термін вирішувати тільки головну індексувати 1 (один) місяць.
Плюси і мінуси індексації тільки головної сторінки
Потрібно пам'ятати, що нові сайти мають невелику фору на початку індексування і частоті приходу спамерських пошукових роботів. Пошуковики пильно дивляться на нові сайти. Для одних це добре, а для інших не надто.
Головний мінус, що порожня сторінка досить швидко викликає у роботів питання про корисність сайту і необхідності його наявності у видачі.
Моя особиста думка, що краще зробити структуру сайту і відразу відкрити пошуковикам. І поступово починати наповнювати їх вмістом. Але якщо все ж завдання поставлено - читаємо рішення.
Забороняємо індексацію всіх сторінок, крім головної
Йдемо в файл robots.txt (якщо немає такого, то створюємо в корені сайту) і пишемо:
Після відвідин ботом оброблятися буде тільки головна сторінка. Увага. Для окремих движків і сайтів спосіб може не працювати. Тому після його застосування перевірте правильність обробці сторінок в вебмайстрів Яндекса і Гугла у відповідних разделас сервісів.
Бонус - закриваємо від індексації весь сайт. Знову файл robots.txt і в ньому напишемо:
Як завжди і тут є свої підводні камені. Якщо Яндекс буде чітко слідувати інструкціям і практично не підглядає далі, то для Гугла файл Роботс носить лише рекомендаційний характер. Тому майте на увазі, що Гугл пройде і прочитає весь сайт і чесно відправить в видачу тільки першу сторінку. Але знати то він буде весь сайт і яка версія сторінок буде відразу після відкриття індексації - питання.
Зверніть увагу, що для коректної індексації сайту файл robots.txt повинен бути правильним. Добре прописані інструкції повинні закривати зайву інформацію від пошукових роботів і гарантовано обрубувати дублюючі сторінки.