Web master, настройка і

Правильна настройка файлу robots.txt і sitemap.xml дозволить виключити можливі проблеми, що виникають при індексації.

§ 1. Файл robots.txt

robots.txt - це звичайний файл, який повинен знаходитися в корені вашого сайту, там же де знаходиться і правильний htaccess, і цей файл каже пошуковим роботам як саме індексувати ваш проект, на які сторінки не варто звертати увагу, а яким приділити особливу увагу

Файл містить інструкції, призначені для пошукових роботів. Розміщується він обов'язково в кореневій директорії, завдяки чому індексацію сторінки боти почнуть саме з читання умов, викладених в robots.txt.

Розглянемо переваги robots.txt, які він дає ресурсу.

Інструкції файлу robots.txt можуть:

- виробляти редирект на іншу сторінку при помилку 404;

- вказувати на місцезнаходження карти сайту;

- вказувати час завантаження сторінок для індексації.

1.1. Налаштування robots.txt

Що потрібно прописувати в файлі?

Обов'язково вживання двох директив: User-agent і Disallow.

Список імен ботів найпопулярніших пошукових систем:

1.2. Перевірити файл robots.txt і мета теги

У деяких вебмайстрів взагалі не індексуються сайт цілком або частину і що б ви не робили, роботи не індексують сайт. Причиною всьому може бути файл robots.txt. Можливо в ньому допущена помилка або він зроблений не правильно. Перевірте файл robots.txt на наявність в ньому помилок (наприклад, рядок Disallow: / закриває сайт від індексації цілком або Disallow: / news / закриває до індексації розділ новин.) Або закритих важливих директорій. Якщо закрита директорія яка повинна бути проіндексована, то відкрийте її.

Приклад правильного файлу robots.txt на цьому сайті.

Краще вказувати інструкції для кожного пошукача, який представляє для вас інтерес окремо, а також для вказати інструкцію для всіх інших пошукових систем.

User-agen t - вказує на пошуковик, для якого пишеться інструкція.

Allow - дозволяє індексацію.

Disallow - забороняє індексацію.

Host - вказує на основний хост.

Sitemap - вказує пошуковій системі на xml карту сайту.

Ще сайт може не індексуватися через мета тега для google і для яндекса. Якщо на сторінці розміщені ці коди, то пошукові роботи не буде індексувати такі сторінки або частини сторінок. якщо ви хочете що б сторінки індексувалося потрібно видалити з коду ці мета теги.

На основі вищевказаних даних можна вивести повноцінний файл robots.

Тепер, коли ви знаєте основні моменти розібраного нами файлу, ви зможете управляти індексацією свого сайту: забороняти і відкривати до індексації бажані вами файли, папки і сторінки.

§ 2. Файл sitemap.xml

Файл Sitemap - це файл з інформацією про сторінки сайту, які підлягають індексації. За допомогою файлу sitemap.xml веб-майстри можуть повідомляти пошуковим системам про веб-сторінках, які доступні для сканування.

Основні вимоги до файлу Sitemap:

- Файл повинен розташовуватися на тому ж домені, що і сайт, для якого він складений.

- При зверненні до файлу сервер повинен повертати HTTP-статус з кодом 200 OK.

- Файл може містити не більше 50 000 URL, а його розмір в стислому вигляді не повинен перевищувати 10 Мб. Якщо ваш sitemap не задовольняє цим вимогам, розбийте його на кілька окремих файлів і вкажіть їх у файлі індексу sitemap.

- У файлі необхідно використовувати кодування UTF-8.

- Файл може описувати тільки сторінки того домену, на якому він розташований.

Створити карту Sitemap для свого сайту можна кількома способами:

використовуючи плагіни і онлайн-генератори, а також складаючи її вручну.

Про те, як це зробити, який генератор карти (sitemap generator) використовувати і як додати карту в пошукові системи Яндекс і Гугл, ви дізнаєтеся з цієї статті.

2.1 Карта сайту Sitemap.html (для відвідувачів)

Карта сайту (для відвідувачів) - це форма додаткової навігації по сайту. З її допомогою користувач може пересуватися по сайту, не використовуючи навігацію сайту.

При створенні карти сайту для відвідувачів зверніть увагу на важливі моменти:

1. Розташування на видному місці. Карта повинна знаходитися там, де її буде відразу видно (наприклад, в головному меню сайту або блогу).

2. Правильна структура і форматування. Якісна карта сайту обов'язково містить заголовки, підзаголовки і інші елементи форматування. Це робить інформацію більш зручною для сприйняття, відвідувачам буде простіше знайти ті матеріали, які їх цікавлять.

2.1.1. Пошук на сайті через Яндекс

- З настройками Яндекс пошуку розбереться будь-хто, хто навіть не розуміє в мовах програмування HTML і PHP, і не знайомий з CSS.

- Результати Яндекс пошуку більш якісні, ніж результати стандартного пошуку. Вони виходять найбільш релевантні шуканого слова чи речення. Відвідувачі затримуються так на вашому сайті трохи довше, навіть якщо вони не знаходять абсолютного релевантного відповіді на своє питання;

2.2 Карта сайту Sitemap.xml (для пошукових систем)

Обмеження і особливості

Пошукові системи сприятливо відносяться до сайтів, які мають карту Sitemap.xml. Справа в тому, що при її наявності роботи пошукових систем індексують сторінки сайту швидше і краще (зменшується ймовірність, що якась та сторінка буде випадково пропущена). Очевидно, що карта сайту сприяє більш швидкому збільшенню відвідуваності сайту. Однак при цьому пошукові системи накладають на карту сайтаSitemap.xml певні обмеження.

файл Sitemap повинен містити не більше 50 тис. посилань і мати розмір не більше 10 Мбайт (допускається використання архівації для зменшення розміру файлу).

Що ж робити, якщо ваш сайт настільки великий, що карта сайту перевищує вищевказані значення. В цьому випадку можна виконати наступні дії:

2. створювати кілька карт сайта (наприклад, основну, яка містить посилання на всі інші карти, і ще кілька другорядних).

І навіть якщо дані вимоги будуть виконані, немає гарантії, що пошукові системи будуть дотримуватись файлу Sitemap.xml при індексації.

2.3. Онлайн-генератори карти сайту Sitemap

Онлайн-генератори (generator Sitemap) дозволяють формувати карту сайту у вигляді окремого файлу. При додаванні нових сторінок (або при видаленні старих) доведеться формувати карту сайту за допомогою генератора і знову додавати її на свій сайт.

Простий і зручний генератор карти сайту, який має кілька серйозних недоліків:

- кількість посилань в карті може бути не більше 500;

- немає можливості вказувати частоту оновлення для окремих груп сторінок;

Перейти на сайт генератора можна тут. Перед вами з'явиться форма, яку потрібно заповнити.

2. вибираємо «зразковою» частоти оновлення сайту.

3. Налаштовуємо дату поновлення сторінок сайту (None - не використовувати; Use server's response - визначити автоматично; Use this date / time - використовувати поточні дату і час).

4. Налаштовуємо пріоритет сторінок для пошукових систем (None - не використовувати; Automatically Calculated Priority - обчислювати автоматично).

Кнопка «Start» - запуск генератора.

Через деякий час карта буде сформована. З'явиться сторінка, де за посиланням ви зможете скачати карту Sitemap.xml і додати її в кореневий каталог сайту (як правило, це папка - «public_html»).

Шлях до карти можна буде прописати в файлі robots.txt за допомогою наступного оператора:

1. Насамперед пройдіть на сайт mysitemapgenerator.com Цей сервіс дає можливість згенерувати безкоштовну карту сайту XML, до 500 сторінок. Більш ніж достатньо.

2. Далі в пункті "Генерація sitemap безкоштовно" натиснути кнопку "створити".

4. Введіть перевірочний код, і натисніть кнопку старт.

5. Після того як сканування буде завершено, натисніть на посилання "скачати Sitemap".

6. Далі завантажити готовий Sitemap.

2.4. Як додати карту сайту в пошукові системи

Щоб додати sitemap на сайт, необхідно зробити наступні кроки:

1. Для з'єднання з сервером потрібно будь-який FTP-клієнт. У прикладі буде використовуватися FileZilla. Відкрийте програму і внесіть необхідні дані для з'єднання з сервером по FTP:

Цю інформацію можна отримати від хостинг-провайдера.

1. Зайдіть в кореневу папку вашого сайту (папку, де лежать усі файли ресурсу) і додайте туди ваш sitemap.xml. Це можна зробити подвійним клацанням миші або просто за допомогою перенесення файлу в сусіднє вікно. На питання про заміну існуючого файлу, вибираємо замінити.

2.5. Додаємо sitemap в Яндекс

Щоб повідомити пошуковому роботу Яндекс про наявність на вашому сайті файлу sitemap.xml існує два найбільш ефективних способу:

1. Додати sitemap через robots.txt. Для цього необхідно внести зміни в даний файл, дописавши директиву:

2.Додати sitemap через Яндекс.Вебмайстер. Для цього способу повинні бути підтверджені права на управління сайтом.

Заходимо в панель вебмастера Яндекс. переходимо на потрібний сайт і у вкладці «Налаштування індексування» вибрати «Файли Sitemap».

Для найбільш швидкого досягнення ефекту рекомендується зробити обидві дії.

2.6. Додаємо sitemap в Google

Зробити, це можна в такий спосіб, заходите "Сканування", натискаєте "Файли Sitemap":

в правому верхньому кутку натискаємо на червону кнопку "Додавання / перевірка файлу Sitemap". В відкрилося віконце вписуємо sitemap.xml. А потім, перед відправкою карти блогу, краще її перевірити на наявність помилок, тому тиснемо кнопочку Перевірити файл Sitemap:

Далі, можна додати файл xml карти сайту на індексацію в Google. А вам залишиться тільки чекати, деякий час, поки всі ваші статті проиндексируется:

Ось, дорогі друзі і весь процес. А я на цьому з вами прощаюся, ненадовго. Маю велику надію, що інструкція для вас буде корисна. Успіху і всього хорошого.