Поведінкою роботів пошукових систем в межах сайту можна управляти. Ми розглянемо лише деякі методи керування роботами пошукових систем.
заборона індексації
Не всі сторінки на сайті має сенс віддавати на індексацію пошуковому роботу. Наприклад, якщо у вас є форум, то службові сторінки пошуку, карток користувачів або списків учасників, швидше за все, не будуть мати такої корисної інформації, яку хтось буде шукати через пошуковик. На форумі є важливіші і цікаві сторінки з обговореннями і думками учасників, - тому саме вони повинні бути проіндексовані в першу чергу.
Тому такі сторінки, приклади яких наведені вище, потрібно не показувати пошуковому роботу, щоб не засмічувати його індекс непотрібною інформацією, тим самим звернувши його увагу на інші, більш важливі сторінки сайту. Для цього можна заборонити індексацію певних сторінок за допомогою спеціальних інструкція для робота. Інструкції про заборону індексації розміщують або в файлі винятків, robots.txt, або в спеціальному мета-тезі, <МЕТА NAME=»ROBOTS»>. Розповімо про це докладніше.
CSS (CascadingStyleSheets - каскадні таблиці стилів) - це набір певних властивостей (стилів) для зручного налаштування зовнішнього вигляду елементів веб-сторінки.
Мета-тег ROBOTS
Мета-теги - це невидима користувачеві службова інформація про документ, що знаходиться в самому початку HTML-сторінки. Спрощено структура коду сторінки виглядає так:
тег - це головне позначення типу сторінки, що означає, що ця сторінка є HTML-документ. У тезі
розміщуються мета-теги, заголовок (тег
) Сторінки і інша службова інформація, що не відображається в основному тексті сторінки. У тезі <body> розміщується текст сторінки і інша інформація (наприклад, картинки), яка відображається в браузері користувача.</p>
<h4>файл robots.txt</h4>
<p>Файл robots. txt призначений для зберігання інструкцій по індексуванню сайту пошуковими роботами. Цей файл розташовується в кореневій директорії сайту і запитується кожен раз при зверненні робота до сайту.</p><p>Суть записів в цьому файлі проста - вказуємо кому і що заборонено індексувати на сайті. Інструкцій для дозволу індексації у файлі robots. txt не передбачено, тому відсутність цього файлу на сайті означає, що будуть індексуватися все зустрічаються роботом сторінки. Ось простий приклад вмісту файлу robots.txt:</p>
<p>User-agent: StackRambler Disallow: / cgi-bin /</p>
<p>Ці два рядки означають, що пошуковому роботу Рамблера заборонено індексувати будь-які файли в директорії cgi-bin. Так як ці інструкції призначені тільки для робота Рамблера, значить, всі інші пошуковики будуть індексувати всі, в тому числі і директорію cgi-bin.</p>
<p>Як видно в цьому прикладі, за допомогою файлу robots. txt можна заборонити індексацію цілої групи сторінок, а не тільки однієї. В кінці глави ви знайдете додаткові посилання, за якими знаходяться докладні рекомендації по використанню файлу robots. txt.</p>
<h4>Дата зміни документа</h4>
<p>Вище ми вже говорили про HTTP-заголовках. А зараз зупинимося докладніше на одному з них.</p>
<p>У стандарті протоколу HTTP існує спеціальний запит з заголовком If-modified-Since. Якщо пошуковий робот робить такий запит до сервера, на якому знаходиться ваш сайт, це означає, що він звертається до сервера з «проханням» видати сторінку тільки в тому випадку, якщо вона змінювалася після заданої дати.</p>
<p>Коректна обробка запитів з датами змін документів актуальна для сайтів з великою кількістю сторінок і дозволяє направляти роботів на нові та оновлені документи. Проте цим методом слід користуватися з обережністю, оскільки алгоритми роботи різних пошукових систем можуть істотно відрізнятися, і, перефразовуючи відомий вислів, можна сказати: «Що для Google добре, то для Яндекса - погано».</p>
<p>Технічні питання функціонування сайту і взаємодії з роботами пошукових систем можна і потрібно вирішувати ще на етапі проектування сайту до початку його розробки. Це дозволить уникнути можливих проблем і мінімізувати подальші доопрацювання, часто дорогі, здатні перетворювати оптимізацію сайтів в «роботу над помилками».</p>
<p>Але правильне виконання технічних вимог - далеко не все, що необхідно для успішного просування сайту в пошукових системах. Раніше ми говорили, що пошукові системи є «місцем зустрічі» попиту на інформацію і пропозиції інформації. Власник сайту пропонує інформацію своїм відвідувачам, і щоб робити це ефективно, він повинен добре знати особливості попиту, представляти, як користувачі можуть шукати в пошукових системах то, що він пропонує.</p>
<p>У наступному розділі ми розповімо, як з мільйонів пошукових запитів, які вводять користувачі в пошукові системи, відібрати формулювання, найкраще підходять для просування вашого сайту.</p>
<h4>Схожі статті</h4>
<ul>
<li>
<p><a href="/articles/indeksacija-sajtu-v-poshukovih-sistemah-shabloni.php">Індексація сайту в пошукових системах, шаблони joomla, joomla prof</a></p>
</li>
<li>
<p><a href="/articles/jak-polipshiti-indeksaciju-sajtu.php">Як поліпшити індексацію сайту</a></p>
</li>
<li>
<p><a href="/articles/pidkazki-dlja-robota-jak-upravljati-indeksacieju.php">Підказки для робота як управляти індексацією сайту, промотехніка</a></p>
</li>
</ul>
</div>
</article>
</div>
</div>
</div>
<footer class="igrzom-footer clearfix">
<ul>
</ul>
<p>© Copyright 2016 - 2024 | Всі права захищен</p>
<br>
<p><a href="/privacy.php">Privacy Policy</a></p>
<!--LiveInternet counter--><script type="text/javascript">
document.write("<a href='//www.liveinternet.ru/click' "+
"target=_blank><img src='//counter.yadro.ru/hit?t50.6;r"+
escape(document.referrer)+((typeof(screen)=="undefined")?"":
";s"+screen.width+"*"+screen.height+"*"+(screen.colorDepth?
screen.colorDepth:screen.pixelDepth))+";u"+escape(document.URL)+
";"+Math.random()+
"' alt='' title='LiveInternet' "+
"border='0' width='31' height='31'><\/a>")
</script><!--/LiveInternet-->
</footer>
</div>
</div></body>
</html>