Налаштувати правильну індексацію сайту допомагає robots.txt, але іноді закрити від індексації необхідно окремі шматки сторінки, або тільки посилання, або частина посилань закрити, а частину залишити - використовувати robots.txt в цих випадках вкрай незручно. Причому, записуючи складне правило легко зробити помилку, а помилка в robots.txt негативно позначиться на всьому сайті. Рішення проблеми - використовувати мета теги і атрибути.
Почнемо, мабуть, з мета-тегів з атребутом name = robots. З їх допомогою можна явно вказати на необхідність індексування сторінки або ж на заборону:
Але головна задумка все ж полягає в закритті від індексування посилань. У свій час посилання мали просто колосальний вплив на ранжування сторінок, і за пузомерки розігрувалася неабияка битва. А жадібність адже не дозволяє нам «за просто так» ставити посилання на кого-то там, навіть якщо ми і скористалися його контентом. Пошуковики і тут пішли нам на зустріч: ловите атрибут для посилань rel = nofollow.
Хоча, на мій погляд, це був вимушений захід. Інакше б ми зіткнулися просто з неймовірним «клоакінг» і жахливими ajax-хитрощами.
А ось і паличка-виручалочка для ряду випадків: атрибут rel = canonical тега link. Дуже корисна річ, просто рятує, коли є кілька сторінок зі схожим контентом і є небезпека, що пошукові системи їх сприймуть як дублі. Просто вказуємо явно канонічну сторінку і далі спимо міцним і здоровим сном.
Однак слід пам'ятати: