У зв'язку з великою кількістю питань щодо правильної індексації сайтів на основі DLE, викладаю правила для створення robots.txt для DLE.
Створення robotx.txt для dle.
ситуація:
Яндекс індексує сторінки для друку (print.) І, з часом, викидає новини, для яких відповідають сторінки для друку.
результат:
Згодом сайт в пошуковому індексі є майже суцільні сторінок для друку.
проблема:
Для бірж посилань важко продати посилання з цих сторінок.
Рішення:
Забороняємо сторінки для друку:
User-agent: *
Disallow: / * print
ситуація:
Індексуються сторінки / user /. Спамери "штовхають" сторінки на їх профілі тому останні містять зовнішні посилання (спам).
Рішення:
Забороняємо / user /:
Disallow: / * print
ситуація:
Індексуються сторінки, що не містять контент.
результат:
Все одно випадуть з часом, зайве навантаження на пошукового робота, непотрібні директиви.
Рішення:
Забороняємо подібні директорії:
Disallow: / backup /
Disallow: / engine /
Disallow: / language /
Disallow: / templates /
Disallow: / upgrade /
Disallow: / uploads /
Disallow: /autobackup.php
Disallow: /admin.php
PS: в залежності від дефолтних папок, присутніх в різних панелях хостингу (зокрема, папка cgi-bin), а також папок, що додаються по власній необхідності, не забуваємо їх вписувати.
Вставляйте в кожен з Ваших сайтів, не лінуйтеся і все у Вас буде добре.
Версія 2.0.101. Ще зліше, ще мізантропічно.