2 місяці тому звернулася мадам з високою (дуже високою) навантаженням на сайт і багаторазовими блокуваннями хостінгеров
движок опенкарт і фільтр цін, не пам'ятаю як називається
ННЦ так ось гугл-ядо боти причина всіх її пролблем, на robots.txt і noindex не допомагав)
.htacess ніякого ефекту не дав зовсім, навіть якщо і блокував то ненадовго тому вони (боти) постійно міняли айпі і імена та подання, чесно такого жаху я не бачив
як я їх власне послав лісом, не самий варіант, але все ж точно буде працювати
код міожно і скоротити але це все для максимальної зрозумілості накидав, я закинув це в індекс пхп і все боти лісом, але знову ж таки у вас має всі сторінки посилатися на індекс пхп
Однак, в стандарті її немає
Базовий стандарт обзивається як «протокол винятків», в ньому тільки User-agent і Disallow визначаються. Двома роками пізніше з'явився розширений стандарт, в якому є і Allow, і багато іншого. За 20 років всяко можна було навчитися парсити Роботс.
Тому, розробники пошукових роботів мають повне моральне право ігнорувати її
Розробники ПС мають право ігнорувати і сам robots, що вони і роблять. Напевно помічали як боти сахаються по сторінках, забороненим до індексування.