Блокування пошукових роботів Ahrefs Bot і Semrush Bot або як знизити навантаження на сервер
На улюбленому хостингу. в моєму недорогому тариф є обмеження по навантаженню на сервер, і в один прекрасний день мені прийшов лист від хостера, типу зменшите навантаження на сервер, проаналізуйте логи, можливо якісь скрипти працюють неправильно. Дивно подумав я, начебто нічого не міняв, раніше хостер не скаржився на підвищене навантаження. Думав може знову який-небудь шкідливий код смикає процесор, перевірив ai-bolitом. ніби все нормально, нічого підозрілого не виявлено. Поліз в логи, як пропонував хостер. І там виявив, що дуже багато запитів від різних пошукових роботів, у тому числі від будь то до селі невідомих: Ahrefs Bot і Semrush Bot, кількість запитів становила до 40% від загальної кількості запитів. Та ще херови хакери шукають, віддалені раніше, шкідливі файли, та ще з такою періодичністю, як ніби боятися щось пропустити)))
Почитав рекомендації, що з цим робити і ось що накопав:
1. У файлі robots.txt необхідно заборонити пошуковим роботам сканування сайту:
Так як незнаю, в логах вказано назву ботів, як SemrushBot / 1.1
bl і AhrefsBot / 5.1, то думаю не буде зайвим прописати і ці назви спамерських пошукових роботів. Звичайно шкода, що якщо блокування бота відбувається за унікальним назвою бота типу AhrefsBot / 5.1, мабуть при зміні цифри 5.1 бот необхідно буде заново прописувати в robots.txt
2. Блокування ботів в htaccess: