Напористі ahrefsbot-и - блог dimax - a

Напористі AhrefsBot-и

Якщо у вашому господарстві є сайти в кілька десятків, а то і сотень тисяч динамічних сторінок, то варто поберегтися заздалегідь і всіляко відгородити себе від сервісу моніторингу беклінков ahrefs.com, а конкретніше, від його ботів, які навалюються на великі сайти іноді настільки стрімко і нещадно, що моментально можуть відправити ваш хостинг в глибокий нокаут.

Щоб ця неприємність вас минула необхідно зробити наступне:

1. В robots.txt сайту додати:

User-agent: AhrefsBot
Disallow: /

2. У .htaccess в корені сайту додати:

RewriteEngine On
RewriteCond% AhrefsBot
RewriteRule ^. * - [F, L]

Читайте також:

А є ще така тварюка як Updowner.com

Теж своїми ботами укладає хостинг?

А хіба хостер таку дурниць не Блоч сам?

Якісь хостери напевно блочат, але, думаю, далеко не всі. Та й багато, у кого є хоча б кілька великих сайтів, тримають їх не на віртуальних хостингах, а на VPS або Дедик, а їх адмініструвати самому доводиться.

А є спосіб задати правило, щоб з одного ip було, скажімо, не більше 200 звернень в день?

Є звичайно, але це вже треба у професіоналів серверного адміністрування дізнаватися, я таке робити не вмію.

Dimax, ефективний саме перший метод. Оскільки при використанні другого (через .htaccess) до роботс.тхт страшний бот НЕ добереться - апач не дасть доступ.

Ха, і правда, не подумав про це

З іншого боку, все, напевно, знають, що директиви robots.txt це лише прохання, за великим рахунком, а не закон, бот може їх слухати, а може і ні. Тому примусово видавати 403 боту більш дієво, по ідеї.

Статтю знайшов зовсім випадково. Але дюже виявилася актуальною. Веду сайт автомобільної тематики, інтернет-магазин, сторінок не злічити, так як наповнення було автоматичним з биза запчастин. Тепер знаю як боротися з напастю!