Привіт, друзі! В цілому сайтобудування я займаюся близько 6 років. Не знаю, багато це чи мало, але не в цьому суть. За цей період часу я поміняв двох хостинг-провайдерів - зараз у третього.
Висновок, який я зробив для себе на підставі власного досвіду, такий: в успішному просуванні сайту величезну роль грають якість роботи хостера і потужності сервера, на якому розташовуються сайти. Пошуковики однозначно не люблять ресурси, які постійно падають і знаходяться поза зоною доступу. Тому особисто мені смішно, коли люди із захватом розповідають про те, що вони платять за хостинг всього лише долар в місяць. За замовчуванням, не може бути, що такий хостинг в змозі надати якісні послуги.
Мій вибір - хороший і надійний хостинг-провайдер і дорогий тариф, який передбачає високу потужність сервера. А оскільки до VDS я поки ще не доріс, та й особливої потреби в цьому поки не відчуваю, то мені цілком достатньо персонального веб-сервера, в принципі, вважається за потужністю зручною альтернативою VDS.
Але при цьому і «на стару буває помилка». По-перше, «залізяки» мають властивість ламатися, а тому збої бувають на будь-якому обладнанні. По-друге, існує ряд зовнішніх факторів, які можуть зробити істотний вплив на працездатність сайтів.
Позитивним для вебмастера фактором, перевантажувати сервер, є зростання відвідуваності, негативними факторами - ддос-атаки, а також зайві пошукові боти, «шастають» по сайтам.
Нещодавно отримав повідомлення від хостера про те, що їм виявлені серйозні навантаження на сервер від дій пошукових роботів і наводиться великий список цих ботів. Фактично виходить свого роду невелика ддос-атака, коли цими ботами протягом декількох секунд запитуються сотні сторінок сайтів.
Як захиститися від небажаних пошукових роботів? Недовго думаючи, пошукав в інтернеті і знайшов таке рішення - доповнити файл .htaccess наступного змісту:
order allow, deny
allow from all
# Далі список юзерагентов яким ми забороняємо доступ
SetEnvIfNoCase User-Agent JS-Kit bad_bot
SetEnvIfNoCase User-Agent PostRank bad_bot
SetEnvIfNoCase User-Agent Python-urllib bad_bot
SetEnvIfNoCase User-Agent UnwindFetchor bad_bot
SetEnvIfNoCase User-Agent facebookexternalhit bad_bot
SetEnvIfNoCase User-Agent TweetmemeBot bad_bot
SetEnvIfNoCase User-Agent Butterfly bad_bot
SetEnvIfNoCase User-Agent MFE_expand bad_bot
SetEnvIfNoCase User-Agent Java bad_bot
SetEnvIfNoCase User-Agent Summify bad_bot
SetEnvIfNoCase User-Agent MetaURI bad_bot
SetEnvIfNoCase User-Agent FlipboardProxy bad_bot
SetEnvIfNoCase User-Agent ScribdReader bad_bot
SetEnvIfNoCase User-Agent RockMelt bad_bot
SetEnvIfNoCase User-Agent InAGist bad_bot
SetEnvIfNoCase User-Agent NING bad_bot
SetEnvIfNoCase User-Agent TweetedTimes bad_bot
SetEnvIfNoCase User-Agent PaperLiBot bad_bot
SetEnvIfNoCase User-Agent Library bad_bot
SetEnvIfNoCase User-Agent Ezooms bad_bot
SetEnvIfNoCase User-Agent strawberryj bad_bot
SetEnvIfNoCase User-Agent Scooper bad_bot
SetEnvIfNoCase User-Agent Ahrefs bad_bot
SetEnvIfNoCase User-Agent Spider bad_bot
SetEnvIfNoCase User-Agent None bad_bot
SetEnvIfNoCase User-Agent EventMachine bad_bot
SetEnvIfNoCase User-Agent aiHitBot bad_bot
SetEnvIfNoCase User-Agent SolomonoBot bad_bot
SetEnvIfNoCase User-Agent SearchBot bad_bot
SetEnvIfNoCase User-Agent Wget bad_bot
SetEnvIfNoCase User-Agent Crawler bad_bot
Order Allow, Deny
Allow from all
Deny from env = bad_bot
Точно таким же чином в цей перелік заборонених ботів можна прописати і ім'я іншого дістає Вас бота. Думаю, розберетеся.