Монополизация ресурсов сервера

Блог им. alesha
Сегодня от валуехоста получил следующее сообщение

Вас отключили за монополизацию ресурсов сервера, соответственно папка htdocs на данный момент вам недоступна, причина монополизации — поисковые роботы yahoo и google.

Необходимо устранить причину монополизации — ограничить область индексации только нужными страницами, после чего написать запрос о включении услуг.

Как выйти из этой ситуации?

Спасибо.

8 комментариев

avatar
Правильнее всего будет сменить хостера…

Если за последнее время ни чего не изменилось, должно помочь следующее:
В файле robots.txt пропишите следующее
User-agent: Slurp
Disallow: /

User-agent: Yahoo! Slurp
Disallow: /

User-agent: Googlebot
Disallow: /

User-agent: Googlebot-Image
Disallow: /
avatar
Вы предлагаете полностью запретить индексацию сайта для Яху и Гугла. Это не правильно и приведёт к большой потере пользователей.
А насчёт сменить хостера — хорошее предложение, но ВалиХост ставит палки в колёса при попытке уйти от них.
avatar
Вы видите другой выход из ситуации? :)
avatar
В Яндексе это решается так: help.yandex.ru/webmaster/?id=996567#1022359
Для Яху и Гугла должны быть похожие решения.
avatar
И в Яху и в Гугл поддерживается Crawl-delay
Возможно, вы правы, но кто скажет сколько секунд задержки ставить, чтобы это «устроило» хостера?
avatar
Я бы ставил от 1 до 2 секунд в зависимости от количества страниц, посещаемости сайта и частоты обновления контента.
avatar
Так же для Яху можно поставить побольше. Хотя это зависит с какого поисковика чаще ходят.
комментарий был удален
Только зарегистрированные и авторизованные пользователи могут оставлять комментарии.