В логах непонятные обращения поисковых ботов. Итог: 502 ошибка

Вопросы 
178.154.165.251 - - [25/Mar/2013:17:04:31 +0400] "GET /member.php?mod=logging&action=logout&formhash=
— яндекс.
Вчера, гугл бот почти весь день обращался к капче, 
/engine/lib/external/kcaptcha/index.php

Хостинг jino посещаемость 500-800 сутки.
В роботс.тхт стоит запрет на индексацию /engine/ обращения все равно идут.

8 комментариев

avatar
Только что подсказали вот такое
deflate.medialayer.com/
можно поставить и банить их
avatar
Банить поисковых ботов не вариант
avatar
если это поисковый бот то он должен понимать crawl-delay в robots.txt
avatar
crawl-delay это временная задержка если я не ошибаюсь.
Вопрос стоит иначе. Как вообще ботам отключить возможность осуществлять GET запросы на эти страницы
avatar
Для этого надо определится кто такой БОТ!
И если вы это сделаете однозначно то станете миллионером и такие сервисы как qrator ищезнут за ненадобностью т.к. они делают баесовсокое определение правильного\неправильного запроса и потом отсекают те которые считают ботами (по типу антиспама).
avatar
Если же вы имеете в виде поиковые боты. то crawl-delay им хватит
что они не грузили Вашу систему.
+ Посмотрите по логам что им возвращается сервером когда они идут в запрещенные папки. Походу там должен быть 403 ответ и больше ничего делать ненадо боты они же умные сами должны понять что туда нельзя
avatar
Я не совсем последний человек в структуризации данных.
Изучить фрейворк за месяц это мало, ведь синтаксис требует практики,
Проблема более менее решена, 502 ошибку вызывал плагин vkcomments.Проблема решается.
avatar
crawl-delay неумест но, в данном случае.
обнаружен конфликт с плагином.
Только зарегистрированные и авторизованные пользователи могут оставлять комментарии.