Бот Яндекса по данным логов сервака находит на сайте странные пути оО

Друзья, а сталкивался ли кто-либо из вас в процессе продвижения LS в поисковиках (в частности — в Яндексе) с вот такой вот мурней в логах сервака:

77.88.27.26 - - [23/Oct/2009:23:28:41 +0400] "GET /index.php/g3n0m/comment/page3/ HTTP/1.0" 404 1403 "-" "Yandex/1.01.001 (compatible; Win16; I)"

Откуда Яша нашел этот пусть /index.php/g3n0m/comment/page3/??? Может ли на это как то влиять .htaccess или robots.txt (насчет последнего я не уверен, но все же спрошу).

Очень странно, и такой мурни, признаться, много у меня в логах. Это меня если честно напрягает сильно.

6 комментариев

avatar
  • Mmka
  • 0
avatar
Я уже ломал голову над этим… но тут же /my/g3n0m/… а у меня в логе бот щупает /index.php/…

Для примера, может быть кого-то на мысль натолкнет, вот еще какие бывают:

/index.php/%d0%ba%d0%b2%d0%b0%d0%bd%d1%82%d0%be%d0%b2%d1%8b%d0%b9%20%d0%bf%d0%b5%d1%80%d0%b5%d1%85%d0%be%d0%b4/

/index.php/equipment/128.html

и т.д.

как видно из примера — хавает из разных разделов и почему то вместо правильного родительского каталога подставляет index.php… И главное откуда он это берет??!!!
avatar
Как думаете, может это быть связано с

RewriteEngine On
RewriteCond %{HTTP_HOST} ^nepropadu.ru [NC]
RewriteRule ^(.*)$ http://www.nepropadu.ru/$1 [R=301,L]
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteRule ^(.*)$ ./index.php

а именно с RewriteRule ^(.*)$ ./index.php? Не освоил я до конца еще htaccess, по сему помогайте плз :)
avatar
Это может быть связано с поиском страниц с сапой.
avatar
Как лечить? Или забить и забыть?
avatar
Ну так как решилась проблема то???
Только зарегистрированные и авторизованные пользователи могут оставлять комментарии.