Бот Яндекса по данным логов сервака находит на сайте странные пути оО
Друзья, а сталкивался ли кто-либо из вас в процессе продвижения LS в поисковиках (в частности — в Яндексе) с вот такой вот мурней в логах сервака:
Откуда Яша нашел этот пусть /index.php/g3n0m/comment/page3/??? Может ли на это как то влиять .htaccess или robots.txt (насчет последнего я не уверен, но все же спрошу).
Очень странно, и такой мурни, признаться, много у меня в логах. Это меня если честно напрягает сильно.
77.88.27.26 - - [23/Oct/2009:23:28:41 +0400] "GET /index.php/g3n0m/comment/page3/ HTTP/1.0" 404 1403 "-" "Yandex/1.01.001 (compatible; Win16; I)"
Откуда Яша нашел этот пусть /index.php/g3n0m/comment/page3/??? Может ли на это как то влиять .htaccess или robots.txt (насчет последнего я не уверен, но все же спрошу).
Очень странно, и такой мурни, признаться, много у меня в логах. Это меня если честно напрягает сильно.
6 комментариев
Для примера, может быть кого-то на мысль натолкнет, вот еще какие бывают:
как видно из примера — хавает из разных разделов и почему то вместо правильного родительского каталога подставляет index.php… И главное откуда он это берет??!!!
а именно с RewriteRule ^(.*)$ ./index.php? Не освоил я до конца еще htaccess, по сему помогайте плз :)