Индексация Ajax ссылок

Здравствуйте уважаемые знатоки СЕО.
Сегодня пересматривал гугл и наткнулся на то. что он индексирует и показывает ошибку 404 на ссылках которые ведут на плагины.
Проанализировал топики с которых были переходы гугла по тем ссылкам и единственное что было между ними общего это: aRouter в javascript-е страницы:

aRouter['error'] = 'http://goloskarpat.info/error/';
aRouter['registration'] = 'http://goloskarpat.info/registration/';
aRouter['profile'] = 'http://goloskarpat.info/profile/';
aRouter['my'] = 'http://goloskarpat.info/my/';
aRouter['blog'] = 'http://goloskarpat.info/blog/';
aRouter['personal_blog'] = 'http://goloskarpat.info/personal_blog/';
aRouter['index'] = 'http://goloskarpat.info/index/';
aRouter['topic'] = 'http://goloskarpat.info/topic/';
aRouter['login'] = 'http://goloskarpat.info/login/';
aRouter['people'] = 'http://goloskarpat.info/people/';
aRouter['settings'] = 'http://goloskarpat.info/settings/';
aRouter['tag'] = 'http://goloskarpat.info/tag/';
aRouter['talk'] = 'http://goloskarpat.info/talk/';
aRouter['comments'] = 'http://goloskarpat.info/comments/';
aRouter['rss'] = 'http://goloskarpat.info/rss/';
aRouter['link'] = 'http://goloskarpat.info/link/';
aRouter['question'] = 'http://goloskarpat.info/question/';
aRouter['blogs'] = 'http://goloskarpat.info/blogs/';
aRouter['search'] = 'http://goloskarpat.info/search/';
aRouter['admin'] = 'http://goloskarpat.info/admin/';
aRouter['ajax'] = 'http://goloskarpat.info/ajax/';
aRouter['feed'] = 'http://goloskarpat.info/feed/';
aRouter['stream'] = 'http://goloskarpat.info/stream/';
aRouter['photoset'] = 'http://goloskarpat.info/photoset/';
aRouter['subscribe'] = 'http://goloskarpat.info/subscribe/';
aRouter['language'] = 'http://goloskarpat.info/language/';
aRouter['less'] = 'http://goloskarpat.info/less/';
aRouter['k2import'] = 'http://goloskarpat.info/k2import/';
aRouter['mainpreview'] = 'http://goloskarpat.info/mainpreview/';


Немого погуглив тут и там узнал что гугол действительно индексирует ссылки в скриптах несмотря на то ajax-овые они или нет, внутренние или внешние, закрытые или открытые.
Также нашел что для прекращения такого самовольтва Гугла рекомендуют делать rel=«nofollow» в ссылки. Но, простите, в javascript некуда их включать.

У кого есть какие соображения по этому поводу? Покачто обрамил этот javasript в noindex в надежде что гугол поймет это правильно

22 комментария

avatar
Не поймёт. noindex полностью игнорируется Гуглом. Это тег Яндекса. Путь у вас только один — robots.txt.
Disallow: /js/
Disallow: /css/
Туда. По идее, должно помочь.
avatar
Как раз по идее вот это:
Disallow: /js/
Disallow: /css/
И не может помочь, потому что все эти ссылки прописаны в переменной aRouter на каждой странице.
Выход — в robots.txt забивать ВСЕ ссылки из aRouter но тогда при каждой установке\удалении плагина придется перелопачивать этот robots.txt.
avatar
Я не знаю что такое aRouter. Но что вам мешает вынести это скрипт из старницы в .js файл и жить счастливо не меняя каждый раз robots.txt?
avatar
Ну как минимум то что он основа функционирования ЛС и я пока незнаю что произойдет если его вынести в отдельный js файл
avatar
Посмотрел у нас на это… На самом деле, я не уверен что проблема именно в этом скрипте. Потому, что скрипт-то и у нас есть, а описанной вами проблемы — нет. Скрипт наверняка динамически регенерированный, а значит должен быть код где-то в tpl. Теоретически — вынести всё это в отдельный файл всё же можно. Вечером покопаюсь что там, да как…
avatar
Вот где-то здесь: www.google.com/webmasters/tools/crawl-errors
avatar
Угу. Вы правы. Есть такая тема и у нас. Другой вопрос — может ну их нафиг эти несчастные пару десятков ошибок? :) Возни тьма, а толку мизер :)
avatar
Дык вот может сеошники подскажут что де и как тута
avatar
Ну а что вам тут SEO-шники сказать могут? Лучше, конечно, убрать. Вопрос тока какой ценой. :) Пути кроме как через robots.txt я не вижу…
avatar
Надо же, как все запущено… да, есть проблема, нужно решать. Спасибо!
avatar
Короче, решение лобовое — 301 для неполноценных линков на главную Апачем:
<Location />
 RedirectMatch permanent /tag/$ /
 RedirectMatch permanent /page/$ /
 RedirectMatch permanent /topic/$ /
 RedirectMatch permanent /profile/$ /
 RedirectMatch permanent /subscribe/$ /
</Location>

Идея понятна. Для nginx — по анологии
avatar
Отменяется. привело к неприятным последствиям :) копаем дальше :)
avatar
Ну как вариант только robots.txt
avatar
но он, как и редирект чреват как минимум тем что надо каждый раз лезть в роботы при добвлении\удалении плагина
avatar
Угу. Но другого пути похоже нет, да и не так уж часто плагины добавляются\удаляются. Единственное я сделал в такой манере:
Disallow: /tag/$
avatar
Disallow: /tag/$
Ну незнаю у меня очень даже много людей приходять именно сюда. А если его заблокировать то я могу их потерять.
avatar
Откуда они на такой линк могут приходить? Не из поисковиков точно. Для поисковиков это мертвый линк = 404.
avatar
avatar
Ты суслика$ видишь в конце? А он есть! Это означает что блокироваться будет только строго /tag/ а не все варианты которые на него начинаются. RTFM!!!
avatar
В этом смысле, да, но у меня с /tag/? идет переадресация на главную
avatar
Я видел. :) Но я это просто как пример дал. Я так все проблемные 404 линки в robots заблочил.
avatar
Спасибо, к стати за тему. Подтолкнуло покопаться в во всяком разном. :)
Только зарегистрированные и авторизованные пользователи могут оставлять комментарии.