Дубли контента

Возможно эта информация будет полезна владельцам сайтов и сообществ на ЛС.

Так же следует заметить, что она потенциально может представлять актуальность для тех кто парится как свой проект сделать «пушистым» в глазах поисковых систем.

В определенный период времени я понял, что не стоит брезговать поисковыми системами, и решил делать определенные действия для получения пользователей оттуда.

Я выбрал ряд страниц которые решил продвигать. Это были как коллективные блоги, так и отдельные статьи в блогах и просто статичные страницы.

С внутренней оптимизацией решил не заморачиваться. В робот тхт на тот момент был закрыл только rss и все.

По нужным словам позиции росли, хотя было странно, что иногда был слишком большой люфт (-+ 10-20 позиций) после каждого апа.

Но ситуация изменилась кардинальным образом после введения перед НГ нового алгоритма.

Все мои СЧ и ВЧ вылетели напрочь из 1000. Хотя страницы все остались в индексе, просто резко понизились позиции в выдаче.
Страницы же статичные остались и по ним все до сих пор идет в плюс.

На серче читал похожие темы, все говорили что такое бывает и нужно подождать пару апов и все вернется. Но я все таки решил проконсультироваться на эту тему.

Показав свой сайт и проблемные запросы получил ответ.
Оказалось что в моей ситуации скорей всего проблема дублировании контента.

Пример:
есть страница yayog.ru/blog/tantra/

Ищем текст
Тантра являет собой чрезвычайно неоднородное явление, она включает в себя многочисленные племенные и региональные культы, допускающие разные варианты классификаций. Но вместе с тем, интересно отметить, что разнообразные тантрические течения имеют несколько общих рабочих принципов, таких как необходимость духовного наставника, необходимость посвящения, таинство выполнения ритуалов и использование символизма. В этом значении, Тантра в целом может быть охарактеризована как «мудрость, напрямую передаваемая от учителя к ученику посредством символов». Именно этот символизм и представляет наибольшую трудность понимания тантрической доктрины для исследователей, особенно исследователей западного происхождения.

Проверяем на уникальность…

Найдено 100% совпадений по адресу: yayog.ru/tag/%D0%BC%D0%B0%D0%...0%D0%BB%D0%B0/
Найдено 100% совпадений по адресу: yayog.ru/blog/tantra/200.html
Найдено 100% совпадений по адресу: yayog.ru/tag/%D0%BC%D0%B5%D0%...3/test.swf.swf
Найдено 100% совпадений по адресу: www.yayog.ru/tag/%D1%82%D0%B0...6%D0%B8%D1%8F/
Найдено 100% совпадений по адресу: yayog.ru/blog/tantra/

Результат пять дублей одного и того же текста. Не удивительно что яндекс счел это за поисковый спам.
______________________________________________________
Так что теперь перебираю структуру, все лишнее закрою в робот тхт.
После буду писать Платону с просьбой о помиловании.

3 комментария

avatar
Интересно как в test.swf.swf оказался текст, да еще и не уникальный?

Можно старницы продвижения в личку?
avatar
Так что теперь перебираю структуру, все лишнее закрою в робот тхт.
ну вы же с нами поделитесь? ;)

у меняна ЛС 0.3.1 закрыто:
Disallow: /profile/
Disallow: /people/
Disallow: /page/help/
Disallow: /login/
Disallow: /registration/
Disallow: /tag/
Disallow: /blog/bad/
Disallow: /page/help
Disallow: /top/
Disallow: /log/bad/
Disallow: /my/

хочетцо сравнить ;)
avatar
После написания поста, погуглил по сайту и увидел что тема уже поднималась.
И варианты роботс уже есть. livestreet.ru/blog/1487.html

Disallow: /rss
Disallow: /people
Disallow: /blogs
Disallow: /tags
Disallow: /top
Disallow: /comments
Disallow: /talk
Disallow: /search
Disallow: /classes
Disallow: /config
Disallow: /include
Disallow: /templates
Disallow: /uploads
Disallow: /logs
Disallow: /registration
Disallow: /login
Disallow: /profile
Disallow: /my
Только зарегистрированные и авторизованные пользователи могут оставлять комментарии.