О robots.txt и отказах
Достаточно регулярно возникает тема нужности индексации (или наоборот закрытии индексации) страниц тэгов, категорий. Я не буду вдаваться в SEO тонкости, а просто приведу конкретные примеры из своей практики. Итак имеем сайт, стандартная пагинация:
site.com
site.com/index/page2/
site.com/index/page3/
site.com/index/page4/
site.com/index/pageXXX/
Сайт часто обновляется, материал «уходит» вниз, т.е. к примеру сегодня он на site.com, завтра на site.com/index/page2, и далее вниз. Поисковик индексирует как сами топики (site.com/blog/xxx/topic.html), так и страницы вида site.com/index/pageXXX.
Достаточно часто, вес последних в глазах поисковика «выше», чем сам топик (это уже вопрос СЕО магии). Соответственно пользователь, по запросу попадает не в сам топик, а в страницу, которая уже не содержит той информации, которая ему нужна (сайт уже обновился). Посмотрев на контент, он чуть покрутится и уйдет. Точно такая же ситуация наблюдается и с тегами.
Очень рекомендую поставить Яндекс.Метрику и понаблюдать за пользователями через ВебВизор. Посмотрите, какое кол-во пользователей попадает на ваш сайт именно таким методом.
По просьбам трудящихся, привожу примеры закрывающие добавление в индекс определённого рода контента.
Disallow: /index/$
это убирается копия главной, доступна по site.com/index
Disallow: /blog/*/$
убирается дублирование контента через блоги
Disallow: /tags
Disallow: /tag
убираем таги
Disallow: /index/page*/$
убираем пагинацию
27 комментариев
Потом, если сама новость заключается в 3-4 предложениях, её бессмысленно убирать под CUT.
Т.е. хочется что бы сайт был прежде всего для людей, но в этом плане страдает SEO.
Да нужно заметить, что проблему я решил уже давно, написав грамотный robots, скрывающий всё, кроме топиков.
что ли? :D
Ну так поделитесь с сообществом. Не будьте голословны.
В данном случае — степень использования сайта стремится к 0. О чём я и написал выше, ты можешь не согласиться с этим.
В этой связи следует говорить о Web usability, это специальное направление эргономики всестороне исследует взаимодействие человека и информационной системы посредством графического интерфейса пользователя и никоим образом не учитывает действие сторонних факторов и третьих сил в виде постоянно меняющихся алгоритмов и особенностей работы поисковых машин.
То, о чём ты пишешь — это одна из сторон поисковой оптимизации, взаимодействия сайта и поисковых машин, которая никак не вязана с Web Usability. За последний год среди оптимизаторов стало модно бросаться словечком «юзабилити», это нравится клиентам и выглядит очень солидно. И если опытные оптимизаторы обратили внимание на этот аспект исключительно с целью расширения сокращающихся бюджетов на фоне падения доверия клиентов к оптимизаторским «конторам», то начинающие «сеошники» и cочувствующие им энтузиасты банально не понимают значения используемых ими терминов и зачастую не могут объяснить смысл, который они в них вкладывают.
Кому интересно, могу выложить готовый robots, но попозже, сайт еще в сеть даже не выложила )
А пока давайте думать какие папки закрывать:
1) Disallow: /index/
2) Disallow: /new/
3) Disallow: /blog/new/
4) Disallow: /blog/bad/
5) Disallow: /personal_blog/
6) Disallow: /personal_blog/new/
7) Disallow: /personal_blog/bad/
8) Disallow: /top/
Дальше специально продолжать не буду, подключайтесь :)
Я потом подумаю как вообще одной строкой закрыть всё, кроме публикаций одиночных, пошла покупать домен для сайта…
Подсказываю.
Можно сделать условие в одной строке, которое будет закрывать ВСЁ кроме ссылок заканчивающихся на
3) Disallow: /blog/new/
4) Disallow: /blog/bad/
5) Disallow: /personal_blog/
6) Disallow: /personal_blog/new/
7) Disallow: /personal_blog/bad/
Вы хотите без посетителей остаться?
Все посты выводятся в виде site.ru/blog/xxxxx.html Посмотрите вверху вашего браузера на адрес этой страницы.
Всё что остальное — это дублирование всего того что уже есть в постах. Поисковики дубли не любят и иногда даже банят сайты за это, редко но все же. Но это уже другая тема.
Вывод — то что мной написано вверху — все правильно и посетители будут и вывод в поиске будет адекватным и в глазах Яши и Гугла будем выглядеть белыми и пушистыми.
Видела уже не один сайт на этой системе у которых в индексе у Яши 0 старниц, а у Гугла менее 10% не под фильтрами.
Подумайте dimashmailov и onthefly, погуглите тему — АГС 30 и АГС 17 и вообще про баны от поисковиков и как правильно составлять robots.txt и нужен ли он.
Я тут новенькая в этой системе и вижу ребята тут в вопросах СЕО или не разбираются вообще или слабоваты ))
И не пишите — НЕ ТАК — пишите что не так и мотивируйте.
onthefly напишите мне в личку, в чем я не права.
Не вижу причин, чтобы именно на этом сайте не обсуждать эту тему, тем более название у нее подходящее.
onthefly ты как зазывала на другой сайт, как спамеры пишут: Тема хорошая, но тут мало инфы = переходите на мой сайт там и обсудим, у меня там и инфа получше и люди поумнее.
Не спорю, что Серч более посещаемый и затрагивает много тем, но и тут можно пообщаться. Еще раз обращу твое внимание на тему поста этого — О robots.txt и отказах НА сайте LiveStreet CMS
dima_1st спасибо что выложил пример своего robots.txt, если не сложно, выложи ниже поностью (можно без ссылок =) ) и используешь ли ты карту сайта?