Все знают, что
дубли это плохо, при их большом количестве можно сильно пострадать, особенно от Яндекса. Итак, я попробую дать ответ на то,
как убрать часть дублей в ЛС. А если кто поможет убрать другую часть дублей — буду премного благодарен!
Убираем дубли типа
ваш сайт/blog и
ваш сайт/blog/ — как видите, здесь отличие только в слэше в конце. Нужно эти страницы склеить. Я предлагаю сделать так, чтобы в конце всегда был слэш, написать в .htaccess:
RewriteCond %{REQUEST_URI} (.*/[^/.]+)($|\?)
RewriteRule .* %1/ [R=301,L]
Но в таком случае (да и по умолчанию, если код указанный выше не писать), остается еще часть дублей — это сами статьи. Каждая статья доступна по двум адресам:
название статьи.html и
название статьи.html/
Как видите, есть в конце слэш, и все статьи со слешем есть в индексе Яндекса. На этом сайте, кстати, тоже. Как решить эту склейку, я не знаю. Поэтому, предлагаю решить ее вместе.