В общем наткнулся на такую проблему, отправляю посты на индексацию через sitemap яндексу и гуглу. Яндекс индексирует нормально. Гугл больше половины постов игнорит (Отправлено 12, проиндексировано 4). Проверил, действительно в гугле нет некоторых топиков, а в яндексе всё отлично. Думаю дело в robots.txt.

На сайте стоит стандартный Robots:

User-agent: *
Disallow: /auth/
Disallow: /rss
Disallow: /search/
Disallow: /stream
Disallow: /feed
Disallow: /ajax
Disallow: /admin
Disallow: /subscribe/
Disallow: /tag/$
Disallow: /page/$
Disallow: /error/$
Disallow: /settings/$
Disallow: /content/$
Disallow: /talk/$
Disallow: /people/
Disallow: /profile/
Host: https://мойсайт
Sitemap: https://мойсайт/моякарта

Так же нашёл в гугле страницы:
/admin/
/content/
/page/
/blog/top/?period=30
/settings/
/talk/
/index/discussed/?period=1
/index/top/?period=all
/sitemap/
/discussed/
/blog/good
/blog/top/
/index/page2/
/index/newall/

У кого сейчас 2.0? Какие Robots-ы используете? Посоветуйте рабочий файл Robots.txt для 2.0.