robots.txt для запрета западных "ненужных" ботов Оптимизация и продвижение Нашел на просторах сети такой список Читать дальше →