Блог фрилансера - сайты под ключ

robots.txt

Корректируем robots.txt


ПоисковикиСЕО

составляем правильный robots.txt

Поисковые системы последнее время стали очень жёстко относится к дублям страниц сайтов и к страницам не имеющим контента как такового. А таких страниц, в зависимости от применяемого движка, может быть очень много. В лучшем случае эти страницы после индексации просто напросто будут игнорироваться поисковиком, но чаще всего происходит более неприятная вещь - санкции поисковиков ко всему сайту в виде уменьшения количества страниц в индексе, причём хороших со всех точек зрения, а то и включение какого нибудь фильтра. По крайней мере Гугл ещё весной обьявил что будет вообще игнорировать сайты имеющие большой процент никому не нужных страниц.

Далее...