Проблем с robots.txt

<<

Mirash

Автор темы

Сообщения: 65

Зарегистрирован: 28 сен 2012, 21:47

Благодарил (а): 0 раз.
Поблагодарили: 0 раз.

Сообщение 29 авг 2013, 12:59

Проблем с robots.txt

Добрый день. Мой файл robots.txt выглядит так:

  Код:
User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /search
Allow: /

Sitemap: http://www.auto-mirage.com/feeds/posts/default?orderby=UPDATED


Проблема в том что в яндекс вебмастере у меня появились документ запрещенные в файле robots.txt. Это url всех моих разделов на сайте. Пример:
http://www.auto-mirage.com/search/label/тест%20драйв%20Nissan
http://www.auto-mirage.com/search/label/тест%20драйв%20Mazda
http://www.auto-mirage.com/search/label/20%20сезон%20топ%20гир

Как видите каждый URL имеет тег "/search/"
И в файле роботс у меня прописано Disallow: /search


Как изменить урлы для всех этих разделов? А то у меня весь сайт состоит из этих разделов.
Мой автомобильный блог http://www.auto-mirage.com
<<

aldous

Аватара пользователя

Сообщения: 1167

Зарегистрирован: 22 май 2011, 22:53

Откуда: Оттуда

Благодарил (а): 20 раз.
Поблагодарили: 131 раз.

Сообщение 29 авг 2013, 22:39

Re: Проблем с robots.txt

Не надо трогать! Всё правильно Яндекс показывает. Ярлыки (labels) запрещены по ссылке /search/, потому что это дубли! В поисковом индексе не нужны дубли: ни страницы ярлыков, ни страницы архивов. Если разрешите их индексировать, попадёте под АГС.
http://www.blogopoisk.ru/2013/08/pages.html#straya
Последний раз редактировалось aldous 29 авг 2013, 22:42, всего редактировалось 2 раз(а).
<<

Mirash

Автор темы

Сообщения: 65

Зарегистрирован: 28 сен 2012, 21:47

Благодарил (а): 0 раз.
Поблагодарили: 0 раз.

Сообщение 19 сен 2013, 10:37

Re: Проблем с robots.txt

Ок но как я понимаю:

Любая статья находится в определенном разделе но сам раздел не индексируется. Соответственно из-за этого часть статей даже не попадают в выдачу и на многие статьи не идет вес с категорий. Верно?

Все таки сам раздел всегда же должен индексироваться.
Мой автомобильный блог http://www.auto-mirage.com

Вернуться в Поисковое продвижение

Кто сейчас на конференции

Зарегистрированные пользователи: Yandex [Img]

cron
Работает на phpBB © 2000, 2002, 2005, 2007 phpBB Group. Дизайн ST Software и Blogger Форум. Русская поддержка phpBB
ЧПУ ссылки от phpbb seo