Вопросы и ответы по файлу robots.txt

<<

navaja

Аватара пользователя

Автор темы

Сообщения: 4

Зарегистрирован: 06 фев 2012, 11:53

Благодарил (а): 0 раз.
Поблагодарили: 0 раз.

Сообщение 06 фев 2012, 12:03

Вопросы и ответы по файлу robots.txt

Всем привет.

Файл robots.txt, который я уже ненавижу, постоянно блокирует мне ссылки такого вида:

1. http://www.mysite.com/search?updated-ma ... -results=7

2. http://www.mysite.com/search?updated-ma ... inate=true

Дорогие гуру, пожалуйста, дайте толковое объяснение сему происшествию и посоветуйте, как это исправить. Желательно с подробными инструкциями.

Заранее спасибо.
Последний раз редактировалось Admin 25 апр 2015, 11:28, всего редактировалось 1 раз.
Причина: заголовок
<<

aldous

Аватара пользователя

Сообщения: 1167

Зарегистрирован: 22 май 2011, 22:53

Откуда: Оттуда

Благодарил (а): 20 раз.
Поблагодарили: 131 раз.

Сообщение 06 фев 2012, 13:00

Re: Все тот же robots.txt

Любая ссылка из разряда search должна блокироваться, иначе насоздаёте в индексе дубли и попадёте в конце концов под санкции поисковиков.
Robots.txt не редактируется.
<<

navaja

Аватара пользователя

Автор темы

Сообщения: 4

Зарегистрирован: 06 фев 2012, 11:53

Благодарил (а): 0 раз.
Поблагодарили: 0 раз.

Сообщение 06 фев 2012, 13:07

Re: Все тот же robots.txt

То есть, все хорошо, так надо, и можно ничего не делать?
<<

Admin

Аватара пользователя

Сообщения: 1450

Зарегистрирован: 21 мар 2011, 15:30

Благодарил (а): 66 раз.
Поблагодарили: 157 раз.

Сообщение 06 фев 2012, 23:19

Re: Все тот же robots.txt

navaja писал(а):То есть, все хорошо, так надо, и можно ничего не делать?

Да, так надо, и так правильно, и с этим все равно ничего не сделать :)
<<

navaja

Аватара пользователя

Автор темы

Сообщения: 4

Зарегистрирован: 06 фев 2012, 11:53

Благодарил (а): 0 раз.
Поблагодарили: 0 раз.

Сообщение 07 фев 2012, 00:40

Re: Все тот же robots.txt

SEO-Дилетант'ка, я как раз вот прочитала вашу статью "Роль файла robots.txt в оптимизации Blogspot Blogger" - ваша же?

Там говорится, что во избежание попадания таких ссылок в индекс у вас удален листинг по страницам. Если не сложно, объясните чуть подробней, как это?
<<

Admin

Аватара пользователя

Сообщения: 1450

Зарегистрирован: 21 мар 2011, 15:30

Благодарил (а): 66 раз.
Поблагодарили: 157 раз.

Сообщение 07 фев 2012, 02:17

Re: Все тот же robots.txt

navaja писал(а):SEO-Дилетант'ка, я как раз вот прочитала вашу статью "Роль файла robots.txt в оптимизации Blogspot Blogger" - ваша же?

Там говорится, что во избежание попадания таких ссылок в индекс у вас удален листинг по страницам. Если не сложно, объясните чуть подробней, как это?

Статья старая, удаление листинга не обязательно.
Лучше добавьте после открывающего тега
  Код:
<head>

этот код:
  Код:
<b:if cond='data:blog.pageType == &quot;index&quot;'>
<link expr:href='data:blog.homepageUrl' rel='canonical'/>
</b:if>
<<

navaja

Аватара пользователя

Автор темы

Сообщения: 4

Зарегистрирован: 06 фев 2012, 11:53

Благодарил (а): 0 раз.
Поблагодарили: 0 раз.

Сообщение 11 фев 2012, 23:19

Re: Все тот же robots.txt

Если несложно, расскажите, что дает этот код? А то хочется ведь не только полезные штуковины вставлять, но и понимать при этом, для чего, собственно, они нужны :)

P.S. Мои поздавления, растите и развивайтесь!
<<

tol64

Аватара пользователя

Сообщения: 47

Зарегистрирован: 25 окт 2012, 11:00

Благодарил (а): 4 раз.
Поблагодарили: 3 раз.

Сообщение 21 ноя 2012, 11:14

Re: Все тот же robots.txt

Подскажите, можно ли в файле robots.txt прописать две строки sitemap?

Например:

  Код:
User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /search
Allow: /

Sitemap: http://tol64.blogspot.com/sitemap.xml
Sitemap: http://tol64.blogspot.com/feeds/posts/default?orderby=UPDATED


//---

Просто для Яндекса нужна первая строка, а по умолчанию Google прописывает вторую. Как сделать универсальный вариант?
<<

aldous

Аватара пользователя

Сообщения: 1167

Зарегистрирован: 22 май 2011, 22:53

Откуда: Оттуда

Благодарил (а): 20 раз.
Поблагодарили: 131 раз.

Сообщение 21 ноя 2012, 14:45

Re: Все тот же robots.txt

1) Можно и так две записи оставить.

2) Можно сделать профессионально и разделить роботс на группы:

User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /search
Allow: /
Sitemap: http://tol64.blogspot.com/feeds/posts/d ... by=UPDATED

User-agent: Yandex
Disallow: /search
Allow: /
Sitemap: http://tol64.blogspot.com/sitemap.xml


3) Можно просто http://tol64.blogspot.com/sitemap.xml скормить в ЯВ. Не знаю, понимает его Яндекс или нет, но валидатор не ругается. Блогспот неоднократно его вводил, и каждый раз с ним были проблемы, может доделали наконец. Я использовал последний раз в ручную составленный xml.
<<

tol64

Аватара пользователя

Сообщения: 47

Зарегистрирован: 25 окт 2012, 11:00

Благодарил (а): 4 раз.
Поблагодарили: 3 раз.

Сообщение 21 ноя 2012, 15:59

Re: Все тот же robots.txt

aldous писал(а):1) Можно и так две записи оставить.

2) Можно сделать профессионально и разделить роботс на группы:

3) Можно просто /go.php?http://tol64.blogspot.com/sitemap.xml скормить в ЯВ. Не знаю, понимает его Яндекс или нет, но валидатор не ругается. Блогспот неоднократно его вводил, и каждый раз с ним были проблемы, может доделали наконец. Я использовал последний раз в ручную составленный xml.


Спасибо. Выбрал второй вариант. А какие были проблемы по третьему пункту? Я уже довольно давно в вебмастере яндекса объявил карту в таком формате:

  Код:
http://tol64.blogspot.com/sitemap.xml


Через пару недель статус ОК.

То есть, как узнать действительно ок или есть проблемы? ))
След.

Вернуться в Поисковое продвижение

Кто сейчас на конференции

Зарегистрированные пользователи: Bing [Bot]

Работает на phpBB © 2000, 2002, 2005, 2007 phpBB Group. Дизайн ST Software и Blogger Форум. Русская поддержка phpBB
ЧПУ ссылки от phpbb seo