Вопросы и ответы по файлу robots.txt

06 фев 2012, 08:03 navaja

Всем привет.

Файл robots.txt, который я уже ненавижу, постоянно блокирует мне ссылки такого вида:

1. http://www.mysite.com/search?updated-ma ... -results=7

2. http://www.mysite.com/search?updated-ma ... inate=true

Дорогие гуру, пожалуйста, дайте толковое объяснение сему происшествию и посоветуйте, как это исправить. Желательно с подробными инструкциями.

Заранее спасибо.

06 фев 2012, 09:00 aldous

Любая ссылка из разряда search должна блокироваться, иначе насоздаёте в индексе дубли и попадёте в конце концов под санкции поисковиков.
Robots.txt не редактируется.

06 фев 2012, 09:07 navaja

То есть, все хорошо, так надо, и можно ничего не делать?

06 фев 2012, 19:19 Admin

navaja писал(а):То есть, все хорошо, так надо, и можно ничего не делать?

Да, так надо, и так правильно, и с этим все равно ничего не сделать

06 фев 2012, 20:40 navaja

SEO-Дилетант'ка, я как раз вот прочитала вашу статью "Роль файла robots.txt в оптимизации Blogspot Blogger" - ваша же?

Там говорится, что во избежание попадания таких ссылок в индекс у вас удален листинг по страницам. Если не сложно, объясните чуть подробней, как это?

06 фев 2012, 22:17 Admin

navaja писал(а):SEO-Дилетант'ка, я как раз вот прочитала вашу статью "Роль файла robots.txt в оптимизации Blogspot Blogger" - ваша же?

Там говорится, что во избежание попадания таких ссылок в индекс у вас удален листинг по страницам. Если не сложно, объясните чуть подробней, как это?

Статья старая, удаление листинга не обязательно.
Лучше добавьте после открывающего тега

Код:: <head>

этот код:

Код:: <b:if cond='data:blog.pageType == "index"'> <link expr:href='data:blog.homepageUrl' rel='canonical'/> </b:if>

11 фев 2012, 19:19 navaja

Если несложно, расскажите, что дает этот код? А то хочется ведь не только полезные штуковины вставлять, но и понимать при этом, для чего, собственно, они нужны

P.S. Мои поздавления, растите и развивайтесь!

21 ноя 2012, 07:14 tol64

Подскажите, можно ли в файле robots.txt прописать две строки sitemap?

Например:

Код:: User-agent: Mediapartners-Google Disallow: User-agent: * Disallow: /search Allow: / Sitemap: http://tol64.blogspot.com/sitemap.xml Sitemap: http://tol64.blogspot.com/feeds/posts/default?orderby=UPDATED

//---

Просто для Яндекса нужна первая строка, а по умолчанию Google прописывает вторую. Как сделать универсальный вариант?

21 ноя 2012, 10:45 aldous

1) Можно и так две записи оставить.

2) Можно сделать профессионально и разделить роботс на группы:

User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /search
Allow: /
Sitemap: http://tol64.blogspot.com/feeds/posts/d ... by=UPDATED

User-agent: Yandex
Disallow: /search
Allow: /
Sitemap: http://tol64.blogspot.com/sitemap.xml

3) Можно просто http://tol64.blogspot.com/sitemap.xml скормить в ЯВ. Не знаю, понимает его Яндекс или нет, но валидатор не ругается. Блогспот неоднократно его вводил, и каждый раз с ним были проблемы, может доделали наконец. Я использовал последний раз в ручную составленный xml.

21 ноя 2012, 11:59 tol64

aldous писал(а):1) Можно и так две записи оставить.

2) Можно сделать профессионально и разделить роботс на группы:

3) Можно просто /go.php?http://tol64.blogspot.com/sitemap.xml скормить в ЯВ. Не знаю, понимает его Яндекс или нет, но валидатор не ругается. Блогспот неоднократно его вводил, и каждый раз с ним были проблемы, может доделали наконец. Я использовал последний раз в ручную составленный xml.

Спасибо. Выбрал второй вариант. А какие были проблемы по третьему пункту? Я уже довольно давно в вебмастере яндекса объявил карту в таком формате:

Код:: http://tol64.blogspot.com/sitemap.xml

Через пару недель статус ОК.

То есть, как узнать действительно ок или есть проблемы? ))