Вопросы и ответы по файлу robots.txt

<<

aldous

Аватара пользователя

Сообщения: 1167

Зарегистрирован: 22 май 2011, 22:53

Откуда: Оттуда

Благодарил (а): 20 раз.
Поблагодарили: 131 раз.

Сообщение 21 ноя 2012, 16:03

Re: Все тот же robots.txt

Через пару недель статус ОК.

Значит делать ничего не надо).
<<

tol64

Аватара пользователя

Сообщения: 47

Зарегистрирован: 25 окт 2012, 11:00

Благодарил (а): 4 раз.
Поблагодарили: 3 раз.

Сообщение 21 ноя 2012, 20:42

Re: Все тот же robots.txt

aldous писал(а):Значит делать ничего не надо).


Спасибо.

А вот у меня ещё такой вопрос. Проанализировал сайт в сервисе rookee и он мне выдал такую информацию:

1. Status 302 - Ошибка! Оба зеркала с редиректом.
2. Location - www: http://www.tol64.blogspot.ru; no www: tol64.blogspot.ru; - В robots.txt не задан Host.

//---

Не подскажите, что нужно сделать?
<<

aldous

Аватара пользователя

Сообщения: 1167

Зарегистрирован: 22 май 2011, 22:53

Откуда: Оттуда

Благодарил (а): 20 раз.
Поблагодарили: 131 раз.

Сообщение 22 ноя 2012, 00:00

Re: Все тот же robots.txt

В robots.txt не задан Host.

Блогспот не даёт создать директиву host, поэтому ничего нельзя сделать.
<<

tol64

Аватара пользователя

Сообщения: 47

Зарегистрирован: 25 окт 2012, 11:00

Благодарил (а): 4 раз.
Поблагодарили: 3 раз.

Сообщение 27 ноя 2012, 10:23

Re: Все тот же robots.txt

aldous писал(а):
В robots.txt не задан Host.

Блогспот не даёт создать директиву host, поэтому ничего нельзя сделать.


Приветствую!

Задал вопрос по этой теме и вот какой ответ от них получил:

Добрый день!

При анализе сайта под зеркалами мы понимаем сайт и его поддомен с www. Важно, чтобы поисковый робот признал главным зеркалом нужный вам сайт или его поддомен. Для этого пропишите в файле robots.txt директиву Host, в которой укажите, какой сайт является основным. Затем сделайте 301 редирект с неосновного зеркала на основное. В итоге ответ от основного зеркала должен быть 200, от не основного 301. У Вас сейчас 302 редирект от каждого зеркала. Это поможет избежать распределения ссылочной массы между двумя доменами и позволит улучшить позиции сайта в поисковых системах.


//---

Я пока плохо понял, что нужно сделать. Новые термины и понятия для меня. Понял только, что это поможет улучшить позиции. )))

А почему блогспот не даёт создать директиву host? Что можно сделать из того, что ответили в техподдержке для сайта на блогспот? Подскажите, пожалуйста.
<<

aldous

Аватара пользователя

Сообщения: 1167

Зарегистрирован: 22 май 2011, 22:53

Откуда: Оттуда

Благодарил (а): 20 раз.
Поблагодарили: 131 раз.

Сообщение 27 ноя 2012, 23:12

Re: Все тот же robots.txt

А почему блогспот не даёт создать директиву host? Что можно сделать из того, что ответили в техподдержке для сайта на блогспот? Подскажите, пожалуйста.

Гугл считает не валидной директиву host, срабатывает предупреждение об ошибке, и robots не сохраняется.

Что вы хотите указать главным зеркалом? tol64.blogspot.com? Тут надо тупо ждать, чтобы Яндекс как-то признал домен ru зеркалом от основного с зоны com. Это большая проблема, поскольку Яндекс ничего не склеивает быстро. Но я смотрю, что Метрика признала ru зеркалом com. Мой совет - ставьте Метрику и скрипт-антиредиректор. Естественно, что все вручную проставленные ссылки должны вести на домен com. В Вебмастере тоже можно в настройках tol64.blogspot.com указать, что этот домен является главным зеркалом.
Последний раз редактировалось aldous 27 ноя 2012, 23:12, всего редактировалось 1 раз.
<<

tol64

Аватара пользователя

Сообщения: 47

Зарегистрирован: 25 окт 2012, 11:00

Благодарил (а): 4 раз.
Поблагодарили: 3 раз.

Сообщение 28 ноя 2012, 05:03

Re: Все тот же robots.txt

aldous писал(а):
А почему блогспот не даёт создать директиву host? Что можно сделать из того, что ответили в техподдержке для сайта на блогспот? Подскажите, пожалуйста.

Гугл считает не валидной директиву host, срабатывает предупреждение об ошибке, и robots не сохраняется.

Что вы хотите указать главным зеркалом? tol64.blogspot.com? Тут надо тупо ждать, чтобы Яндекс как-то признал домен ru зеркалом от основного с зоны com. Это большая проблема, поскольку Яндекс ничего не склеивает быстро. Но я смотрю, что Метрика признала ru зеркалом com. Мой совет - ставьте Метрику и скрипт-антиредиректор. Естественно, что все вручную проставленные ссылки должны вести на домен com. В Вебмастере тоже можно в настройках tol64.blogspot.com указать, что этот домен является главным зеркалом.


У меня в ВебМастере сначала был добавлен один сайт около трёх месяцев назад: tol64.blogspot.com. Я тогда даже не знал, что есть ещё tol64.blogspot.ru. В настройках главного зеркала на ВебМастере для tol64.blogspot.com есть такие варианты:

    На усмотрение робота
    tol64.blogspot.com
    http://www.tol64.blogspot.com

По умолчанию стоит первый вариант. Я выбрал вчера второй. То есть, в этих вариантах нет tol64.blogspot.ru.

Скрипт-антиредиректор я установил, но при проверке на сервисе rookee так же показывает ошибку, что оба зеркала (tol64.blogspot.ru и www.tol64.blogspot.ru) с редиректом. Почему показывают мне .ru, если я проверяю .com мне пока неясно, буду уточнять.

Я загрузил в ВебМастер ещё и tol64.blogspot.ru. Показатели (ТИЦ, загружено роботом, страниц в поиске) у .ru и .com разные (у .ru меньше). При попытке сообщить о новом сайте выходит новое сообщение:

Указанный URL уже проиндексирован.

Через проверку, также в ВебМастере, на Проверить URL тоже показывает, что всё успешно. Вообще непонятно, что нужно делать. Подскажите у кого спрашивать? ))

Добавлено спустя 22 минуты 43 секунды:
Смотрю в справке ВебМастера, что такое код 302:

302 - Ресурс временно перемещен

Запрошенный ресурс временно находится под другим адресом (получен код 302 Found).

Так как пользователи не смогут увидеть подобные документы, показывать их в поиске не имеет смысла, и робот их не индексирует. Однако робот обязательно проиндексирует страницу, на которую установлено перенаправление.


//---

Далее. Нашёл раздел Проверка ответа сервера. Произвёл проверку адреса http://tol64.blogspot.com/ Основным роботом Яндекса и вот какая информация была получена:

Код статуса HTTP: "302 Found"
Время ответа сервера: 327мс
IP сайта: 173.194.69.132
Заголовки:

X-Frame-Options: SAMEORIGIN
Transfer-Encoding: chunked
Date: Wed, 28 Nov 2012 01:05:25 GMT
X-XSS-Protection: 1; mode=block
Expires: Wed, 28 Nov 2012 01:05:25 GMT
Location: http://tol64.blogspot.ru/
Content-Type: text/html; charset=UTF-8
Server: GSE
X-Content-Type-Options: nosniff
Cache-Control: private, max-age=0

Кодировка: utf-8
Размер страницы: 0.2Кб


//---

Красным выделил ключевой момент. Как можно использовать эту информацию, чтобы настроить всё правильно?
<<

aldous

Аватара пользователя

Сообщения: 1167

Зарегистрирован: 22 май 2011, 22:53

Откуда: Оттуда

Благодарил (а): 20 раз.
Поблагодарили: 131 раз.

Сообщение 29 ноя 2012, 01:03

Re: Все тот же robots.txt

То есть, в этих вариантах нет tol64.blogspot.ru.

И не будет. Зеркала можно выбирать только из поддоменов. tol64.blogspot.ru и tol64.blogspot.com - разные домены, их Яндекс может только склеить. Или не склеить :).

Скрипт-антиредиректор я установил, но при проверке на сервисе rookee так же показывает ошибку, что оба зеркала (tol64.blogspot.ru и /go.php?http://www.tol64.blogspot.ru) с редиректом. Почему показывают мне .ru, если я проверяю .com мне пока неясно, буду уточнять.

Нечего тут уточнять. Скрипт - браузерное приложение, которое редиректит на основной домен com. Сервисы его не видят. Он ставится чисто для удобства (чтобы самому в ссылках не путаться) и для подчёркивания поведенческого фактора посетителей, что домен .com является основным.
То, что оба домена с редиректом - это правда.
    tol64.blogspot.ru - показывает, что первоисточник tol64.blogspot.com
    tol64.blogspot.com - редиректит любой русский ip на tol64.blogspot.ru
    http://www.tol64.blogspot.com - этой уже четвёртый уровень домена. Не думайте о нём.

Я уже бил тревогу, и суппорт Яндекса заверил, что зона com останется индексируемой, а зона ru со временем определится и приклеиться, как доп. зеркало. Или не приклеиться :) .

Указанный URL уже проиндексирован.
Через проверку, также в ВебМастере, на Проверить URL тоже показывает, что всё успешно. Вообще непонятно, что нужно делать. Подскажите у кого спрашивать? ))

Ничего не нужно делать.

Далее. Нашёл раздел Проверка ответа сервера. Произвёл проверку адреса /go.php?http://tol64.blogspot.com/ Основным роботом Яндекса и вот какая информация была получена...

Я уже говорил, что любой русский ip сразу редиректится на домен с ru. Однако робот Яндекса имеет доступ (то ли я всех достал, потому что сначала блоги не индексировались, то ли в Гугле сами догадались) и индексирует домен с com. Домен с ru - это лишь зеркало, дубль. Он не должен индексироваться, но пока Яндекс кое-что пускает с него в индекс, обещая вскоре склеить оба домена и оставить в индексе только ссылки с домена com.
Последний раз редактировалось aldous 29 ноя 2012, 01:04, всего редактировалось 3 раз(а).
<<

tol64

Аватара пользователя

Сообщения: 47

Зарегистрирован: 25 окт 2012, 11:00

Благодарил (а): 4 раз.
Поблагодарили: 3 раз.

Сообщение 01 дек 2012, 03:28

Re: Все тот же robots.txt

aldous писал(а):Я уже говорил, что любой русский ip сразу редиректится на домен с ru. Однако робот Яндекса имеет доступ (то ли я всех достал, потому что сначала блоги не индексировались, то ли в Гугле сами догадались) и индексирует домен с com. Домен с ru - это лишь зеркало, дубль. Он не должен индексироваться, но пока Яндекс кое-что пускает с него в индекс, обещая вскоре склеить оба домена и оставить в индексе только ссылки с домена com.


Блин. Как всё запутано и сложно. Но без Ваших ответов было бы ещё сложнее. Спасибо. ))

То есть, я правильно понимаю, что поисковиками всё будет корректно восприниматься и сейчас работа над этим просто ещё не закончена? То есть, они не будут воспринимать один и тот же сайт размноженным в разных зонах (дублями) ?

В Вебмастере (ВМ) нужно оставить один сайт (.com или .ru) ? Права на тот и другой подтверждены. Или туда хоть все зоны размести, так как это не имеет значения ? Дело в том, что у меня на данный момент .com (добавил в ВМ уже давно) больше проиндексирован и показатели выше, чем .ru (добавил недавно). Кстати, после того, как права подтверждены нужно ли удалять коды верификации? А то у меня их там от всех поисковиков накопилось.

Код статуса 302 (Код статуса HTTP: "302 Found") в Вебмастере для .com временно ? Если нет, то при использовании таких сервисов, например, как rookee нужно указывать сайт .ru, так как .com возвращает статус 302 ? Или пока вообще воздержаться от продвижения сайта, пока всё не отрегулируется и небо над нашими головами не станет ясным? )))

//---

Что-то много вопросов, но очень нужно получить на них ответы, а то сна не видать. ))

Добавлено спустя 14 минут 18 секунд:
//---

Вопрос по кодам верификации снят. В ВМ в разделе Права на управление написано, что:

  Код:
Обратите внимание, что Яндекс будет периодически проверять наличие условленных файлов или мета-тегов на подтвержденных сайтах. Не удаляйте добавленный файл (мета-тег) после проверки, иначе сайт вновь перейдет в разряд "неподтвержденных" и проверку придется пройти еще раз.


Единственное, что хотелось бы уточнить, то нужны ли там два кода (на .com и на .ru) ?
<<

tol64

Аватара пользователя

Сообщения: 47

Зарегистрирован: 25 окт 2012, 11:00

Благодарил (а): 4 раз.
Поблагодарили: 3 раз.

Сообщение 01 дек 2012, 06:49

Re: Все тот же robots.txt

И ещё один вопрос по роботам поисковых систем. В интернете, как-то всё расплывчато по этому вопросу. Интересуют имена роботов.

И ещё хотелось бы список имён основных индексирующих роботов со всех поисковых систем, чтобы каждому указать в файле robots.txt карту сайта и другие правила.

Например, у меня сейчас только для Google и Yandex. А вот для этих (в списке ниже), какие имена нужно написать в User-agent ? :

Роботы Yahoo
Робот Mail.ru
Роботы Bing
Роботы MSN
Робот ПС Нигма
Робот Baidu
Робот ask.com
Робот ahrefs
Majestic-бот
Робот facebook
<<

aldous

Аватара пользователя

Сообщения: 1167

Зарегистрирован: 22 май 2011, 22:53

Откуда: Оттуда

Благодарил (а): 20 раз.
Поблагодарили: 131 раз.

Сообщение 01 дек 2012, 10:05

Re: Все тот же robots.txt

Вообще, в User-agent прописана * (звёздочка), что следует понимать, как любой поисковый робот.
Я бы для mail.ru бы прописал некоторые вещи, остальные почти не дают трафика.

    Яндекс – "Yandex"
    Рамблер – "StackRambler"
    Yahoo! – "Yahoo! Slurp» (или просто Slurp)"
    MSN (Live) – "msnbot"
    Google - "googlebot"
    Nigma - "Mail.Ru"
    Апорт - "Aport"
    Alexa - "ia_archiver"
    Ask - "Teoma"
    Bing - "bingbot"
    Lycos - "Lycos"
    Nigma - "Nigma.ru"
    Вебальта - "WebAlta (WebAlta Crawler/2.0)"
    Мэйл.ру - "Mail.Ru"
Последний раз редактировалось aldous 01 дек 2012, 10:07, всего редактировалось 2 раз(а).
Пред.След.

Вернуться в Поисковое продвижение

Кто сейчас на конференции

Зарегистрированные пользователи: нет зарегистрированных пользователей

Работает на phpBB © 2000, 2002, 2005, 2007 phpBB Group. Дизайн ST Software и Blogger Форум. Русская поддержка phpBB
ЧПУ ссылки от phpbb seo