Вопросы и ответы по файлу robots.txt

<<

tol64

Аватара пользователя

Сообщения: 47

Зарегистрирован: 25 окт 2012, 11:00

Благодарил (а): 4 раз.
Поблагодарили: 3 раз.

Сообщение 01 дек 2012, 12:00

Re: Все тот же robots.txt

aldous писал(а):Вообще, в User-agent прописана * (звёздочка), что следует понимать, как любой поисковый робот.
Я бы для mail.ru бы прописал некоторые вещи, остальные почти не дают трафика.


Спасибо! Я каждому роботу указываю, что нужно смотреть в sitemap.xml (Sitemap: http://tol64.blogspot.com/sitemap.xml), а то там по умолчанию было написано в фид смотреть (Sitemap: http://tol64.blogspot.com/feeds/posts/d ... by=UPDATED) для всех роботов. И во всех Вебмастерах поисковых систем тоже указываю sitemap.xml. Не знаю насколько это всё правильно. Чисто интуитивно пока. ))

А можно разъяснения по вопросам в посте до этого (статус 302) ?

Добавлено спустя 1 минуту 19 секунд:
P.S. Кстати, а как редактировать сообщения на этом форуме? Не вижу такой опции.
Последний раз редактировалось Admin 25 апр 2015, 11:31, всего редактировалось 1 раз.
<<

aldous

Аватара пользователя

Сообщения: 1167

Зарегистрирован: 22 май 2011, 22:53

Откуда: Оттуда

Благодарил (а): 20 раз.
Поблагодарили: 131 раз.

Сообщение 02 дек 2012, 00:35

Re: Все тот же robots.txt

А можно разъяснения по вопросам в посте до этого (статус 302) ?

А что тут разъяснять. 302 - это код, которым отвечает сервер роботу, что документ перемещён туда-то. Робот идёт и смотрит, куда же он перемещён.
Гугл, из-за повальных проблем с местными законодательствами ввёл национальные домены зеркала. Их там штук 100 или 400, включая ru. Получается, что любая ссылка с основного домена из зоны com по ip того, кто запрашивает, ведёт на конкретный региональный домен. Если из России щёлкают да bla-bla.blogspot.com, то попадают на bla-bla.blogspot.ru. Но Гугл любит свободу выбора, поэтому дал лазейку в ввиде приставки ncr, которая редиректит обратно на первоначальный домен. Вот умельцы и сделали скрипт, который каждой ссылке даёт эту приставку. Человек загружает страницу, его браузер выполняет скрипт, и происходит редирект на первоисточник (com). Ясен пень, что ни один сервис не будет исполнять браузерный скрипт, и вообще ничего не исполняет со страниц сайта.

Однако при таком количестве доменных региональных зеркал должен индексироваться только один домен - это com. Как Гугл его определяет? По зашитой в каждой странице ссылки с атрибутом rel="canonical", ведущей на домен com. Можете глянуть исходник своей страницы и убедиться. Это значит, что ссылка com - каноническая, то есть - первоисточник и её надо индексировать.

Что касается Яндекса, тут скрыта ловушка. У Яндекса русские ip адреса, и его Блогспот с ссылок com тупо может редиректить на ru. А ru, как я писал, содержит запись, что ссылка с com - каноническая, то есть надо идти и её индексировать. То есть получается замкнутый круг. Так оно и было, пока я не насел на Платона Щукина и не выдрал клещами из него ответ (до этого я "ходил в Гугл и поскандалил"), что:
    робот Яндекса, имея российские ip, не редиректится с ссылок com (и это хорошо...)
    что rel="canonical" не будет учитываться в рамках разных доменов (для Яндекса bla-bla.blogspot.ru и bla-bla.blogspot.ru - разные домены, что является верным)
Что мы имеем? Что Яндекс не следует тем критериям индексации, которые сделал на Блогспоте для себя Гугл. А это значит, что он определит так, как ему вздумается, какой из доменов надо индексировать. С блогом, где было 100500 страниц в индексе, Яндекс конечно посчитает, что свежий домен ru - всего лишь дубль (зеркало), а вот на молодом блоге, особенно, который не залетал в индекс, всё может произойти по-другому. Янндекс запутается в двух доменах и потребует в robots директиву host, которую мы из-за корявости Гугла и разрабов Блогспота прописать не можем.

Кто дочитал пост до конца и всё понял - от меня уважуха & респект :dash:
<<

tol64

Аватара пользователя

Сообщения: 47

Зарегистрирован: 25 окт 2012, 11:00

Благодарил (а): 4 раз.
Поблагодарили: 3 раз.

Сообщение 02 дек 2012, 03:05

Re: Все тот же robots.txt

aldous писал(а):
А можно разъяснения по вопросам в посте до этого (статус 302) ?

...

Кто дочитал пост до конца и всё понял - от меня уважуха & респект :dash:


Всё предельно понятно объяснили. Спасибо. )))

Остаётся подождать пока Яндекс разберётся со всем этим и вынесет свой вердикт.
<<

tol64

Аватара пользователя

Сообщения: 47

Зарегистрирован: 25 окт 2012, 11:00

Благодарил (а): 4 раз.
Поблагодарили: 3 раз.

Сообщение 06 дек 2012, 14:03

Re: Все тот же robots.txt

Сегодня пришёл ответ от поддержки Яндекса.

//---

1. Приведенный Вами скрипт не мешает обработке Вашего файла robots.txt, не переживайте. Непосредственно для индексирующего робота файл, расположенный по адресу tol64.blogspot.com/robots.txt, доступен. Перенаправление отдается только форме проверки, поэтому в сервисе Я.Вебмастер Вы можете видеть соответствующее сообщение.

2. Для сайтов на домене blogspot.com можно создать свой файл robots.txt (Мои блоги - tol64.blogspot.com - Настройки - Настройки поиска - Пользовательский файл robots.txt), в котором, в том числе, с помощью директивы Host Вы сможете явно задать адрес сайта, по которому Вы хотели бы, чтобы он индексировался и участвовал в поиске.


//---

Что касается первого пункта, то на ошибку в Я.Вебмастере:

Файл robots.txt не будет учтён роботом Яндекса, т.к. при запросе выполняется перенаправление.

...можно не обращать внимания.

А вот, что касается второго пункта, то я был удивлён. Неужели они до сих пор не знают, что это нельзя сделать и им кроме меня до этого никто об этом не сообщал? В общем, написал им ещё одно письмо со скринами доказывающими, что это невозможно сделать. Ждём ответа. ))
<<

aldous

Аватара пользователя

Сообщения: 1167

Зарегистрирован: 22 май 2011, 22:53

Откуда: Оттуда

Благодарил (а): 20 раз.
Поблагодарили: 131 раз.

Сообщение 06 дек 2012, 14:50

Re: Все тот же robots.txt

Файл robots.txt не будет учтён роботом Яндекса, т.к. при запросе выполняется перенаправление.

...можно не обращать внимания.

Ага, меня их валидатор тоже смутил.

А вот, что касается второго пункта, то я был удивлён. Неужели они до сих пор не знают, что это нельзя сделать и им кроме меня до этого никто об этом не сообщал? В общем, написал им ещё одно письмо со скринами доказывающими, что это невозможно сделать. Ждём ответа. ))

=)))) А кто им сообщит? Директива host не нужна была до этого случая никому на блогспоте, а сейчас люди, как бараны, чего-то ждут, как-будто никому не надо, и лишь единицы, как вы, я и ещё десяток, бомбят Платона скринами и фактами =).

Вот сколько проблем раньше было с Пикасой? Она не индексировалась, в техподдержку никто не писал. Год мучились, пока не нашлись активисты и наконец не отписали в суппорт.

Мне кажется, вам через некоторое время нужно болт положить на все эти приключения с бесплатными доменами и купить свой. Собственно, мне это тоже надо сделать для блога.
Последний раз редактировалось aldous 06 дек 2012, 14:53, всего редактировалось 3 раз(а).
<<

tol64

Аватара пользователя

Сообщения: 47

Зарегистрирован: 25 окт 2012, 11:00

Благодарил (а): 4 раз.
Поблагодарили: 3 раз.

Сообщение 06 дек 2012, 15:19

Re: Все тот же robots.txt

aldous писал(а):...
Мне кажется, вам через некоторое время нужно болт положить на все эти приключения с бесплатными доменами и купить свой. Собственно, мне это тоже надо сделать для блога.


Думаю, что да. Это нужно будет сделать. Но сначала нужно оставить положительный след в том, что уже есть. )) Для потомков. ))) На самом деле есть много людей, которым не нужен свой домен. Считаю, что для успешности это не имеет никакого значения. Всё дело в контенте и соблюдении некоторых правил игры.

Вот, кстати, по поводу правил игры (немного не в тему). Например, если я веду гипер активную жизнь в сети и зарегистрирован на тысячах форумах. При чём на форумах разных тематик. И везде у меня оставлена подпись на блог по тематике, которая расходится с тематикой некоторых форумов. Поисковые системы ведь это не одобрят? Фактически ведь нельзя проверить, что я отвечаю или спрашиваю по существу даже на форумах по схожей тематике. Ведь это можно отнести к спаму, если сообщений тысячи/десятки тысяч. Такой же вопрос и по поводу соц.сетей/дневников и лент в массовых количествах. Я написал большое письмо Платону. Интересно, что ответит. Вообще на первое письмо относительно соц.сетей был ответ такой:

//---

Если данные ссылки установлены для удобства пользователей Вашего сайта (чтобы информировать их о Вашем сайте, к примеру), а не с целью обмана поисковой системы, то беспокоиться не о чем. Санкции в данном случае не применяются.

//---

Но мне он показался расплывчатым, так как это может каждый понять несколько иначе. Поэтому я написал очень большое письмо с большим количеством примеров. Ждём. ))
<<

tol64

Аватара пользователя

Сообщения: 47

Зарегистрирован: 25 окт 2012, 11:00

Благодарил (а): 4 раз.
Поблагодарили: 3 раз.

Сообщение 09 дек 2012, 12:21

Re: Все тот же robots.txt

Вот такой ответ пришёл от поддержки Яндекса:

//---

К сожалению, мы не можем гарантировать, что в таком случае главным зеркалом станет сайт tol64.blogspot.com, поскольку при выборе главного зеркала учитывается множество факторов.

К вопросу о ссылках с социальных сетей, то никаких негативных последствий быть не должно, так как это делается для удобства пользователей, а не обмана поисковой системы.

//---

Осталось ждать только. Ещё они писали в каком-то письме, что этот процесс займёт приблизительно 4-6 недель.
<<

aldous

Аватара пользователя

Сообщения: 1167

Зарегистрирован: 22 май 2011, 22:53

Откуда: Оттуда

Благодарил (а): 20 раз.
Поблагодарили: 131 раз.

Сообщение 09 дек 2012, 18:39

Re: Все тот же robots.txt

Если Яндекс сделает главным зеркалом ru, то это не есть хорошо. Для гугла то главное зеркало - com, поэтому непонятно, как оформлять внутренние ссылки, и вообще делать перелинковку.
<<

tol64

Аватара пользователя

Сообщения: 47

Зарегистрирован: 25 окт 2012, 11:00

Благодарил (а): 4 раз.
Поблагодарили: 3 раз.

Сообщение 09 дек 2012, 22:04

Re: Все тот же robots.txt

aldous писал(а):Если Яндекс сделает главным зеркалом ru, то это не есть хорошо. Для гугла то главное зеркало - com, поэтому непонятно, как оформлять внутренние ссылки, и вообще делать перелинковку.

Мне почему-то кажется что всё-таки сделают главным .com. Наблюдаю за показателями в Вебмастере и вижу, что на .ru вообще движений нет. На .com же всё больше страниц индексируется, находится больше внешних ссылок и т.д.
<<

aldous

Аватара пользователя

Сообщения: 1167

Зарегистрирован: 22 май 2011, 22:53

Откуда: Оттуда

Благодарил (а): 20 раз.
Поблагодарили: 131 раз.

Сообщение 09 дек 2012, 22:07

Re: Все тот же robots.txt

У меня только com индексируется, но есть одна подстава. Исчезли все картинки блога с Яндекс поиска по картинкам. Не знаю, связано это с доменами или нет, но треть трафика потерял.
Пред.След.

Вернуться в Поисковое продвижение

Кто сейчас на конференции

Зарегистрированные пользователи: нет зарегистрированных пользователей

Работает на phpBB © 2000, 2002, 2005, 2007 phpBB Group. Дизайн ST Software и Blogger Форум. Русская поддержка phpBB
ЧПУ ссылки от phpbb seo