Вопросы и ответы по файлу robots.txt

01 дек 2012, 08:00 tol64

aldous писал(а):Вообще, в User-agent прописана * (звёздочка), что следует понимать, как любой поисковый робот.
Я бы для mail.ru бы прописал некоторые вещи, остальные почти не дают трафика.

Спасибо! Я каждому роботу указываю, что нужно смотреть в sitemap.xml (Sitemap: http://tol64.blogspot.com/sitemap.xml), а то там по умолчанию было написано в фид смотреть (Sitemap: http://tol64.blogspot.com/feeds/posts/d ... by=UPDATED) для всех роботов. И во всех Вебмастерах поисковых систем тоже указываю sitemap.xml. Не знаю насколько это всё правильно. Чисто интуитивно пока. ))

А можно разъяснения по вопросам в посте до этого (статус 302) ?

Добавлено спустя 1 минуту 19 секунд:
P.S. Кстати, а как редактировать сообщения на этом форуме? Не вижу такой опции.

01 дек 2012, 20:35 aldous

А можно разъяснения по вопросам в посте до этого (статус 302) ?

А что тут разъяснять. 302 - это код, которым отвечает сервер роботу, что документ перемещён туда-то. Робот идёт и смотрит, куда же он перемещён.
Гугл, из-за повальных проблем с местными законодательствами ввёл национальные домены зеркала. Их там штук 100 или 400, включая ru. Получается, что любая ссылка с основного домена из зоны com по ip того, кто запрашивает, ведёт на конкретный региональный домен. Если из России щёлкают да bla-bla.blogspot.com, то попадают на bla-bla.blogspot.ru. Но Гугл любит свободу выбора, поэтому дал лазейку в ввиде приставки ncr, которая редиректит обратно на первоначальный домен. Вот умельцы и сделали скрипт, который каждой ссылке даёт эту приставку. Человек загружает страницу, его браузер выполняет скрипт, и происходит редирект на первоисточник (com). Ясен пень, что ни один сервис не будет исполнять браузерный скрипт, и вообще ничего не исполняет со страниц сайта.

Однако при таком количестве доменных региональных зеркал должен индексироваться только один домен - это com. Как Гугл его определяет? По зашитой в каждой странице ссылки с атрибутом rel="canonical", ведущей на домен com. Можете глянуть исходник своей страницы и убедиться. Это значит, что ссылка com - каноническая, то есть - первоисточник и её надо индексировать.

Что касается Яндекса, тут скрыта ловушка. У Яндекса русские ip адреса, и его Блогспот с ссылок com тупо может редиректить на ru. А ru, как я писал, содержит запись, что ссылка с com - каноническая, то есть надо идти и её индексировать. То есть получается замкнутый круг. Так оно и было, пока я не насел на Платона Щукина и не выдрал клещами из него ответ (до этого я "ходил в Гугл и поскандалил"), что:

робот Яндекса, имея российские ip, не редиректится с ссылок com (и это хорошо...)
что rel="canonical" не будет учитываться в рамках разных доменов (для Яндекса bla-bla.blogspot.ru и bla-bla.blogspot.ru - разные домены, что является верным)

Что мы имеем? Что Яндекс не следует тем критериям индексации, которые сделал на Блогспоте для себя Гугл. А это значит, что он определит так, как ему вздумается, какой из доменов надо индексировать. С блогом, где было 100500 страниц в индексе, Яндекс конечно посчитает, что свежий домен ru - всего лишь дубль (зеркало), а вот на молодом блоге, особенно, который не залетал в индекс, всё может произойти по-другому. Янндекс запутается в двух доменах и потребует в robots директиву host, которую мы из-за корявости Гугла и разрабов Блогспота прописать не можем.

Кто дочитал пост до конца и всё понял - от меня уважуха & респект :dash:

01 дек 2012, 23:05 tol64

aldous писал(а):

А можно разъяснения по вопросам в посте до этого (статус 302) ?

...

Кто дочитал пост до конца и всё понял - от меня уважуха & респект

Всё предельно понятно объяснили. Спасибо. )))

Остаётся подождать пока Яндекс разберётся со всем этим и вынесет свой вердикт.

06 дек 2012, 10:03 tol64

Сегодня пришёл ответ от поддержки Яндекса.

//---

1. Приведенный Вами скрипт не мешает обработке Вашего файла robots.txt, не переживайте. Непосредственно для индексирующего робота файл, расположенный по адресу tol64.blogspot.com/robots.txt, доступен. Перенаправление отдается только форме проверки, поэтому в сервисе Я.Вебмастер Вы можете видеть соответствующее сообщение.

2. Для сайтов на домене blogspot.com можно создать свой файл robots.txt (Мои блоги - tol64.blogspot.com - Настройки - Настройки поиска - Пользовательский файл robots.txt), в котором, в том числе, с помощью директивы Host Вы сможете явно задать адрес сайта, по которому Вы хотели бы, чтобы он индексировался и участвовал в поиске.

//---

Что касается первого пункта, то на ошибку в Я.Вебмастере:

Файл robots.txt не будет учтён роботом Яндекса, т.к. при запросе выполняется перенаправление.

...можно не обращать внимания.

А вот, что касается второго пункта, то я был удивлён. Неужели они до сих пор не знают, что это нельзя сделать и им кроме меня до этого никто об этом не сообщал? В общем, написал им ещё одно письмо со скринами доказывающими, что это невозможно сделать. Ждём ответа. ))

06 дек 2012, 10:50 aldous

Файл robots.txt не будет учтён роботом Яндекса, т.к. при запросе выполняется перенаправление.

...можно не обращать внимания.

Ага, меня их валидатор тоже смутил.

А вот, что касается второго пункта, то я был удивлён. Неужели они до сих пор не знают, что это нельзя сделать и им кроме меня до этого никто об этом не сообщал? В общем, написал им ещё одно письмо со скринами доказывающими, что это невозможно сделать. Ждём ответа. ))

=)))) А кто им сообщит? Директива host не нужна была до этого случая никому на блогспоте, а сейчас люди, как бараны, чего-то ждут, как-будто никому не надо, и лишь единицы, как вы, я и ещё десяток, бомбят Платона скринами и фактами =).

Вот сколько проблем раньше было с Пикасой? Она не индексировалась, в техподдержку никто не писал. Год мучились, пока не нашлись активисты и наконец не отписали в суппорт.

Мне кажется, вам через некоторое время нужно болт положить на все эти приключения с бесплатными доменами и купить свой. Собственно, мне это тоже надо сделать для блога.

06 дек 2012, 11:19 tol64

aldous писал(а):...
Мне кажется, вам через некоторое время нужно болт положить на все эти приключения с бесплатными доменами и купить свой. Собственно, мне это тоже надо сделать для блога.

Думаю, что да. Это нужно будет сделать. Но сначала нужно оставить положительный след в том, что уже есть. )) Для потомков. ))) На самом деле есть много людей, которым не нужен свой домен. Считаю, что для успешности это не имеет никакого значения. Всё дело в контенте и соблюдении некоторых правил игры.

Вот, кстати, по поводу правил игры (немного не в тему). Например, если я веду гипер активную жизнь в сети и зарегистрирован на тысячах форумах. При чём на форумах разных тематик. И везде у меня оставлена подпись на блог по тематике, которая расходится с тематикой некоторых форумов. Поисковые системы ведь это не одобрят? Фактически ведь нельзя проверить, что я отвечаю или спрашиваю по существу даже на форумах по схожей тематике. Ведь это можно отнести к спаму, если сообщений тысячи/десятки тысяч. Такой же вопрос и по поводу соц.сетей/дневников и лент в массовых количествах. Я написал большое письмо Платону. Интересно, что ответит. Вообще на первое письмо относительно соц.сетей был ответ такой:

//---

Если данные ссылки установлены для удобства пользователей Вашего сайта (чтобы информировать их о Вашем сайте, к примеру), а не с целью обмана поисковой системы, то беспокоиться не о чем. Санкции в данном случае не применяются.

//---

Но мне он показался расплывчатым, так как это может каждый понять несколько иначе. Поэтому я написал очень большое письмо с большим количеством примеров. Ждём. ))

09 дек 2012, 08:21 tol64

Вот такой ответ пришёл от поддержки Яндекса:

//---

К сожалению, мы не можем гарантировать, что в таком случае главным зеркалом станет сайт tol64.blogspot.com, поскольку при выборе главного зеркала учитывается множество факторов.

К вопросу о ссылках с социальных сетей, то никаких негативных последствий быть не должно, так как это делается для удобства пользователей, а не обмана поисковой системы.

//---

Осталось ждать только. Ещё они писали в каком-то письме, что этот процесс займёт приблизительно 4-6 недель.

09 дек 2012, 14:39 aldous

Если Яндекс сделает главным зеркалом ru, то это не есть хорошо. Для гугла то главное зеркало - com, поэтому непонятно, как оформлять внутренние ссылки, и вообще делать перелинковку.

09 дек 2012, 18:04 tol64

aldous писал(а):Если Яндекс сделает главным зеркалом ru, то это не есть хорошо. Для гугла то главное зеркало - com, поэтому непонятно, как оформлять внутренние ссылки, и вообще делать перелинковку.

Мне почему-то кажется что всё-таки сделают главным .com. Наблюдаю за показателями в Вебмастере и вижу, что на .ru вообще движений нет. На .com же всё больше страниц индексируется, находится больше внешних ссылок и т.д.

09 дек 2012, 18:07 aldous

У меня только com индексируется, но есть одна подстава. Исчезли все картинки блога с Яндекс поиска по картинкам. Не знаю, связано это с доменами или нет, но треть трафика потерял.