Запрет индексации ярлыков и архива ???

Модератор: Fleelancer

<<

andreymoris

Аватара пользователя

Автор темы

Сообщения: 44

Зарегистрирован: 25 окт 2012, 14:30

Благодарил (а): 20 раз.
Поблагодарили: 0 раз.

Сообщение 17 дек 2012, 00:49

Запрет индексации ярлыков и архива ???

прочитал где то что индексация ярлыков и архива это нехорошо , один автор советует вот такое проделать ,
Чтобы сделать запрет индексации ваших Ярлыков и Архива вашего блога пройдите в админ панель вашего блога, далее в Шаблон-Изменить HTML- ставим галочку на расширить шаблоны виджетов Нажимаем Ctrl+F (поиск) и находим следующую строку:
<b:include data='post' name='post'/>
аккуратно выделите строку выше и удалите ее из шаблона, и на ее место аккуратно вставьте скопировав вот этот код:
<b:if cond='data:blog.homepageUrl != data:blog.url'>
<b:if cond='data:blog.pageType != "item"'>
<b:if cond='data:blog.pageType != "static_page"'>
<h2 class='post-title'><a expr:href='data:post.url'><data:post.title/></a></h2>
Написано: <data:post.dateHeader/>. Комментариев: <data:post.numComments/>
<b:else/>
<b:include data='post' name='post'/>
</b:if>
<b:else/>
<b:include data='post' name='post'/>
</b:if>
<b:else/>
<b:include data='post' name='post'/>
</b:if>
Нажмите на “сохранить” в шаблоне и просматриваем блог. Если вы все сделано правильно, то при нажатии на ярлык метку открывается страница, на которой вы увидите перечень своих статей с этим ярлыком, но текста самих статей не будет. После этих действий вам необходимо еще будет:
архив запрет индексации
чтобы также устранить дублирование статей вашего блога. Для запрет индексации повторяем наши действия:
Заходите в админку блога - Шаблон - Изменить HTML. Ставим галочку: "Расширить шаблоны виджета". Нажимаем Ctrl+F (поиск) и находите следующий тег: <head> и сразу после него с новой строки вставляем такой код :
<b:if cond='data:blog.pageType == "archive"'><meta content='noindex,follow' name='robots'/></b:if>
Ну вот и все, вы все сделали. Теперь пройдет какое то время после запрет индексации, может даже пару месяцев пока пройдет полная переиндексация вашего блога, а может это будет и намного быстрее , это когда как бывает. И в вебмастере вашем увидите что “предложений по улучшению HTML“ и ошибок в блоге нет.

насколько я знаю можно ещё в роботе как то запрещать ,(автору писали в коментах про роботс , но вроде он несогласен и т.д.) какой метод работает лучше ???

на всякий случай мой роботс вот такой

User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /search
Disallow: /p/search.html
Allow: /

Sitemap: http://www.fakelblog.ru/feeds/posts/def ... by=updated

User-agent: Yandex
Disallow: /search
Disallow: /p/search.html
Allow: /

что в него доставить чтобы поисковики неиндексиоровали метки блога и архив .??? :help:
<<

aldous

Аватара пользователя

Сообщения: 1167

Зарегистрирован: 22 май 2011, 22:53

Откуда: Оттуда

Благодарил (а): 20 раз.
Поблагодарили: 131 раз.

Сообщение 18 дек 2012, 01:28

Re: Запрет индексации ярлыков и архива ???

Не знаю, где у вас всё перемешалось: в голове или в сообщении, но в посте слишком много "букаф", не имеющих отношение к сабжу.
Технически возможно запретить архивы через метатег, потому что в роботс.тхт трудно прописать подобную ссылку. Ярлыки же по умолчанию запрещены в robots строчкой:
Disallow: /search

Что касается метатега и роботс.тхт, то есть, кто из них круче, то ... круче метатег. Роботс - рекомендательный конфиг. Метатег - правило для робота. Однако и то и другое Яндекс в равной степени учитывает.

Что касается Гула, то там всё проще. Идёте в админку Блогспота, в настройки поиска и персонализированных заголовков x-robots и ставите галки там, где нужно или не нужно индексировать. Эти заголовки исполняются сервером и в настоящее время считаются продвинутой технологией, освобождая сайт от дурацких метатегов и подобного мусора. К сожалению, Яков тут ковыляет с большим отставанием от прогресса.
<<

andreymoris

Аватара пользователя

Автор темы

Сообщения: 44

Зарегистрирован: 25 окт 2012, 14:30

Благодарил (а): 20 раз.
Поблагодарили: 0 раз.

Сообщение 18 дек 2012, 18:20

Re: Запрет индексации ярлыков и архива ???

aldous писал(а):Не знаю, где у вас всё перемешалось: в голове или в сообщении, но в посте слишком много "букаф", не имеющих отношение к сабжу.
Технически возможно запретить архивы через метатег, потому что в роботс.тхт трудно прописать подобную ссылку. Ярлыки же по умолчанию запрещены в robots строчкой:
Disallow: /search

Что касается метатега и роботс.тхт, то есть, кто из них круче, то ... круче метатег. Роботс - рекомендательный конфиг. Метатег - правило для робота. Однако и то и другое Яндекс в равной степени учитывает.

Что касается Гула, то там всё проще. Идёте в админку Блогспота, в настройки поиска и персонализированных заголовков x-robots и ставите галки там, где нужно или не нужно индексировать. Эти заголовки исполняются сервером и в настоящее время считаются продвинутой технологией, освобождая сайт от дурацких метатегов и подобного мусора. К сожалению, Яков тут ковыляет с большим отставанием от прогресса.


реально спасибо за ответ
я наверно много вопросов задаю , прост орешил всё таки нормально изучить блогспот , и где как не нафоруме можно задавать такие увлекательные вопросы )

нащёт проще , персонализированые заголовки галки я тоже поставил , раз уж улучшать дак уже всё , напрягло немного что ети метатеги и в роботсе прописвыать надо , и в шаблоне , и в настройках самого блогспота ,
<<

aldous

Аватара пользователя

Сообщения: 1167

Зарегистрирован: 22 май 2011, 22:53

Откуда: Оттуда

Благодарил (а): 20 раз.
Поблагодарили: 131 раз.

Сообщение 18 дек 2012, 23:11

Re: Запрет индексации ярлыков и архива ???

Закрыть от индексации архивы. Смотрите пункт 8 про архивы. По остальным пунктам (наприпер, пункт 4 про метатеги), если что-то надумаете, сначала спрашивайте, а то статья не свежая, кое-что могло устареть или быть неправильно пОнятым.
<<

tol64

Аватара пользователя

Сообщения: 47

Зарегистрирован: 25 окт 2012, 11:00

Благодарил (а): 4 раз.
Поблагодарили: 3 раз.

Сообщение 25 дек 2012, 00:46

Re: Запрет индексации ярлыков и архива ???

Подскажите, что означает Disallow: /p/search.html и нужно ли это для блоггера?
<<

aldous

Аватара пользователя

Сообщения: 1167

Зарегистрирован: 22 май 2011, 22:53

Откуда: Оттуда

Благодарил (а): 20 раз.
Поблагодарили: 131 раз.

Сообщение 25 дек 2012, 00:53

Re: Запрет индексации ярлыков и архива ???

disallow - запрет
/p/search.html - какая-то статическая страница (раздел p) под названием search (ссылка - относительный путь)
<<

tol64

Аватара пользователя

Сообщения: 47

Зарегистрирован: 25 окт 2012, 11:00

Благодарил (а): 4 раз.
Поблагодарили: 3 раз.

Сообщение 11 янв 2013, 13:51

Re: Запрет индексации ярлыков и архива ???

aldous писал(а):
...

Что касается Гула, то там всё проще. Идёте в админку Блогспота, в настройки поиска и персонализированных заголовков x-robots и ставите галки там, где нужно или не нужно индексировать. Эти заголовки исполняются сервером и в настоящее время считаются продвинутой технологией, освобождая сайт от дурацких метатегов и подобного мусора. К сожалению, Яков тут ковыляет с большим отставанием от прогресса.

Приветствую!

У меня такой вопрос. Мне указали на одну "проблему?" на форуме веб-мастеров Google.

Если ввести в поисковик вот такой запрос:

  Код:
site:tol64.blogspot.com/search/


или такой:

  Код:
site:tol64.blogspot.com/search/label/


То можно обнаружить в индексе кучу всего, чего не должно быть (мусор).

Подскажите, пожалуйста. Персонализированные теги robots для заголовков решают этот вопрос?

В файле robots.txt у меня были вот такие строки:

  Код:
Disallow: /search
Disallow: /search/label/


Я их пока убрал и установил в разделе Персонализированные теги robots для заголовков флажки так, как показано в этой статье: http://vsegenialno.blogspot.com/2012/04/tegi-robots-dla-zagolovkov-blogger.html.

Ещё я в теге <head></head> написал вот такой код:

  Код:
<b:if cond='data:blog.pageType == &quot;item&quot;'>
     <meta content='index,follow' name='robots'/>
<b:else/>
<b:if cond='data:blog.pageType == &quot;index&quot;'>
     <meta content='index,follow' name='robots'/>
<b:else/>
<b:if cond='data:blog.pageType == &quot;static_page&quot;'>
     <meta content='index,follow' name='robots'/>
<b:else/>
     <meta content='noindex,follow' name='robots'/>
</b:if></b:if></b:if>


//---

Правильно ли я всё сделал? Или что-то лишнее?
<<

tol64

Аватара пользователя

Сообщения: 47

Зарегистрирован: 25 окт 2012, 11:00

Благодарил (а): 4 раз.
Поблагодарили: 3 раз.

Сообщение 11 янв 2013, 15:35

Re: Запрет индексации ярлыков и архива ???

В дополнение к предыдущему посту. При том, что в тегах <head></head> прописаны сейчас условия, которые я приводил выше, при просмотре кода страницы видно только такую строку:

  Код:
<meta content="index,follow" name="robots">


Как это нужно понимать? То есть, условия в тегах <head></head> не работают?
<<

aldous

Аватара пользователя

Сообщения: 1167

Зарегистрирован: 22 май 2011, 22:53

Откуда: Оттуда

Благодарил (а): 20 раз.
Поблагодарили: 131 раз.

Сообщение 11 янв 2013, 16:27

Re: Запрет индексации ярлыков и архива ???

При том, что в тегах <head></head> прописаны сейчас условия, которые я приводил выше, при просмотре кода страницы видно только такую строку:

    index - индексировать
    follow - следовать по ссылкам

Это базовый метатег для постов, статич.страниц и главной страницы.

Я их пока убрал

Не надо убирать запрет ярлыков из robots.txt (Disallow: /search)! Яндекс начнёт индексировать ярлыки. Что касается архивов, то я не вижу соотвествующего гаджета и не знаю ссылок. Посмотрите в исходнике на странице архива, должно быть:
  Код:
<meta content="noindex,follow" name="robots">


Персонализированные теги robots для заголовков решают этот вопрос?

Должны решить. Гугл к robots относится весьма неоднозначно. Вообще он индексирует всё, а потом следует рекомендациям robots и в индекс мусор не пускает. Сейчас наверное Google совсем на эти теги перешёл, по крайней мере с Блогспота может требовать. Хотя в Центре вебмастеров я вижу, что Google читает robots.

Напомню, что Яндекс не умеет работать с этими заголовками, а только с мета-тегами и robots.txt.

Ещё я в теге <head></head> написал вот такой код

    item - статьи
    index - главная
    static_page - статическая страница
Последний раз редактировалось aldous 12 янв 2013, 01:36, всего редактировалось 5 раз(а).
<<

tol64

Аватара пользователя

Сообщения: 47

Зарегистрирован: 25 окт 2012, 11:00

Благодарил (а): 4 раз.
Поблагодарили: 3 раз.

Сообщение 11 янв 2013, 17:23

Re: Запрет индексации ярлыков и архива ???

aldous писал(а):...

Посмотрите у меня, пожалуйста. Я правильно понимаю, что в том виде, в котором сейчас представлен блог, мне нужно закрыть от индексации только метки (виджет в правой части блога) и ярлыки под статьями (что одно и то же в принципе) ?

Что мне нужно для этого сделать для блога на blogspot? А то я уже запутался.

P.S. Виджета с архивами я не использую...

Добавлено спустя 7 минут 11 секунд:
Похоже, что вот этот код просто не работает:

  Код:
<b:if cond='data:blog.pageType == &quot;item&quot;'>
     <meta content='index,follow' name='robots'/>
<b:else/>
<b:if cond='data:blog.pageType == &quot;index&quot;'>
     <meta content='index,follow' name='robots'/>
<b:else/>
<b:if cond='data:blog.pageType == &quot;static_page&quot;'>
     <meta content='index,follow' name='robots'/>
<b:else/>
     <meta content='noindex,follow' name='robots'/>
</b:if></b:if></b:if>


На страницах по меткам/ярлыкам я везде вижу:

  Код:
<meta content="index,follow" name="robots">


Добавлено спустя 3 минуты 17 секунд:
Для всех поисковиков кроме Гугла и тех, которые я не знаю, вернул назад строки в файл robots.txt:

  Код:
Disallow: /search
Disallow: /search/label/


Добавлено спустя 7 минут 48 секунд:
Если набрать в поисковике вот такой запрос:

  Код:
site:tol64.blogspot.com/search/


или

  Код:
site:tol64.blogspot.com/search/label/


то Гугл выдаёт мусор. Возможно когда-то я экспериментировал с файлом robots.txt. И гугл успел их проиндексировать. Потом довольно долго метки были закрыты для гугла и всех остальных в robots.txt, но почему-то мусор остался в поисковике. Как его оттуда убрать теперь? Вот это главный вопрос.

Добавлено спустя 58 минут 40 секунд:
В общем пока сделал так. Снова запретил для всех поисковиков ярлыки/метки в файле robots.txt. В ВебМастере Гугла отправил запрос на удаление этих каталогов из индекса. Теперь остаётся только ждать результата. Посмотрим, что из этого получится. ))
След.

Вернуться в Вопросы от новичков

Кто сейчас на конференции

Зарегистрированные пользователи: нет зарегистрированных пользователей

Работает на phpBB © 2000, 2002, 2005, 2007 phpBB Group. Дизайн ST Software и Blogger Форум. Русская поддержка phpBB
ЧПУ ссылки от phpbb seo