Пользовательский файл robots.txt

<<

Ganyart

Сообщение 17 окт 2013, 15:56

Подскажите пожалуйста каким должен быть пользовательский файл robots.txt? Что в него добавить?
Сейчас у меня:

User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /search
Allow: /

Sitemap: http://www.nashakuhnja.ru/feeds/posts/d ... by=UPDATED

-------------------------------------------------------------------------------------------------------
Надо ли добавить например такие записи как
User-agent: YandexImages
Allow: /wp-content/uploads/


User-agent: Googlebot-Image
Allow: /wp-content/uploads/


User-agent: Yandex
Disallow: /search
Disallow: /p/search.html Allow: /

-------------------------------------------------------------------------------------------------------
<<

Ganyart

Сообщение 17 окт 2013, 17:35

Кстати в robots.txt как будет правильней
/go.php?http://www.nashakuhnja.ru/feeds/posts/default?orderby=UPDATED
или
/go.php?http://kuhnyanasha.blogspot.com/sitemap.xml

Добавлено спустя 11 минут 12 секунд:
И еще, надо ли указывать для каждого поисковика свои параметры индексирования через 'User-agent:'?
<<

Ganyart

Сообщение 18 окт 2013, 04:18

Вот нашел такой роботс, насколько он правильный?
User-agent: *
Disallow: /search/
Disallow: /search/label/
Disallow: /*archive.html
Allow: /

Sitemap: http://www......../feeds/posts/default?orderby=updated

User-agent: Yandex
Disallow: /search/
Disallow: /search/label/
Disallow: /*archive.html
Allow: /
<<

Ganyart

Сообщение 18 окт 2013, 16:45

Все грамотно изложено о правильном robots.txt для Blogspot на сайте у Святослава :good: :) http://sv9t.ru/robots-txt-dlya-blogspot-wp-i-joomla
<<

CHELSI

Сообщение 13 мар 2016, 05:53

Для блога в Google правильный этот файл подскажите?
User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /search
Allow: /

Sitemap: http://andrew-scrnshots-computer-games. ... by=updated
<<

Admin

Сообщение 07 апр 2016, 10:43

CHELSI писал(а):Для блога в Google правильный этот файл подскажите?

Конечно, правильный.
<<

Puncher

Сообщение 09 сен 2016, 05:19

Ещё Яндекс требует директиву Host добавить, но как это сделать? Просто прописать и сохранить блог не даёт.
<<

Mr-fan

Сообщение 04 окт 2016, 12:48

при отсутствие на сайте данного фала, может повлечь к каким то проблемам?
<<

eltrischkina

Сообщение 12 окт 2016, 10:21

Да ничего страшного не будет, host не прописать в блогер. Хоть бы кто нибудь ответил :shok:

Вернуться в Поисковое продвижение

Работает на phpBB © 2000, 2002, 2005, 2007 phpBB Group. Дизайн ST Software и Blogger Форум. Русская поддержка phpBB
ЧПУ ссылки от phpbb seo