Пользовательский файл robots.txt

<<

Ganyart

Аватара пользователя

Автор темы

Сообщения: 122

Зарегистрирован: 10 дек 2012, 13:11

Откуда: Чебоксары

Благодарил (а): 0 раз.
Поблагодарили: 1 раз.

Сообщение 17 окт 2013, 19:56

Пользовательский файл robots.txt

Подскажите пожалуйста каким должен быть пользовательский файл robots.txt? Что в него добавить?
Сейчас у меня:

User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /search
Allow: /

Sitemap: http://www.nashakuhnja.ru/feeds/posts/d ... by=UPDATED

-------------------------------------------------------------------------------------------------------
Надо ли добавить например такие записи как
User-agent: YandexImages
Allow: /wp-content/uploads/


User-agent: Googlebot-Image
Allow: /wp-content/uploads/


User-agent: Yandex
Disallow: /search
Disallow: /p/search.html Allow: /

-------------------------------------------------------------------------------------------------------
<<

Ganyart

Аватара пользователя

Автор темы

Сообщения: 122

Зарегистрирован: 10 дек 2012, 13:11

Откуда: Чебоксары

Благодарил (а): 0 раз.
Поблагодарили: 1 раз.

Сообщение 17 окт 2013, 21:35

Re: Пользовательский файл robots.txt

Кстати в robots.txt как будет правильней
/go.php?http://www.nashakuhnja.ru/feeds/posts/default?orderby=UPDATED
или
/go.php?http://kuhnyanasha.blogspot.com/sitemap.xml

Добавлено спустя 11 минут 12 секунд:
И еще, надо ли указывать для каждого поисковика свои параметры индексирования через 'User-agent:'?
<<

Ganyart

Аватара пользователя

Автор темы

Сообщения: 122

Зарегистрирован: 10 дек 2012, 13:11

Откуда: Чебоксары

Благодарил (а): 0 раз.
Поблагодарили: 1 раз.

Сообщение 18 окт 2013, 08:18

Re: Пользовательский файл robots.txt

Вот нашел такой роботс, насколько он правильный?
User-agent: *
Disallow: /search/
Disallow: /search/label/
Disallow: /*archive.html
Allow: /

Sitemap: http://www......../feeds/posts/default?orderby=updated

User-agent: Yandex
Disallow: /search/
Disallow: /search/label/
Disallow: /*archive.html
Allow: /
<<

Ganyart

Аватара пользователя

Автор темы

Сообщения: 122

Зарегистрирован: 10 дек 2012, 13:11

Откуда: Чебоксары

Благодарил (а): 0 раз.
Поблагодарили: 1 раз.

Сообщение 18 окт 2013, 20:45

Re: Пользовательский файл robots.txt

Все грамотно изложено о правильном robots.txt для Blogspot на сайте у Святослава :good: :) http://sv9t.ru/robots-txt-dlya-blogspot-wp-i-joomla
<<

CHELSI

Сообщения: 5

Зарегистрирован: 29 фев 2016, 11:45

Благодарил (а): 0 раз.
Поблагодарили: 0 раз.

Сообщение 13 мар 2016, 09:53

Re: Пользовательский файл robots.txt

Для блога в Google правильный этот файл подскажите?
User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /search
Allow: /

Sitemap: http://andrew-scrnshots-computer-games. ... by=updated
<<

Admin

Аватара пользователя

Сообщения: 1450

Зарегистрирован: 21 мар 2011, 15:30

Благодарил (а): 66 раз.
Поблагодарили: 157 раз.

Сообщение 07 апр 2016, 14:43

Re: Пользовательский файл robots.txt

CHELSI писал(а):Для блога в Google правильный этот файл подскажите?

Конечно, правильный.
<<

Puncher

Аватара пользователя

Сообщения: 2

Зарегистрирован: 08 сен 2016, 22:37

Благодарил (а): 0 раз.
Поблагодарили: 0 раз.

Сообщение 09 сен 2016, 09:19

Re: Пользовательский файл robots.txt

Ещё Яндекс требует директиву Host добавить, но как это сделать? Просто прописать и сохранить блог не даёт.
<<

Mr-fan

Аватара пользователя

Сообщения: 4

Зарегистрирован: 04 окт 2016, 16:10

Благодарил (а): 0 раз.
Поблагодарили: 0 раз.

Сообщение 04 окт 2016, 16:48

Re: Пользовательский файл robots.txt

при отсутствие на сайте данного фала, может повлечь к каким то проблемам?
При нашествии зомби, Бастилия мой дом. И пускай весь мир подождет :)
<<

eltrischkina

Аватара пользователя

Сообщения: 2

Зарегистрирован: 18 янв 2016, 15:31

Благодарил (а): 0 раз.
Поблагодарили: 0 раз.

Сообщение 12 окт 2016, 14:21

Re: Пользовательский файл robots.txt

Да ничего страшного не будет, host не прописать в блогер. Хоть бы кто нибудь ответил :shok:

Вернуться в Поисковое продвижение

Кто сейчас на конференции

Зарегистрированные пользователи: нет зарегистрированных пользователей

cron
Работает на phpBB © 2000, 2002, 2005, 2007 phpBB Group. Дизайн ST Software и Blogger Форум. Русская поддержка phpBB
ЧПУ ссылки от phpbb seo