Jump to content
  • 0

Один домен с www и без, с разными robots.txt


HoUsE
 Share

Question

Есть домен zb-susu.ru.

По адресам типа:

http://www.zb-susu.ru/

http://www.zb-susu.ru/Новости/

http://www.zb-susu.ru/Структура/

открывается один сайт, лежащий в Москве.

По адресам типа:

http://zb-susu.ru/~marta/

http://zb-susu.ru/~gelrot/

http://giupip.zb-susu.ru/

http://eapp.zb-susu.ru/bzd/

http://photo.zb-susu.ru/cgi-bin/index.cgi

открывается другой сайт, лежащий в нашем городе, не в Москве.

При открытии главной страницы http://zb-susu.ru/ сервер перебрасывает пользователя на страницу http://www.zb-susu.ru/

Мы сделано это специально, так задумано. Тут все правильно.

Вопрос заключается в том, как правильно организовать разные файлы http://www.zb-susu.ru/robots.txt и http://zb-susu.ru/robots.txt?

А точнее, даже в самом параметре:

host: www.zb-susu.ru

Одинаковые должны быть эти файлы или нет?

Link to comment
Share on other sites

2 answers to this question

Recommended Posts

  • 0

Проблемы нет. Есть желание организовать правильно файлы robots.txt.

http://www.zb-susu.ru/robots.txt содержит:

———--

User-agent: *

Disallow: /captcha/*

Host: www.zb-susu.ru

———--

а файл:

http://zb-susu.ru/robots.txt содержит:

———--

User-Agent: *

Disallow: /cgi-bin/

———--

Правильно ли это? Или может их одинаковые сделать?

Link to comment
Share on other sites

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.
Note: Your post will require moderator approval before it will be visible.

Guest
Answer this question...

×   Pasted as rich text.   Paste as plain text instead

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.

 Share

×
×
  • Create New...

Important Information

We have placed cookies on your device to help make this website better. You can adjust your cookie settings, otherwise we'll assume you're okay to continue. See more about our Guidelines and Privacy Policy