Jump to content
  • 0

robots.txt


antosha
 Share

Question

2 answers to this question

Recommended Posts

  • 0

Некоторые роботы разбирают этот файл некоторые нет,

В целом если нет желания что бы в поисковик не попадала информация из страничек для печати (если таковые имеются) из админки и т.п. их можно закрыть для индексации роботом в дальнейшем., либе если предположим есть две одинаковые странички к примеру, но URl у них разный, робот может взять приоритетную на свое усмотрение страничку, таким образом если тебе хочется улучшить посещаемость с одной на другу, в этом файле так же в нем есть смысл. Но опять это скорее пожелание чем требование.

На усмотрение автора.

Link to comment
Share on other sites

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.
Note: Your post will require moderator approval before it will be visible.

Guest
Answer this question...

×   Pasted as rich text.   Paste as plain text instead

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.

 Share

×
×
  • Create New...

Important Information

We have placed cookies on your device to help make this website better. You can adjust your cookie settings, otherwise we'll assume you're okay to continue. See more about our Guidelines and Privacy Policy