Jump to content
  • 0

robots.txt


Anechka
 Share

Question

3 answers to this question

Recommended Posts

  • 0
6 часов назад, wwt сказал:

Disallow: /page.php

равнозначно


Disallow: /page.php*

подробнее https://yandex.ru/support/webmaster/controlling-robot/robots-txt.xml#asterisk-dollar

У меня вот и были сомнения по поводу первого способа - по этому и создала тему. Теперь убедилась что всё таки это правильно. А Вы не знаете, является ли ошибкой писать в robots.txt всё нижним регистром? Просто я в 100% случаях вижу что везде всё написано в нижнем регистре с первой заглавной буквы - такой вот ещё возможно странный вопрос от меня! :)

Link to comment
Share on other sites

  • 0
17 часов назад, Anechka сказал:

У меня вот и были сомнения по поводу первого способа - по этому и создала тему. Теперь убедилась что всё таки это правильно. А Вы не знаете, является ли ошибкой писать в robots.txt всё нижним регистром? Просто я в 100% случаях вижу что везде всё написано в нижнем регистре с первой заглавной буквы - такой вот ещё возможно странный вопрос от меня! :)

регистр не важен. Но лучше соблюдать хороший стиль и начинать директивы с заглавной буквы. Но это не относится к адерсам, конечно же. Адрес должен писаться так каков он есть =)

User-agent: *
Disallow: /test
Disallow: /TEST
Disallow: /TeSt

Host: mysite.ru

 

  • Like 1
Link to comment
Share on other sites

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.
Note: Your post will require moderator approval before it will be visible.

Guest
Answer this question...

×   Pasted as rich text.   Paste as plain text instead

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.

 Share

  • Similar Content

    • By Anechka
      Здравствуйте, у одного из моих сайтов на хостинге находится файл robots.txt с таким содержимым:
      User-agent: * Disallow: /graphics/ Disallow: /*.jpg$ и мне нужно было сделать запрет на индексирование всей графики в конкретной папке и вообще всех jpg. Думала что я правильно всё сделала но вот сегодня пришло письмо от Яндекс вебмастера в котором говорится о том что сайт полностью запрещён к индексированию в robots.txt.
      Это ошибка со стороны Яндекса и нужно писать им или у меня действительно не правильно заполнен этот файл для решения своей задачи?
      Спасибо!
    • By adgjm90
      Здравствуйте. Моему сайту (http://kovkavolgograd.ru/) три месяца. Индексируется в яндексе только одна страница. robots.txt брал с интернета. Подскажите какие строчки в robots.txt запрещают индексацию страниц сайта и записей сайта? 

      Disallow: /wp-login.php
      Disallow: /wp-register.php
      Disallow: /webstat/
      Disallow: /feed/
      Disallow: /trackback
      Disallow: */trackback
      Disallow: */feed
      Disallow: */comments
      Disallow: /*?*
      Disallow: /*?
      Disallow: /category/*/*
      Disallow: /wp-content/
      Disallow: /wp-admin/
      Disallow: /wp-includes/
      Disallow: /comments

      С Ув.
       
×
×
  • Create New...

Important Information

We have placed cookies on your device to help make this website better. You can adjust your cookie settings, otherwise we'll assume you're okay to continue. See more about our Guidelines and Privacy Policy