Запрет индексации https, через htaccess и robots.txt

[andrei]

Добрый день!

Недавно заметил, что поисковики Гугл и Яндекс стали индексировать https версию сайта, при этом http версия страниц, проиндексированных по протоколу https из индекса стала удаляться, таким образом сайт стал потихоньку превращаться в https.

Обратился с этим вопросом к Платонам, ответ получил быстро и главное там они указали, как эту проблему устранить, на выбор всего 2 варианта, первый вариант таков, что необходимо создать robots.txt с запретом индексации https версии и разместить этот robots.txt следует строго так, чтобы он отрывался по ссылке https//мойсайт /robots.txt Но тут возникла проблема, сайт у меня в одной папке, в ней же лежит и основной robots.txt.

Вопрос такой, каким образом можно сделать https версию сайта не нарушая работоспособности основной версии, другими словами, куда следует положить robots.txt для https, что бы он открывался по адресу https//мойсайт /robots.txt, а основной robots.txt был бы доступен по прежнему адресу http//мойсайт /robots.txt И как всё это можно сделать, ведь 2 robots.txt в 1 папке для http и для https разместить нереально..

И ещё такой вопрос, как правильно через htaccess сделать переадресацию с https//мойсайт / на http//мойсайт / Какое правило для этого необходимо записать в htaccess?

[rus]

а погуглить не пробовали?

сразу вторая ссылка

[andrei]

Это правило я пробовал через htacces и robots-https.txt но страниц с https становилось всё больше, в яндексе по этому правилу ответили так

— Робот не запрашивает файл по адресу http:// мой-сайт.ру/ robots-https.txt

запрет необходимо разместить по адресу https:// мой-сайт.ру/ robots.txt

Вот и озадачился таким ответом..

И каким образом это сделать неясно, разок хоть бы кто растолковал по подробнее и было бы уже другое дело.

Edited January 15, 2013 by andrei

[rus]

в яндексе по этому правилу ответили так

— Робот не запрашивает файл по адресу http:// мой-сайт.ру/ robots-https.txt

запрет необходимо разместить по адресу https:// мой-сайт.ру/ robots.txt

вообще странно ответили, т.к. по этому правилу происходит то, что сказано в статье:

RewriteEngine on

RewriteCond %{HTTPS} on

RewriteRule ^robots\.txt$ robots-https.txt

Что это значит на практике? При обращении поискового робота к сайту через http паук получает стандартный файл robots.txt, а при обращении через https-порт поисковый бот получит файл robots-https.txt вот тут я бы написал что переадресовывает с robots.txt на robots-https.txt в котором полностью запрещена индексация сайта.

но, если вам версия https не нужна, то можете сделать 301 редирект с https на http

и да, там написано же, это действие сделать необходимо только для тех, у кого обе версии сайта лежать в одной папке, а если в разных папках, то можно и вовсе не париться.

[andrei]

Вот сейчас проставил в htaccess

RewriteEngine on

RewriteCond %{HTTPS} on

RewriteRule ^robots\.txt$ robots-https.txt

Сам файл robots-https.txt вот http://fishingclubin...obots-https.txt он же виден и при https://fishingclubi...obots-https.txt

Робот яндекса обращается к роботсу так http://fishingclubinfo.ru/robots.txt По https он- робот яндекса обращается так же https://fishingclubinfo.ru/robots.txt , но при этом как я понял должна происходить переадресация на https://fishingclubi...obots-https.txtно она- переадресация не происходит...

Что не так я делаю.. разъясните мне пожалуйста?

Edited January 15, 2013 by andrei

[keltanas]

Похоже, что как-то не по русски читаешь. Перечитай статью из этого комментария еще раз, потом еще раз. Там все подробно расписано.

Тафига ты вообще пытаешься открыть robots-https.txt мне не понятно? Ясно же сказали, что этот файл поискови не увидит.

Переадресации никакой быть не должно. Просто апач должен тебе выдать понтент по переписанному ури.