.htaccess - убрать дубли страниц

[dnn]

Есть статичный сайт-визитка, который раньше состоял из нескольких страниц с расширением HTML, сделал реконструкцию, расширение страниц теперь PHP.

В .htaccess прописал условия:

-pедирект с домена с префиксом «www» на домен без префикса;

-pедирект с index.php, index.htm, index.html на главную страницу сайта

-убирается слеш в конце

-поменял расширение файла в URL на html (старые страницы с .html уже проиндексированы), в результате дубли страниц: браузер видит одну и ту же страницу по разным адресам: site.ru/stranica.html и site.ru/stranica.php, а нужно естественно, чтобы все страницы открывались только с расширением html.

Пробовал разные варианты, решения найти не могу.

Сам .htaccess:

RewriteEngine On

RewriteBase /

RewriteCond %{HTTP_HOST} ^www.site.ru$ [NC]

RewriteRule ^(.*)$ http://site.ru/$1 [R=301,L]

RewriteCond %{REQUEST_URI} /$ [NC]

RewriteRule ^(.*)(/)$ $1 [L,R=301]

RewriteRule ^(.*)\.html $1\.php

RewriteRule ^(.*)/index\.(php|html|htm)$ http://site.ru/$1/ [R=301,L]

ErrorDocument 404 /error404.html

[dnn]

Проблему решил.

Если вкратце: не получается редирект, используем мета-тег rel=canonical.

Собственно, его лучше использовать всегда.

Может кому-то пригодится: подробно на эту тему devaka.ru/articles/link-rel-canonical

Автор блога мне и помог.

[keltanas]

Скройте дубли через robots.txt

А этот canonical в Яндекте будет работать?

[dnn]

Скройте дубли через robots.txt

А этот canonical в Яндекте будет работать?

Смотри здесьhttp://help.yandex.r...ter/?id=1111858

...Если на сайте присутствуют группы схожих по контенту страниц, вебмастер может указать для каждой страницы группы предпочитаемый (канонический) адрес, который будет участвовать в поиске. Например, страница доступна по двум адресам:

www.examplesite.ru/pages?id=2www.examplesite.ru/blog

Если предпочитаемый адрес — /blog, это нужно отразить в коде страницы /pages?id=2:

<link rel="canonical" href="http://www.examplesite.ru/blog"/>

Робот считает ссылку с атрибутом rel="canonical" не строгой директивой, а предлагаемым вариантом, который учитывается, но может быть проигнорирован.

Или тут http://webmaster.ya....l?item_no=10371

С помощью атрибута rel=”canonical” вы можете указать, какая страница является «канонической» – предпочтительной для индексации и появления в результатах поиска. Если Яндекс будет знать о том, что содержание страниц одинаково, он проиндексирует и добавит в результаты поиска только одну из них, выбранную владельцем сайта.

Edited January 24, 2013 by dnn

[Skanavy]

Здравствуйте, коллеги!

 

Помогите, пожалуйста, хочу избавиться от дубликата страницы index.html с помощью .htaccess. Скажу сразу, про существование .htaccess я узнал две минуты назад. Подскажите что необходимо прописать в этом файле? Спасибо.

 

Нашел в интернете следующий код, но когда я его прописал сайт вообще перестал загружаться, что не так:

 Options +FollowSymLinksRewriteEngine onRewriteCond %{HTTP_HOST} ^mysite.ruRewriteRule (.*) http://www.mysite.ru/$1'>http://www.mysite.ru/$1 [R=301,L]RewriteCond %{THE_REQUEST} ^[A-Z]{3,9} /index.html HTTP/RewriteRule ^index.html$ http://www.mysite.ru/ [R=301,L] 

Edited October 29, 2015 by Skanavy

[xShift]

 

Здравствуйте, коллеги!

 

Помогите, пожалуйста, хочу избавиться от дубликата страницы index.html с помощью .htaccess. Скажу сразу, про существование .htaccess я узнал две минуты назад. Подскажите что необходимо прописать в этом файле? Спасибо.

 

Нашел в интернете следующий код, но когда я его прописал сайт вообще перестал загружаться, что не так:

 Options +FollowSymLinksRewriteEngine onRewriteCond %{HTTP_HOST} ^mysite.ruRewriteRule (.*) http://www.mysite.ru/$1'>http://www.mysite.ru/$1 [R=301,L]RewriteCond %{THE_REQUEST} ^[A-Z]{3,9} /index.html HTTP/RewriteRule ^index.html$ http://www.mysite.ru/ [R=301,L] 

 

 

А сервер на чем? Это на разных настройках Linux по разному работает.

 

Не делайте redirect. Это все усложнит и количество папок будет требовать если сайт не весь на html разных настроек htaccess для каждой папки.

 

Просто используйте

 DirectoryIndex index.html 

И в index.html

<link rel="canonical" href="/"/>

Добавив 

 <base href="http://www.your_site.ru">

[Skanavy]

Если я вас правильно понял, мне следует добавить в .htaccess:

DirectoryIndex index.html

а в index.html:
 

<link rel="canonical" href="/"/>

<base href="http://www.mysite.ru">

Все так?

[xShift]

Если я вас правильно понял, мне следует добавить в .htaccess:

DirectoryIndex index.html

а в index.html:

 

<link rel="canonical" href="/"/>

<base href="http://www.mysite.ru">

Все так?

 

Да. Только проверьте тег base. Я не уверен, что нужен слеш в конце, но возможно без него ни как.

[Skanavy]

Оказалось, что слеш нужен. Есть способ проверить или необходимо ждать индексацию сайта?

 

Запустил я онлайн генератор для sitemap (my site map generator com) и он зафигачил карту сайта с дубликатами (http://mysite.ru/ и http://mysite.ru/index.html) - это нормально?

Edited October 29, 2015 by Skanavy

[xShift]

Это не нормально потому что генератор не умеет канонические указатели обрабатывать. Но если у вас canonical настроен, то индексироваться будет только /.

[Skanavy]

///

Edited November 2, 2015 by Skanavy