Заборона індексації поддомена або як закрити від індексації піддомен в robots.txt, в htaccess

Запрет индексации поддомена или как закрыть от индексации поддомен в robots.txt, в htaccess

Заборона індексації поддомена в robots.txt, якщо він знаходиться в підкаталозі або підкаталозі.

Заборона індексації поддомена в robots.txt, якщо він знаходиться в підкаталозі / dir /

 User-agent: *
 Disallow: / dir / 

Заборона індексації поддомена в htaccess, якщо він знаходиться в підкаталозі / dir /

 RewriteCond% {HTTP_USER_AGENT} ^. * Google. * [NC]
 RewriteCond% {HTTP_USER_AGENT} ^. * Yandex. * [NC]
 RewriteRule ^ / dir /.*$ - [F]

або ж в /dir/.htaccess:

 RewriteEngine on
 RewriteCond% {HTTP_USER_AGENT} ^. * Google. * [NC]
 RewriteCond% {HTTP_USER_AGENT} ^. * Yandex. * [NC]
 RewriteRule ^. * $ - [F]

Заборона індексації поддомена в robots.txt, якщо він знаходиться в одному каталозі з сайтом або іншими піддоменами

 RewriteCond% {HTTP_HOST} pod1 \ .site \ .ru. * $ RewriteRule ^ robots \ .txt $ robots1.txt 

Створити robots1.txt його помістити в корінь, а в нього:

 User-agent: *
 Disallow: /

Таким чином створимо кілька різних robots.txt для кожного поддомена.

Заборона індексації поддомена в htaccess, якщо він знаходиться в одному каталозі з сайтом або іншими піддоменами

 RewriteCond% {HTTP_USER_AGENT} ^. * Google. * [NC]
 RewriteCond% {HTTP_USER_AGENT} ^. * Yandex. * [NC]
 RewriteCond% {HTTP_HOST} pod1 \ .site \ .ru. * $
 RewriteRule ^. * $ - [F]

Можна так само заборонити всі піддомени, крім зазначених.

Це може бути корисно в разі соціальних мереж або каталогів з особистими даними.

 RewriteCond% {HTTP_USER_AGENT} ^. * Google. * [NC]
 RewriteCond% {HTTP_USER_AGENT} ^. * Yandex. * [NC]
 RewriteCond% {HTTP_HOST} ^ ([a-z0-9 -] +) \. Site \ .ru. * $ [NC]
 RewriteCond% {HTTP_HOST}! Www \ .site \ .ru. * $ [NC]
 RewriteCond% {HTTP_HOST}! Pod1 \ .site \ .ru. * $ [NC]
 RewriteCond% {HTTP_HOST}! Pod2 \ .site \ .ru. * $ [NC]
 RewriteRule ^. * $ - [F]

Де: pod1, pod2 - піддомени, які забороняти не треба.