Заборона індексації поддомена або як закрити від індексації піддомен в robots.txt, в htaccess
Заборона індексації поддомена в robots.txt, якщо він знаходиться в підкаталозі або підкаталозі.
Заборона індексації поддомена в robots.txt, якщо він знаходиться в підкаталозі / dir /
User-agent: * Disallow: / dir /
Заборона індексації поддомена в htaccess, якщо він знаходиться в підкаталозі / dir /
RewriteCond% {HTTP_USER_AGENT} ^. * Google. * [NC] RewriteCond% {HTTP_USER_AGENT} ^. * Yandex. * [NC] RewriteRule ^ / dir /.*$ - [F]
або ж в /dir/.htaccess:
RewriteEngine on RewriteCond% {HTTP_USER_AGENT} ^. * Google. * [NC] RewriteCond% {HTTP_USER_AGENT} ^. * Yandex. * [NC] RewriteRule ^. * $ - [F]
Заборона індексації поддомена в robots.txt, якщо він знаходиться в одному каталозі з сайтом або іншими піддоменами
RewriteCond% {HTTP_HOST} pod1 \ .site \ .ru. * $ RewriteRule ^ robots \ .txt $ robots1.txt
Створити robots1.txt його помістити в корінь, а в нього:
User-agent: * Disallow: /
Таким чином створимо кілька різних robots.txt для кожного поддомена.
Заборона індексації поддомена в htaccess, якщо він знаходиться в одному каталозі з сайтом або іншими піддоменами
RewriteCond% {HTTP_USER_AGENT} ^. * Google. * [NC] RewriteCond% {HTTP_USER_AGENT} ^. * Yandex. * [NC] RewriteCond% {HTTP_HOST} pod1 \ .site \ .ru. * $ RewriteRule ^. * $ - [F]
Можна так само заборонити всі піддомени, крім зазначених.
Це може бути корисно в разі соціальних мереж або каталогів з особистими даними.
RewriteCond% {HTTP_USER_AGENT} ^. * Google. * [NC] RewriteCond% {HTTP_USER_AGENT} ^. * Yandex. * [NC] RewriteCond% {HTTP_HOST} ^ ([a-z0-9 -] +) \. Site \ .ru. * $ [NC] RewriteCond% {HTTP_HOST}! Www \ .site \ .ru. * $ [NC] RewriteCond% {HTTP_HOST}! Pod1 \ .site \ .ru. * $ [NC] RewriteCond% {HTTP_HOST}! Pod2 \ .site \ .ru. * $ [NC] RewriteRule ^. * $ - [F]
Де: pod1, pod2 - піддомени, які забороняти не треба.
Коментарі
Коментуючи, пам'ятайте про те, що зміст і тон Вашого повідомлення можуть зачіпати почуття реальних людей, проявляйте повагу та толерантність до своїх співрозмовників навіть у тому випадку, якщо Ви не поділяєте їхню думку, Ваша поведінка за умов свободи висловлювань та анонімності, наданих інтернетом, змінює не тільки віртуальний, але й реальний світ. Всі коменти приховані з індексу, спам контролюється.