Мой сайт проиндексирован в гугле, а теперь в результатах появились страницы и вместо домена там ip-адрес сервера.
Стоит ли блокировать индексацию если бот заходит на ip? например 192.169.../ как это сделать с помощью robots.txt и.htaccess ???
наверное чето с этим можно сделать если переделать…
это блокировка https
RewriteCond %{SERVER_PORT} ^443$
RewriteRule ^robots.txt$ robots_ssl.txt