Мажордомо и Robots.txt
Приветствую, друзья.
Сейчас заметил одну картину в программе сайт аудитор, а именно:
Сайт находится у мажордомо, файла роботс.тхт у сайта нет.
Получается что хостинг без моего ведома подсовывает мне на сайт их вариант этого файла?
Плохо это для меня или нет? И вообще можно так делать? На других сайтах без Роботс.тхт такого нет.
Может кто то объяснит что это такое и как это чудо убрать?
Спасибо за ответы.
Сейчас заметил одну картину в программе сайт аудитор, а именно:
Сайт находится у мажордомо, файла роботс.тхт у сайта нет.
Получается что хостинг без моего ведома подсовывает мне на сайт их вариант этого файла?
Плохо это для меня или нет? И вообще можно так делать? На других сайтах без Роботс.тхт такого нет.
Может кто то объяснит что это такое и как это чудо убрать?
Спасибо за ответы.
Похожие публикации
Как лучше организовать дублирование сайта для защиты от сбоев?
404. Заблокирован за спам
Защита от DDoS html сайта
Как сделать незаметные обновления сайта?
Высокая нагрузка запросами без Header Host. Как защититься?
Нет комментариев