Сайт имеет множество доменов 3го уровня, а так же множество зеркал. Сейчас все домены перезжают, следовательно нужно переадрестовать все site1.ru, site2.ru, site3.ru на site4.ru, а домены 3го уровня domen1.site1.ru, domen1.site2.ru, domen1.site3.ru на domen1.site4.ru, domen2.site1.ru, domen2.site2.ru, domen2.site3.ru на domen2.site4.ru и т.д.
В .htcaccess сейчас вот так настроен переезд:
RewriteCond %{HTTP_HOST} ^site2\.ru
RewriteRule ^(.*)$ site4.ru/$1 [R=301,L]
RewriteCond %{HTTP_HOST} ^([^.]+\.)site2\.ru$ [NC]
RewriteRule ^ %1site4\.ru%{REQUEST_URI} [R=301,L,NE]

При этом есть запись на разные robot.txt для разных доменов 3го уровня
RewriteRule ^robots\.txt$ robots/%{HTTP_HOST}.txt [L]

Суть проблемы: для яндекса в robots.txt нужно указать диррективу HOST. Сейчас запись переадресовывает все, в том числе робот и yandex не читает из-за этого robots. Как сделать переадресацию всего кроме robots.txt которые по сути расположены в папке /robots и сами фалы имеют формат domen1.robots.txt