Host.Community | hcom.link

Есть база (около 57Гб), крутится в MariaDB 10.1 Нужно перенести ее в Percona XtraDB (будет крутиться там в составе Galera кластер, но это потом, главное перенести базу хотя бы на одну ноду). Встал вопрос как это сделать максимально быстро. mysqldump работает отлично (база консистентна, совместима с приложениями), но залив дампа идет около 6 часов — слишком долго. При попытке делать потоковый дамп
mysqldump --single-transaction DB | mysql --host=IP -uUSER -pPASS -C DB
— скорость такая же. Очень быстро делается бекап через xtrabackup (он же innobackupex), но вот беда, получившийся бекап не подходит к Percona — жалуется на кучу несовместимостей базы mysql, perfomance schema и прочее. Что делать, товарищи? Очень критично переехать быстро, с минимальным простоем.

Поднял на ubuntu16.04 прозрачный кеширующий squid 3.5.26 c поддержкой ssl-bump без подмены сертификатов. В принципе всё работает, но когда настал момент блокировки https ресурсов, а конкретно google,gmail,youtube встал в тупик. т.е. в конфиге squid есть такая команда:
acl blocked ssl::server_name "/etc/squid/blocked_https.txt"
в файлик прописываю домены блокируемых ресурсов: .google.com .www.youtube.com .toster.ru. В итоге блокируется только toster, (его заблочил для примера — хороший сайт)да и еще почему-то блокируется именно facebook хотя его блокировка нигде не фигурирует. Помогите разобраться. Настраивал сквиду по статьям на хабре. Вот конфиг сквид:

acl local src 10.10.1.0/24

http_port 10.10.1.254:3128 intercept options=NO_SSLv3:NO_SSLv2
https_port 10.10.1.254:3129 intercept ssl-bump options=ALL:NO_SSLv3:NO_SSLv2 connection-auth=off cert=/etc/squid/squidCA.pem

always_direct allow all
sslproxy_cert_error allow all
sslproxy_flags DONT_VERIFY_PEER

acl blocked ssl::server_name "/etc/squid/blocked_https.txt"
acl step1 at_step SslBump1
ssl_bump peek step1

Лучше всего проблему иллюстритует сия картинка

Если описать это словами, то выходит так. Сервер работает как ни в чём ни бывало. Нагружено около половины ядер. И не на 100%, а на 50-70%. Потом внезапно нагрузка улетает в космос. При этом база встаёт раком, ответы происходят очень долго. Всё это длится 10-50 секунд, и потом опять перерыв на минутку.

И я никак не могу понять в чём причина этой беды. Ибо эту картинку я вижу не в первый раз. На нее я натыкался и ранее, еще лет 5 назад. То есть собственно версия ядра, дистрибутива или даже мускуля скорее всего не причем.

Причем по мониторингу (htop) видно что проц то загружен системным вызовом. Т.е. это или огромное количество некоторых вызовов к ядру, или интенсивное выделение-забирание памяти, или ввод-вывод.
Но как промониторить самые топовые вызовы ядра я не знаю. Память судя опять же по мониторингу массово не выделяется и не забирается (по меньшей мере гигабайтами, чтобы это было заметно).
iotop показывает ввод-вывод не сильно отличающийся от такового в нормальном состоянии.

Запросы во время глюка выполняются самые обычные. Не сказать чтобы как-то менялась пропорция выбор/обновление, или запрашивались особые таблицы. Думал может что-то по крону запускается из переодических заданий. Но я пробовал останавливать их все на время. Проблема остается.

Ошибка
"-bash: warning: setlocale: LC_ALL: cannot change locale (en_US.UTF-8)"

не могу установить через установщик yum
Failed to set locale, defaulting to C Loaded plugins: fastestmirror Setting up Install Process Determining fastest mirrors epel/metalink | 21 kB 00:00 Segmentation fault

Пробовал так
localedef -i en_US -f UTF-8 en_US.UTF-8
Пробовал добавить в файл /etc/environment
строки:
LANG=en_US.utf-8 LC_ALL=en_US.utf-8

locale -a | grep US
locale: Cannot set LC_CTYPE to default locale: No such file or directory locale: Cannot set LC_MESSAGES to default locale: No such file or directory locale: Cannot set LC_COLLATE to default locale: No such file or directory en_US en_US.iso88591 en_US.iso885915 en_US.utf8 es_US es_US.iso88591 es_US.utf8 yi_US yi_US.cp1255 yi_US.utf8

ssh -v name@***.***.***.*** OpenSSH_7.2p2, OpenSSL 1.0.2j-fips 26 Sep 2016 debug1: Reading configuration data /etc/ssh/ssh_config debug1: /etc/ssh/ssh_config line 58: Applying options for * debug1: Connecting to ***.***.***.***[***.***.***.***] port 22. debug1: Connection established. debug1: key_load_public: No such file or directory debug1: identity file /home/name/.ssh/id_rsa type -1 debug1: key_load_public: No such file or directory debug1: identity file /home/name/.ssh/id_rsa-cert type -1 debug1: key_load_public: No such file or directory debug1: identity file /home/name/.ssh/id_dsa type -1 debug1: key_load_public: No such file or directory debug1: identity file /home/name/.ssh/id_dsa-cert type -1 debug1: key_load_public: No such file or directory debug1: identity file /home/name/.ssh/id_ecdsa type -1 debug1: key_load_public: No such file or directory debug1: identity file /home/name/.ssh/id_ecdsa-cert type -1 debug1: key_load_public: No such file or directory debug1: identity file /home/name/.ssh/id_ed25519 type -1 debug1: key_load_public: No such file or directory debug1: identity file /home/name/.ssh/id_ed25519-cert type -1 debug1: Enabling compatibility mode for protocol 2.0 debug1: Local version string SSH-2.0-OpenSSH_7.2 ssh_exchange_identification: read: Connection reset by peer

На сервере стоит httpd, который выдает 403 ошибку:
Forbidden
You don't have permission to access / on this server
Операционная система на сервере — CentOS.
Все время подключался с использованием логина и пароля. К серверу могу подключиться только по ssh.

В ISPmanager5 странные записи в access.log вебсервера. Apache2+Nginx
Откуда там взялись сторонние домены? Запрсы идут не на домен по-умолчанию.
81.4.102.172 — - [18/Aug/2017:09:10:07 +0300] «GET / HTTP/1.0» 200 14792 «www.simplanudas.com» «Mozilla/5.0 (X11; FreeBSD i386) AppleWebKit/535.2 (KHTML, like Gecko) Chrome/15.0.874.121 Safari/535.2» 86.124.80.238 — - [18/Aug/2017:09:10:07 +0300] «GET / HTTP/1.0» 200 14792 «glamourholas.com» «Opera/9.80 (Android; Opera Mini/7.6/35.4131; U; en) Presto/2.8 Version/11.10» 37.235.56.141 — - [18/Aug/2017:09:10:07 +0300] «GET / HTTP/1.0» 200 14792 «saxprivatas.com» «Mozilla/5.0 (X11; CrOS x86_64 8172.45.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.64 Safari/537.36» 81.4.102.172 — - [18/Aug/2017:09:10:07 +0300] «GET / HTTP/1.0» 200 14792 «www.xartpussy.com» «Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/47.0.2526.111 Safari/537.36» 81.4.102.172 — - [18/Aug/2017:09:10:08 +0300] «GET / HTTP/1.0» 200 14792 «www.fraaonas.com» «Opera/9.80 (Android; Opera Mini/7.5/32.749; U; en) Presto/2.8 Version/11.10» 37.235.56.141 — - [18/Aug/2017:09:10:08 +0300] «GET / HTTP/1.0» 200 14792 «vintagapornxxx.nat» «NetFront 3.3»

# systemctl status mariadb ● mariadb.service — MariaDB database server Loaded: loaded (/usr/lib/systemd/system/mariadb.service; enabled; vendor preset: disabled) Active: failed (Result: exit-code) since Чт 2017-08-17 12:11:59 MSK; 1min 50s ago Process: 18269 ExecStartPost=/usr/libexec/mariadb-wait-ready $MAINPID (code=exited, status=0/SUCCESS) Process: 18266 ExecStart=/usr/bin/mysqld_safe --basedir=/usr (code=exited, status=1/FAILURE) Process: 18238 ExecStartPre=/usr/libexec/mariadb-prepare-db-dir %n (code=exited, status=0/SUCCESS) Main PID: 18266 (code=exited, status=1/FAILURE) авг 17 12:11:59 SRV-T-MON-002 systemd[1]: Starting MariaDB database server… авг 17 12:11:59 SRV-T-MON-002 systemd[1]: Started MariaDB database server. авг 17 12:11:59 SRV-T-MON-002 mysqld_safe[18266]: 170817 12:11:59 mysqld_s… авг 17 12:11:59 SRV-T-MON-002 mysqld_safe[18266]: 170817 12:11:59 mysqld_s… авг 17 12:11:59 SRV-T-MON-002 systemd[1]: mariadb.service: main process e...E авг 17 12:11:59 SRV-T-MON-002 systemd[1]: Unit mariadb.service entered fa… авг 17 12:11:59 SRV-T-MON-002 systemd[1]: mariadb.service failed. Hint: Some lines were ellipsized, use -l to show in full.

Всем привет. Есть кластер galera (мастер-мастер, 2 ноды + арбитратор). Нужно все запросы от пользователя (и чтение и запись) направлять только на одну ноду. Если нода недоступна — все запросы должны идти на другую. Можно ли это реализовать? У меня получилось только «писать на одну ноду, читать с другой; если нода упала, то читать и писать с оставшейся ноды»

Вот мой конфиг:

[maxscale]
threads=1

[Splitter Service]
type=service
router=readwritesplit
servers=node1, node2
user=maxscale
passwd=STRONG_PASSWORD

[Splitter Listener]
type=listener
service=Splitter Service
protocol=MySQLClient
port=3306

Доброго времени суток. настроил всё по инструкции serveradmin.ru/nastroyka-proksi-servera-na...

Работает как прозрачный прокси(не работает только редирект, но это пока не важно), пускает на все сайты и автоматически логинится под всеми пользователями AD.

Только нюанс в том что я не знаю куда и как вписать чтобы у меня у всех был запрещен, а разрешен только на определенную группу пользователей в AD. И если это возможно чтобы у меня была какая то синхронизация с AD, ведь трафик показывает только у тех пользователей которых я добавлю в sams через веб-инетрфейс.

wbinfo -u (-g) выдет правильный список, всё настроено как надо и работает без ошибок, видимо остается до настроить конфиг сквида.

#/etc/squid/squid.conf
#visual_hostname = proxy-srv.metall1c.local auth_param ntlm program /usr/bin/ntlm_auth --diagnostics --helper-protocol=squid-2.5-ntlmssp --domain=METALL1C auth_param ntlm children 20 auth_param ntlm keep_alive on acl auth proxy_auth REQUIRED auth_param basic program /usr/bin/ntlm_auth --helper-protocol=squid-2.5-basic auth_param basic children 20 auth_param basic realm Squid proxy-chaching web server auth_param basic credentialsttl 8 hours http_access allow auth http_port proxy-srv:3128 cache_dir ufs /var/spool/squid 100 16 256 coredump_dir /var/spool/squid refresh_pattern ^ftp: 1440 20% 10080 refresh_pattern ^gopher: 1440 0% 1440 refresh_pattern -i

Сайт имеет множество доменов 3го уровня, а так же множество зеркал. Сейчас все домены перезжают, следовательно нужно переадрестовать все site1.ru, site2.ru, site3.ru на site4.ru, а домены 3го уровня domen1.site1.ru, domen1.site2.ru, domen1.site3.ru на domen1.site4.ru, domen2.site1.ru, domen2.site2.ru, domen2.site3.ru на domen2.site4.ru и т.д.
В .htcaccess сейчас вот так настроен переезд:
RewriteCond %{HTTP_HOST} ^site2\.ru
RewriteRule ^(.*)$ site4.ru/$1 [R=301,L]
RewriteCond %{HTTP_HOST} ^([^.]+\.)site2\.ru$ [NC]
RewriteRule ^ %1site4\.ru%{REQUEST_URI} [R=301,L,NE]

При этом есть запись на разные robot.txt для разных доменов 3го уровня
RewriteRule ^robots\.txt$ robots/%{HTTP_HOST}.txt [L]

Суть проблемы: для яндекса в robots.txt нужно указать диррективу HOST. Сейчас запись переадресовывает все, в том числе робот и yandex не читает из-за этого robots. Как сделать переадресацию всего кроме robots.txt которые по сути расположены в папке /robots и сами фалы имеют формат domen1.robots.txt