Загадка тормозного FibreChannel NAS?
День добрый.
Решили мы в компании перейти на серьёзные рельсы, чтобы всё «как у взрослых». NAS, SAN, FibreChannel и Hyper-V. Закупили оборудование, собрали, поставили и… упёрлись в проблему.
Если кратко, то проблема в производительности дискового хранилища — она плавает и падает до очень низкой.
Если полно, то читайте далее:
Итак дано:
2 шт NAS IBM DS3512 укомплектованные 12ю дисками SAS 15k на 600Гб каждый, маркированными как IBM (в реале вроде бы произведены Seagate и предназначенными именно для этой модели NAS). Так же в каждый NAS установлено по две (2 шт) карты FibreChannel 8Gbit, на 4 порта каждая. В железяке 2 «головы», имеющих независимый доступ к дискам, и соответственно по карте FC на каждую.
2 шт SAN FibreChannel Switched Fabric IBM SAN24B-5 так же с портами на 8Gbit.
3 шт сервера IBM 3550 M4 7414-F2G. В каждый сервер установлено по FibreChannel карте производства Qlogic на 2 порта 8Gbit. Внутри тоже SAS винты.
Всё фирменное, совместимое, собранное по рекомендациям лучших собаководов и вендоров.
На NAS-ах из всех 12-и винтов собран RAID5 и презентован в SAN. На RAIDе создан 4Тб раздел (GPT, NTFS) и пара разделов поменьше.
На серверах сейчас стоит Windows 2012 Server (180-trial). Драйвера ко всем железкам самые свежие, с офф.сайта IBM.
Для простоты картины будем рассматривать один сервер, один switch, и один NAS. Всё остальное в эксперименте не учавствует.
Тест:
Берём объемный файлик, например 4-8Гб, лежащий на винте сервера. Средствами винды копируем его на раздел, который презентован с NAS-а и наблюдаем эффекты.
1) Первые 1-2-4 секунды копирование идёт со скоростью 300-800Мбайт/сек. Потом плавно или резко падает до 30-60Мбайт/сек и плавно снижается далее. Впрочем иногда успевает на полной скорости скопироваться весь файл.
2) До и после копирования возможно замирание, когда окошко копирования висит и не реагирует на мышь длительностью до 1-20 (иногда больше) секунд. Иногда этого замирания нет.
3) Во время копирования NAS интенсивно мигает лампочками винтов. Когда окошко копирования «висит» — индикаторы активности дисков на NAS не мигают и не горят
4) При попытке удалить свежескопированный на NAS файл, окошко удаления замирает на 20-50 секунд, затем только удаляет файл.
5) Пробовали копировать файл лежащий на NAS на него же, но в другую папку — проблемы аналогичные.
Дисклеймер или «мы уже пробовали»:
— Подключать сервер и NAS напрямую, минуя Switch.
— Оставлять подключенным к NASу один единственный сервер по одному единственному линку.
— Делать всё тоже самое с другим NAS-ом, и другим сервером.
— Ставить Windows Server 2008 R2.
— Делать раздел на хранилище меньшего объема — 500Гб (GPT).
Спецэффекты наблюдаются всё те же.
Что это может быть? Куда смотреть, куда копать?
P/S Простите за терминологию. Мог попутать термины для обозначения железяк, но в целом картина верна.
Решили мы в компании перейти на серьёзные рельсы, чтобы всё «как у взрослых». NAS, SAN, FibreChannel и Hyper-V. Закупили оборудование, собрали, поставили и… упёрлись в проблему.
Если кратко, то проблема в производительности дискового хранилища — она плавает и падает до очень низкой.
Если полно, то читайте далее:
Итак дано:
2 шт NAS IBM DS3512 укомплектованные 12ю дисками SAS 15k на 600Гб каждый, маркированными как IBM (в реале вроде бы произведены Seagate и предназначенными именно для этой модели NAS). Так же в каждый NAS установлено по две (2 шт) карты FibreChannel 8Gbit, на 4 порта каждая. В железяке 2 «головы», имеющих независимый доступ к дискам, и соответственно по карте FC на каждую.
2 шт SAN FibreChannel Switched Fabric IBM SAN24B-5 так же с портами на 8Gbit.
3 шт сервера IBM 3550 M4 7414-F2G. В каждый сервер установлено по FibreChannel карте производства Qlogic на 2 порта 8Gbit. Внутри тоже SAS винты.
Всё фирменное, совместимое, собранное по рекомендациям лучших собаководов и вендоров.
На NAS-ах из всех 12-и винтов собран RAID5 и презентован в SAN. На RAIDе создан 4Тб раздел (GPT, NTFS) и пара разделов поменьше.
На серверах сейчас стоит Windows 2012 Server (180-trial). Драйвера ко всем железкам самые свежие, с офф.сайта IBM.
Для простоты картины будем рассматривать один сервер, один switch, и один NAS. Всё остальное в эксперименте не учавствует.
Тест:
Берём объемный файлик, например 4-8Гб, лежащий на винте сервера. Средствами винды копируем его на раздел, который презентован с NAS-а и наблюдаем эффекты.
1) Первые 1-2-4 секунды копирование идёт со скоростью 300-800Мбайт/сек. Потом плавно или резко падает до 30-60Мбайт/сек и плавно снижается далее. Впрочем иногда успевает на полной скорости скопироваться весь файл.
2) До и после копирования возможно замирание, когда окошко копирования висит и не реагирует на мышь длительностью до 1-20 (иногда больше) секунд. Иногда этого замирания нет.
3) Во время копирования NAS интенсивно мигает лампочками винтов. Когда окошко копирования «висит» — индикаторы активности дисков на NAS не мигают и не горят
4) При попытке удалить свежескопированный на NAS файл, окошко удаления замирает на 20-50 секунд, затем только удаляет файл.
5) Пробовали копировать файл лежащий на NAS на него же, но в другую папку — проблемы аналогичные.
Дисклеймер или «мы уже пробовали»:
— Подключать сервер и NAS напрямую, минуя Switch.
— Оставлять подключенным к NASу один единственный сервер по одному единственному линку.
— Делать всё тоже самое с другим NAS-ом, и другим сервером.
— Ставить Windows Server 2008 R2.
— Делать раздел на хранилище меньшего объема — 500Гб (GPT).
Спецэффекты наблюдаются всё те же.
Что это может быть? Куда смотреть, куда копать?
P/S Простите за терминологию. Мог попутать термины для обозначения железяк, но в целом картина верна.
Похожие публикации
Нет комментариев