Как лучше организовать IT-инфраструктуру предприятия?
Предложили в свободное время попробовать себя в организации ИТ-инфраструктуры предприятия с нуля. Сеть, сервера, хранилища данных ну и всё прочее сопутствующее. В каждой области (кроме АТС) занимался какими-то мелкими и конкретными задачами, устранял отдельно взятые проблемы, но вкупе не доводилось работать. Так что основная мотивация прокачать свои навыки в этой области, поэтому преимущество не малознакомым технологиям, а скорей наиболее верным решениям.
Вначале расскажу своё видение, а в целом хотел посоветоваться с сообществом и получить какие-нибудь рекомендации. Плюс есть конкретные вопросы по некоторым решениям. Основные вопросы по выбору оборудования.
UPD: мельком пока гуглю статьи на данную тематику, разумеется могу заблуждаться, углубляться буду по мере прохождения этапов. Сейчас накидываю лишь примерный план и определяю, с чем придется работать.
Запас времени есть, на обдумывание 1 месяц. Потом месяц на детальное изучение текущих дел, на разработку чернового и рабочего плана. Думаю можно многое освоить.
На данный момент имеется:
Небольшое здание, 4 этажа с маленькими кабинетами на 2-3 человека и такой-же небольшой пристрой. Персонал: 40-50.
Аналоговая АТС с десятком внешних номеров (обслуживается поставщиком) — вся на скрутках.
Старенький стоечный сервер (по характеристикам не скажу, но когда я их смотрел определенно принял решение оставить его под мелкие нужды) и внешний накопитель — файловое хранилище.
Непонятная сеть, похожая на домашнюю. От провайдера кабель идет в сервер, из него в 5 портовый свич, из него в точно такие же свичи… в целом 2-3 свича и только потом в комп. Ни один из них не управляемый, но с поддержкой DHCP раздающих адреса динамически, что регулярно вызывает конфликты.
Из ПО пара конфигураций 1С на 5-10 пользователей каждая.
Зоопарк пользовательских ПК, разброс лет 15, вперемешку с моноблоками разных производителей и полной анархией в политиках доступа.
И неизвестно, что на удаленных филиалах.
Если представили эту картину и даже если вы далеки от подобной сферы, то несомненно пришли в замешательство и поняли, что так дальше нельзя.
На что установлен ориентир:
В первую очередь, разумеется, стабильная работа с отказоустойчивой системой.
После проведения основной модернизации хотелось бы сократить стоимость (время/силы/деньги) поддержки на устранение неисправностей и непредвиденных ситуаций.
Масштабируемость и дальнейшее развитие уже в виде дополнительных программных сервисов (СЭД, СКД, тикет-системы и т.д.) и плюшки вроде мониторинга ИТ-ресурсов.
Сведение всего плана модернизации к единовременным разумным тратам на оборудование за счет перехода на свободное ПО.
Ну и очень сильное желание всё сделать по феншую.
Что вижу в голове (с вопросами):
При выборе оборудования и технологий хотелось бы закладывать рост компании в 2 раза — количество человек/оборудования. Если где ошибаюсь — смело поправляйте.
Берем нормальную стойку для серверного и сетевого оборудования.
1. Сеть
В первую очередь хотелось бы перекроить в нормальные короба с выводом розеток, а не набивать провода в тонкие кабель-каналы.
Кабелем выберем экранированную витую пару.
Тут встает выбор:
1. Или на каждый этаж заводить управляемый коммутатор из дешевого сегмента (D-Link какой-нибудь на 16-24 портов), что не особо нравится в плане расширения, поэтому склоняюсь к второму варианту;
2. Разориться на парочку многопортовых стоечных коммутаторов и вести к каждой машине свой кабель.
На сколько нарыл в интернете можно взять два по 48 портов и объединить их.
Помимо пользовательских ПК, будут сетевые МФУ, возможно ещё камеры, ip-телефония и т.д.
Дальше, т.к. в наличии есть филиалы, то не обойтись без маршрутизатора. Он в дальнейшем поможет организовать и активный резервный канал связи, соответственно два WAN порта + wifi модуль.
WiFi будет для пользовательских мобильных устройств через резервный канал, т.к. основной канал планируется резать от «паразитного» трафика — только рабочие ресурсы. Почему не отдельные модемы на этажах, а репитеры? Чтобы иметь более гибкий контроль, как в плане «мертвого» основного канала, чтобы отключить «левак», так и в плане фиксации трафика с устройств для избежания слива информации в интернет (защита от дурака, который сливает через телефон фото документов в общественный доступ, но забывает что автоматом подключился к рабочей вафле. Подглядел в одной конторе, там так 2 дурачков за полгода поймали). Все устройства будут регистрироваться в обязательном порядке.
С филиалами пока еще неизвестно что там есть конкретно и что будет, главное иметь возможность из главного здания поднять VPN и впустить их при необходимости в сеть. В оборудовании я мало разбираюсь, но на слуху две фирмы: Mikrotik и Cisco. Одни подороже, другие подешевле. Верен ли мой набросок сети, насколько он правильный? И если всё верно, то какое сетевое оборудование вы бы посоветовали? Разумеется стремимся к более бюджетным вариантам, за брендами не гонимся.
2. Сервер
Тут меня одолевают смутные сомнения, взять два сервера и объединить их в кластер для оперативной подмены или в целях экономии взять один и считать, что ничего с ним не случиться.
Хотелка для серверов: недорогая стоечная kvm-консоль с IP.
По серверам мысль такая:
Про кластер из двух новых серверов, если позволит бюджет, я уже сказал (пока не углублялся, но как понял, во время работы синхронизируется, можно настроить распределение нагрузок и при выходе одного сервера из строя идет полное переключение на второй). Используем виртуализацию на свободном ПО. Остановился на Citrix XenServer (пару раз тыкал кнопочки, читал сравнения с аналогичными гипервизорами). В пул добавляем сервера (тыкал как пользователь пару раз через KDE, но понял, что для роста в профессиональном плане освоить его надо получше).
1 виртуальный сервер — Linux Ubuntu: Работает как DHCP-сервер (или лучше отдать роль коммутатору/маршрутизатору?) и домен-контроллер и служба каталогов (LDAP. Беглый анализ показал что популярности Samba) и сервер лицензий.
2 виртуальный сервер: ОС будет зависеть если все таки отыщется лицензия на MS SQL и Windows Server. Если нет, то ставим Linux Ubuntu и отдаем сервер под базу данных на PostgreSQL. Приоритет ресурсов: память.
3 виртуальный сервер Linux Ubuntu: Отдаём под 1С. Приоритет ресурсов: проц.
Старый слабенький сервер так же виртуализируем, но в пуле будет два сервера:
1 виртуальный сервер Linux Ubuntu: Под веб-сервер для внутренних нужд — СЭД, Внутренний корпоративный портал и т.д.
2 виртуальный сервер Linux Ubuntu: Asterisk для организации внутренней телефонии — планы на будущее.
Внешний сайт будет на платном хостинге.
Вроде ничего не забыл.
Вопросы будут таковы:
– верен ли подход в целом к организации серверов и распределения «обязанностей»?
– насколько оправдан выбор ПО с учетом того, что немного времени на изучение есть? Разумеется расчет идет ещё на большое и доброжелательное сообщество линуксоидов и массу мануалов в сети.
– какие советы можете дать по оборудованию и ПО?
3. Хранение данных
Я вижу, что это будет отдельный RAID-массив в стойку. Засорять лишним серверные диски нет никакого желания.
Собирать будем RAID 10 на SSD (правда тут опять заковырка, мнения в интернете разделились 50/50, что SSD в рейд-массивах не дает преимуществ)
Хранить будем:
1. Установщики основного пользовательского ПО и драйвера. (Как план на будущее — настройка PXE.)
2. Образы конфигураций серверов и файлы конфигураций сетевого оборудования.
3. Бэкапы базы данных и сервисов.
4. Конечные версии рабочих и внутренних документов.
В роли текущего файлообменника будет использоваться уже имеющийся внешний накопитель разбитый на два раздела:
1 текущие файлы. Очищается раз в неделю с переносом файлов во второй раздел.
2 файлы за предыдущую неделю.
Будет дополнительное внешнее хранилище, подключаемое вручную, для ежеквартального переноса данных. Ничто не защищает данные лучше, чем записать их на диск и физически отключить его. Основной вопрос в рациональности использования SSD и его бюджетность.
4. АТС — дело «десятое», после первых трёх.
Здесь пока полный ноль в знаниях, кроме существования Asterisk.
Что нужно из оборудования для сохранения всех внешних номеррв, да ещё и наладить внутреннюю IP-телефонию?
Есть вариант отдать управление АТС поставщику связи, но хотелось бы своих шишек набить по настройке.
5. Бесперебойность
Хороший бесперебойник. Хотелось чтобы все оборудование выше он держал хотя бы минут 30-60. Т.к. выбор зависит от нагрузки и заложенного резерва (~30%), то сначала определюсь с первыми тремя пунктами, потом перейду к ИБП. Ясно одно: однофазный и с SNMP и датчики температуры/влажности. Хочется иметь возможность получать на телефон сообщение об отключении электроэнергии и аварийно выключить всё с того же телефона, либо по датчикам дать команду серверам на завершение работы.
На этом в принципе всё. Потом тихонечко можно будет обустраивать организацию МФУ-шками всякими. Попутно заняться уже непосредственно автоматизацией, с этим у меня дела обстоят намного лучше. И так же разбираться с зоопарком ПК
Оставшиеся вопросы:
1. Стоить ли заморачиваться с программными рейдами на виртуалках, если их образы будут храниться на внешнем рейде?
2. На какой серверов лучше установить почтовый сервер? Запустить ещё одну виртуалку?
Знаю одно — лимитированные по объему ящики, очищающиеся раз в месяц.
3. Потянут ли стоечные системы охлаждения всё это оборудование?
4. Я знаю что например у Cisco есть симулятор сети, где можно нарисовать схему и настроить её, причем уверен что настройки можно будет экспортировать на рабочее оборудование. Вопрос можно ли подобные симуляторы завязать с виртуальными машинами? Или слишком многого хочу? Есть ли вообще инструментарий для подобного проектирования ИТ-инфраструктуры с возможностью её развернуть в бою?
5. Что мог упустить из виду в этом наброске плана?
Вначале расскажу своё видение, а в целом хотел посоветоваться с сообществом и получить какие-нибудь рекомендации. Плюс есть конкретные вопросы по некоторым решениям. Основные вопросы по выбору оборудования.
UPD: мельком пока гуглю статьи на данную тематику, разумеется могу заблуждаться, углубляться буду по мере прохождения этапов. Сейчас накидываю лишь примерный план и определяю, с чем придется работать.
Запас времени есть, на обдумывание 1 месяц. Потом месяц на детальное изучение текущих дел, на разработку чернового и рабочего плана. Думаю можно многое освоить.
На данный момент имеется:
Небольшое здание, 4 этажа с маленькими кабинетами на 2-3 человека и такой-же небольшой пристрой. Персонал: 40-50.
Аналоговая АТС с десятком внешних номеров (обслуживается поставщиком) — вся на скрутках.
Старенький стоечный сервер (по характеристикам не скажу, но когда я их смотрел определенно принял решение оставить его под мелкие нужды) и внешний накопитель — файловое хранилище.
Непонятная сеть, похожая на домашнюю. От провайдера кабель идет в сервер, из него в 5 портовый свич, из него в точно такие же свичи… в целом 2-3 свича и только потом в комп. Ни один из них не управляемый, но с поддержкой DHCP раздающих адреса динамически, что регулярно вызывает конфликты.
Из ПО пара конфигураций 1С на 5-10 пользователей каждая.
Зоопарк пользовательских ПК, разброс лет 15, вперемешку с моноблоками разных производителей и полной анархией в политиках доступа.
И неизвестно, что на удаленных филиалах.
Если представили эту картину и даже если вы далеки от подобной сферы, то несомненно пришли в замешательство и поняли, что так дальше нельзя.
На что установлен ориентир:
В первую очередь, разумеется, стабильная работа с отказоустойчивой системой.
После проведения основной модернизации хотелось бы сократить стоимость (время/силы/деньги) поддержки на устранение неисправностей и непредвиденных ситуаций.
Масштабируемость и дальнейшее развитие уже в виде дополнительных программных сервисов (СЭД, СКД, тикет-системы и т.д.) и плюшки вроде мониторинга ИТ-ресурсов.
Сведение всего плана модернизации к единовременным разумным тратам на оборудование за счет перехода на свободное ПО.
Ну и очень сильное желание всё сделать по феншую.
Что вижу в голове (с вопросами):
При выборе оборудования и технологий хотелось бы закладывать рост компании в 2 раза — количество человек/оборудования. Если где ошибаюсь — смело поправляйте.
Берем нормальную стойку для серверного и сетевого оборудования.
1. Сеть
В первую очередь хотелось бы перекроить в нормальные короба с выводом розеток, а не набивать провода в тонкие кабель-каналы.
Кабелем выберем экранированную витую пару.
Тут встает выбор:
1. Или на каждый этаж заводить управляемый коммутатор из дешевого сегмента (D-Link какой-нибудь на 16-24 портов), что не особо нравится в плане расширения, поэтому склоняюсь к второму варианту;
2. Разориться на парочку многопортовых стоечных коммутаторов и вести к каждой машине свой кабель.
На сколько нарыл в интернете можно взять два по 48 портов и объединить их.
Помимо пользовательских ПК, будут сетевые МФУ, возможно ещё камеры, ip-телефония и т.д.
Дальше, т.к. в наличии есть филиалы, то не обойтись без маршрутизатора. Он в дальнейшем поможет организовать и активный резервный канал связи, соответственно два WAN порта + wifi модуль.
WiFi будет для пользовательских мобильных устройств через резервный канал, т.к. основной канал планируется резать от «паразитного» трафика — только рабочие ресурсы. Почему не отдельные модемы на этажах, а репитеры? Чтобы иметь более гибкий контроль, как в плане «мертвого» основного канала, чтобы отключить «левак», так и в плане фиксации трафика с устройств для избежания слива информации в интернет (защита от дурака, который сливает через телефон фото документов в общественный доступ, но забывает что автоматом подключился к рабочей вафле. Подглядел в одной конторе, там так 2 дурачков за полгода поймали). Все устройства будут регистрироваться в обязательном порядке.
С филиалами пока еще неизвестно что там есть конкретно и что будет, главное иметь возможность из главного здания поднять VPN и впустить их при необходимости в сеть. В оборудовании я мало разбираюсь, но на слуху две фирмы: Mikrotik и Cisco. Одни подороже, другие подешевле. Верен ли мой набросок сети, насколько он правильный? И если всё верно, то какое сетевое оборудование вы бы посоветовали? Разумеется стремимся к более бюджетным вариантам, за брендами не гонимся.
2. Сервер
Тут меня одолевают смутные сомнения, взять два сервера и объединить их в кластер для оперативной подмены или в целях экономии взять один и считать, что ничего с ним не случиться.
Хотелка для серверов: недорогая стоечная kvm-консоль с IP.
По серверам мысль такая:
Про кластер из двух новых серверов, если позволит бюджет, я уже сказал (пока не углублялся, но как понял, во время работы синхронизируется, можно настроить распределение нагрузок и при выходе одного сервера из строя идет полное переключение на второй). Используем виртуализацию на свободном ПО. Остановился на Citrix XenServer (пару раз тыкал кнопочки, читал сравнения с аналогичными гипервизорами). В пул добавляем сервера (тыкал как пользователь пару раз через KDE, но понял, что для роста в профессиональном плане освоить его надо получше).
1 виртуальный сервер — Linux Ubuntu: Работает как DHCP-сервер (или лучше отдать роль коммутатору/маршрутизатору?) и домен-контроллер и служба каталогов (LDAP. Беглый анализ показал что популярности Samba) и сервер лицензий.
2 виртуальный сервер: ОС будет зависеть если все таки отыщется лицензия на MS SQL и Windows Server. Если нет, то ставим Linux Ubuntu и отдаем сервер под базу данных на PostgreSQL. Приоритет ресурсов: память.
3 виртуальный сервер Linux Ubuntu: Отдаём под 1С. Приоритет ресурсов: проц.
Старый слабенький сервер так же виртуализируем, но в пуле будет два сервера:
1 виртуальный сервер Linux Ubuntu: Под веб-сервер для внутренних нужд — СЭД, Внутренний корпоративный портал и т.д.
2 виртуальный сервер Linux Ubuntu: Asterisk для организации внутренней телефонии — планы на будущее.
Внешний сайт будет на платном хостинге.
Вроде ничего не забыл.
Вопросы будут таковы:
– верен ли подход в целом к организации серверов и распределения «обязанностей»?
– насколько оправдан выбор ПО с учетом того, что немного времени на изучение есть? Разумеется расчет идет ещё на большое и доброжелательное сообщество линуксоидов и массу мануалов в сети.
– какие советы можете дать по оборудованию и ПО?
3. Хранение данных
Я вижу, что это будет отдельный RAID-массив в стойку. Засорять лишним серверные диски нет никакого желания.
Собирать будем RAID 10 на SSD (правда тут опять заковырка, мнения в интернете разделились 50/50, что SSD в рейд-массивах не дает преимуществ)
Хранить будем:
1. Установщики основного пользовательского ПО и драйвера. (Как план на будущее — настройка PXE.)
2. Образы конфигураций серверов и файлы конфигураций сетевого оборудования.
3. Бэкапы базы данных и сервисов.
4. Конечные версии рабочих и внутренних документов.
В роли текущего файлообменника будет использоваться уже имеющийся внешний накопитель разбитый на два раздела:
1 текущие файлы. Очищается раз в неделю с переносом файлов во второй раздел.
2 файлы за предыдущую неделю.
Будет дополнительное внешнее хранилище, подключаемое вручную, для ежеквартального переноса данных. Ничто не защищает данные лучше, чем записать их на диск и физически отключить его. Основной вопрос в рациональности использования SSD и его бюджетность.
4. АТС — дело «десятое», после первых трёх.
Здесь пока полный ноль в знаниях, кроме существования Asterisk.
Что нужно из оборудования для сохранения всех внешних номеррв, да ещё и наладить внутреннюю IP-телефонию?
Есть вариант отдать управление АТС поставщику связи, но хотелось бы своих шишек набить по настройке.
5. Бесперебойность
Хороший бесперебойник. Хотелось чтобы все оборудование выше он держал хотя бы минут 30-60. Т.к. выбор зависит от нагрузки и заложенного резерва (~30%), то сначала определюсь с первыми тремя пунктами, потом перейду к ИБП. Ясно одно: однофазный и с SNMP и датчики температуры/влажности. Хочется иметь возможность получать на телефон сообщение об отключении электроэнергии и аварийно выключить всё с того же телефона, либо по датчикам дать команду серверам на завершение работы.
На этом в принципе всё. Потом тихонечко можно будет обустраивать организацию МФУ-шками всякими. Попутно заняться уже непосредственно автоматизацией, с этим у меня дела обстоят намного лучше. И так же разбираться с зоопарком ПК
Оставшиеся вопросы:
1. Стоить ли заморачиваться с программными рейдами на виртуалках, если их образы будут храниться на внешнем рейде?
2. На какой серверов лучше установить почтовый сервер? Запустить ещё одну виртуалку?
Знаю одно — лимитированные по объему ящики, очищающиеся раз в месяц.
3. Потянут ли стоечные системы охлаждения всё это оборудование?
4. Я знаю что например у Cisco есть симулятор сети, где можно нарисовать схему и настроить её, причем уверен что настройки можно будет экспортировать на рабочее оборудование. Вопрос можно ли подобные симуляторы завязать с виртуальными машинами? Или слишком многого хочу? Есть ли вообще инструментарий для подобного проектирования ИТ-инфраструктуры с возможностью её развернуть в бою?
5. Что мог упустить из виду в этом наброске плана?
Похожие публикации
Как подключить java-сервер к внешнему сетевому интерфейсу в Linux?
Как обмениваться пакетами с сервером мобильной онлайн андроид игры?
Проброс ип на виртуальную машину?
Возможно ли организовать сетевую синхронизацию времени между сегментами сети связанными через однонаправленный шлюз?
Организация кабелей в кроссовых стойках?
Нет комментариев