АО "Кронштадтский морской завод"
Санкт-Петербург, www.kmolz.ru
Тяжелое машиностроение... Показать еще
Системный администратор
В рамках должности "Системный администратор" за время работы было проведено следующее:
На длительной основе с планированием бюджета был разработан и внедрен весь проект по модернизации ИТ инфраструктуры завода, расчитаный на единовременную работу в КСПД предприятия до 500 пользователей, при обслуживании двумя системными администраторами и двумя специалистами хелпдеск, с учетом особых требований хранения и резервирования особо ценной информации. Цена вложений: 300.000$ на три года.
Исходные данные по началу проекта:
Работает всего в КСПД – 50 человек
Планируется – 150 человек
Размер КСПД – 750Гб
Через три года с нагрузкой 35%:
Работает всего в КСПД – 320 человек
Планируется – 500
Размер КСПД – 15ТБ
Задачи:
- Модернизировать сеть , построить звезду, с резервирование 802.3ad на 30 коммутаторов распределения Cisco 2960 и дублированное по VSS стэку ядро сети Cisco 4500, уйти от 1Гбит\с соединений внутри ЦОД на 10Гбит\с, уйти от 10 и 100 мбит\с соединений внутри зданий и цехов.
- Организовать выделенное "виртуальное пространство" на отказоустойчивых, быстрых SAS SSD массивах от 1000 мбайт\с 240.000 IOPS с дисков в серверах, до оптических кроссов на коммутаторы распределения 10G, для обеспечения размещения всей "виртуальной" инфраструктуры КСПД в LOW-Latency 10G пространстве 30ТБ внутри ЦОД. Перевести сеть на VLANы , произвести подготовку логики к переходу на протокол OSPF EIGRP.
- Модернизировать серверное оборудование для работы 150 пользователей. Три сервера Supermicro SuperServer 2U 6027 series, один HP ProLiant ML350 G6 series, два сервера Supermicro CSE-745TQ
- Построить помещение под размещения ЦОД
- Построить помещение под размещение резервного ЦОД
- Спроектировать, организовать, настроить, и развернуть все необходимое
- Стоимость проекта должна быть ниже в 3 раза, стоимости за 30 ТБ и 72 потоками 3.5Ггц у ведущих системных интеграторов: Тринити, Векус, ~ 950.000$.
- Стоимость проекта должна быть ниже в 4 раза, стоимости за 30 ТБ и 72 потоками 3.5Ггц у недорогих ЦОДов: ООО «ИТ-ГРАД 1 КЛАУД», RUVDS.COM ~ 1.330.000$.
Произведена полная постройка ЦОД «low-end» сегмента c наполнением хостами Hyper-V с 36 ядрами 3.5ГГц 72 потока\ 756Гб ОЗУ\ FULL FLASH SAS 30ТБ 240.000 IOPS \ 78.000 $ (цена комплекта 3х серверов), на оборудовании вендоров:
Supermicro, intel, LSI, Crucial, Micron, Cisco, HP
Под автоматизацию всех бизнес-процессов судоремонтной верфи КМЗ.
Произведена полная виртуализация всех сервисов на Hyper-V , с повышением версии ПО с Windows Server 2008 до Windows Server 2012R2.
Выстроено отказоустойчивое ядро сети, топологии звезда - на Cisco WS-4500 series дублированных в стэке VSS. Удаленные коммутаторы распределения Cisco WS-2960 series, коммутаторы доступа Cisco GS-300 series. Коммутаторы распределения включены в режиме LACP dynamic 802.3 ad, что обеспечивает стабильный 1 ГБит\с (100мб\с) с резервированием волокна, до конечного клиента, удаленного до 7км.
Организованы служебные пользовательские VLAN, согласно требований безопасности предприятия ВПК РФ. Спроектирован и настроен LACP 802.3ad оптический trunk до двух провайдеров с различными точками входа. Подготовлен второй, резервный ЦОД на территории, спроектирована логика на узловом стэке WS-4500 для резерва оптических линков первого ЦОД.
Подготовлен и реализован проект по подбору и монтажу 24 КВт системы охлаждения Schneider Electric Heavy Industry с блоком автоматики, ротации SpeenBrain SBR001 от РФ.
Проведен проект «установки системы автоматического перехода на резервные фазы, в случае отказа основных» - курирование монтажа, подводки и установки системы АВР на два независимых ввода по электропитанию на 50 КВт.
Подбор, заказ, монтаж, установка сборка шкафов APC NetShelter 42U.
На каждую стойку 7.5Квт питания через распределители питания: AP7822B c логированием по SNMP. В стойке 5-ть ИБП APC SMART-UPS 2500 c логированием по SNMP, полной автономией стойки по электропитанию 30 минут при 100% загрузке.
Одно Лезвие (условно) звено сервера стойки, подобрано на 2U платформе Supermicro SYS-6028TR включает в себя:
- (24 потока 3.5 Ггц) 2 процессора intel Xeon 2643v2 по 6 ядер \ 12 потоков каждый и частота 3.5 Ггц в базе.
- пропускную способность 200 Гбит\с на процессор с ОЗУ в 16 линий: 12.8 Гбит\с скорость DDR, по 8 линий на каждый ЦПУ, суммарно: 256Гб при емкости планок: PC12800 16Гб
- 4 диска SAS SSD Micron S630DS series 3.84TB с DWPD 3 - 12Gb\s FULL FLASH массив raid 5 - 10TB, 1500 мб\с на сингл запись, при 80.000 IOPS
- рейд-контроллер LSI 9361-8i (2Gb flash) + ZMM модуль защиты кэша
- Сеть:
4 порта подключенные быстрым ACTIVE SFP+ DAC, без задержек – медным 10G в ядро сети на 4500 в стеке VSS, на 2х активных LACP trunkах шириной по 20G и оптической 10G x4 карточкой - Intel X710DA4 Low profile, на 2вух физических агрегациях:
- служебные VLANы отдельно, для работы хоста и фоновых задач
- организован trunk до виртуального коммутатора, каждой ВМ можно присваивать свои VLAN, визуализировать трафик системы по процессам используемых на предприятиях
- IPMi интерфейс для удаленного управления хостом виртуализации
- 2 x 10G X540-T2 медный резерв, разные vlan на гипервизор и на хост, в резервный медный коммутатор 10G - 3850. Масштабируемое блочное решение.
Стоимость одного внедренного сервера 26.000$ Возможно двукратное расширение объема данных с 10ТБ до 20ТБ с сохранением места в стойке на 2u +8000$.
При Сохранении скорости внутри всех звеньев, внутри стойки до 10 Гбит\с , можно полноценно использовать инкапсулированые и автономные стойки с системами КСПД предприятий предъявляющими отдельные требования к автономности систем, отсутствию внешнего воздействия и достигать по простоколам SMB 3.0 скоростей 1000\1500 мб в секунду внутри дискового пространства ЦОД.
При работе с VHDX файлами большого объема – различные базы данных отделов завода, достигается максимальный размер 60ТБ быстрых хранилищ без потери производительности и износостойкости оборудования на протяжении 5 лет. (При нагрузке в 320 пользователей КСПД работающих в терминальных сессиях с 1.С 8.2 CRM-судоремонт и данными на сетевых хранилищах – система имеет локальное перекрытие по серверам 35%, т.е состоит из 3х серверов с постоянной нагрузкой 33-36% каждый.
Определены ключевые сервисы завода в отдельные виртуальные машины с репликациями каждые 15 минут:
- Шлюз, Open-VPN (FreeBSD) сборка PFSense с сервисами Gateway, VPN, NAT
- Авторизация, интернет (Win2012r2) AD, DHCP, DNS организован лес с подкаталогами на подразделения, два контроллера физический + виртуальный. Организованы политики управления обновлениями WSUS, управление клиентскими ПК, раздачей сетевых дисков, раздачей сетевых принтеров через средства GPO.
- сервера SQL (Win2012r2) базы 1C Бухгалтерия \ Зарплата и Кадры\ CRM-Судоремонт \ SQL 2014 резервной копией на внешнее хранилище, подключенное как локальный диск, но с сервера резервных копий где лежат только VHDX и раздаются по SMB 3.0.
- Файл Сервер (Win2012r2) ВМ с 6 750 ГБ VHDX для хранения клиентских данных отделов. Объем одного VHDX обусловлен скоростью переноса на другие хосты отдельных VHDX, для более равномерной загрузки FLASH массивов.
- сервера терминальных сессий (Win2012r2) с локальными профилями, с зарезанными правами на сохранение данных локально, и доступом только в те папки и диски, где позволяет пользовательская OU, по средствам GPO. Так же выставлены не удаляемые ярлыки на основное пользовательское ПО, раздача доступа к базам 1с помимо доменной авторизации - происходит с помощью добавления пользователей в группы скрипта. Часть сервисов используется как Remote-APP приложения.
Принт-сервер (Win2012r2) раздача принтеров и драйверов согласно GPO на OU.
Разработана концепция организации техподдержки пользователей, сбор заявок через CRM, внедрен SLA оценены риски для сервисов и скорость реакции.
Внедрены системы мониторинга и удаленной помощи: The Dude с полной интерактивной картой сети и ЦОД, с выводом состояний нагрузки\ошибок всех устройств на большие мониторы 65", DAMEWare, VNC
Для обеспечения безопасности , предотвращения утечек информации и защиты от вредоносных программ , разработана концепция клиент-серверной работы, для высоконагруженного сервиса автоматизации бизнес процессов судоремонтного завода.
Составлены планы по развитию ИТ-отдела, ИТ-инфраструктуры и ИТ-обучению специалистов для обслуживания ЛВС. (ЛВС оптическая + медь по точкам. Точки удалены от здания ЦОД на 1-7 км)
Составление ТЗ для конкурсов со стороны заказчика. Составление ТЗ для автоматизации процессов судоремонта для отдела Программирования.
Ведение журналов безопасности, журналов ошибок оборудования, работа совместно с отделом безопасности и локальным подразделением ФСБ. Выявление фактов незаконного взлома ИС, их оперативное предотвращение и дальнейшая разработка мер по преждевременному предотвращению фактов взлома ИС.