Главная страница >> Решения и услуги >> АСУ ТП и Диспетчеризация >> Информация >> Диспетчеризация на объектах >> Диспетчеризация ЦОД >> Решения по диспетчеризации ЦОД >> Система диспетчеризации ЦОД Московского городского фонда обязательного медицинского страхования

Система диспетчеризации ЦОД Московского городского фонда обязательного медицинского страхования

ВВЕДЕНИЕ

Центр обработки данных Московского городского фонда обязательного медицинского страхования (МГФОМС) наряду с  узлом связи входит в состав центрального аппаратно-программного комплекса,  используемого для реализации функций аналитики и отчетности в структурах обязательного медицинского страхования и  учреждениях Департамента здравоохранения г. Москвы. Важным фактором, определяющим структуру систем диспетчеризации современных ЦОД, является необходимость включения в них мультимедийных компонентов. Они существенно повышают оперативность реагирования технических служб на возникновение нештатных ситуаций, тем самым повышая надежность центра и сохранность данных.  Принимая во внимание важность информации, подлежащей хранению и обработке в ЦОД, он был оборудован в модульной комнате безопасности (МКБ) Lampertz 9.3, для которой наши специалисты разработали и инсталлировали  мультимедийный программно-аппаратный комплекс  диспетчеризации всей системы обеспечения его безопасной эксплуатации (СОБЭ). Кроме модульной комнаты безопасности в состав СОБЭ входят подсистемы газового пожаротушения, дизель-генераторный агрегат, системы кондиционирования (шкафные прецизионные кондиционеры и потолочные сплит-системы), источник бесперебойного электропитания. Необходимо было также контролировать открытие двери в МКБ и качество внешнего электропитания.

Выбор программного обеспечения

Проанализировав на этапе предпроектного обследования технические характеристики  аппаратуры, подлежащей мониторингу и требования Технического задания, в качестве основного программного обеспечения нами была выбрана SCADA-система GENESIS32 v. 9.12 американской корпорации ICONICS. Основными критериями при выборе SCADA-системы являлись повышенные требования  к надежности, высококачественный графический интерфейс и развитые мультимедийные возможности. Кроме того, что часть  оборудования была оборудована SNMP1-адаптерами, поэтому желательна была также встроенная в SCADA-систему поддержка этого протокола. Для  организации связи с устройствами по другим протоколам, в частности, Modbus Ethernet и Modbus RTU было решено использовать OPC-сервер KEPServerEx (Kepware Enhanced OPC/DDE Server) корпорации Kepware, Inc. Выполнение мультимедийных задач было решено выполнять на основе дополнения к базовому пакету GENESIS32  подсистемы AlarmWorX32 Multimedia.

Характеристика технических средств СОБЭ ЦОД и решения по организация их мониторинга

Модульная комната безопасности представляет собой решение компании LAMPERTz, защищающие ЦОД в экстремальных условиях от любых типов физического воздействия, в том числе от пожара, воды, противопожарной жидкости, электромагнитного излучения, несанкционированного доступа, вандализма, землетрясения, проникновения пыли и дыма. Внешний вид внутреннего интерьера ЦОД представлен на Рис.1. Специальная конструкция МКБ позволяет сохранить любые носители информации в течение 60 минут при внешней температуре до 1000°C.  Структурная схема сети организации диспетчеризации ЦОД МГФОМС представлена на Рис. 2. Кроме серверного оборудования в МКБ расположены источник бесперебойного питания (ИБП) Liebert NXa 100 kVa и система кондиционирования Liebert Hiross, состоящая из двух потолочных кондиционеров HPSE (сплит-система) и трех шкафных прецизионных кондиционеров Himod S23 UA (с воздушным охлаждением под фальшпол).

Система диспетчеризации

Рис.1 Внешний вид интерьера модульной комнаты безопасности ЦОД

ИБП осуществляет защиту от динамических изменений в сети электропитания, сглаживает возможные скачки напряжения внешнего питания, а также обеспечивает бесперебойную работу ЦОД в случае сбоя в электроснабжении до момента запуска и выхода на штатный режим работы резервного дизель-генератора. Система кондиционирования обеспечивает забор нагретого в МКБ воздуха, осуществляет подачу холодного воздуха под фальшпол и поддерживает заданную влажность внутри комнаты. Кроме того она распределяет воздушные потоки так, чтобы в помещении не возникало зон перегрева и обеспечивалась требуемая температура внутри серверных стоек. ИБП и системы кондиционирования были оборудованы штатными интерфейсными модулями связи с системой диспетчеризации по протоколу SNMP. Поскольку SCADA-система GENESIS32  версий 9.xx обладает встроенными возможностями поддержки этого протокола, включая конфигуратор и браузер SNMP устройств, для реализации обмена с ними специальный OPC-сервер не требуется. Достаточно задать IP-адреса коммуникационных модулей и подключить входящие в комплект поставки устройств  файлы с базами MIB2. После этого параметры устройств, подлежащие мониторингу,

 

Рис.2 Структурная схема сети организации диспетчеризации ЦОД

становятся видны в древовидном списке SNMP-конфигуратора GENESIS32, и с ними можно работать, как с обычными OPC-тегами.  Интерфейсные SNMP-модули систем кондиционирования и ИБП были подключены к коммутатору  D-Link DES-1008D/PRO (в обозначениях системы - MFOMS-SW-2), расположенному к шкафу системы диспетчеризации внутри МКБ.  Собранные сигналы от диспетчеризуемых устройств МКБ передаются  с использованием витой пары UTP-5e на  коммутатор MFOMS-SW-1 (той же модели - D-Link DES-1008D/PRO) в шкаф системы диспетчеризации, установленный в тамбурном помещении модульной комнаты безопасности. Спецификация подключения – Ethernet IEEE 802.3u (100Base-TX). На этот же коммутатор поступают сигналы от остальных подсистем обеспечения безопасной и бесперебойной работы ЦОД. Обмен с ними система диспетчеризации осуществляет по протоколам Modus Ethernet и Modbus RTU. В целях обеспечения сохранности данных и оборудования в случае  внутреннего возгорания центр обработки данных оборудован системой газового пожаротушения на базе оборудования РОСА-2SL, которая обеспечивает контроль предупредительных и аварийных сигналов пожарной безопасности. При возникновении пожара срабатывает световое и звуковое оповещение персонала, по истечении заданного времени для его эвакуации дверь в МКБ автоматически закрывается, комната герметизируется, и система  пожаротушения приводится в действие. Дискретные сигналы состояния противопожарной системы, данные о положении входного и выходного шлюзов МКБ, а также сведения об открытии/закрытии входной двери поступают в систему диспетчеризации через модуль дискретного ввода ADAM-6051, подключенному к оборудованию, расположенному в штатном шкафе управления МКБ LAMPERTz 9.3.

Для контроля качества внешнего электропитания, а также  для измерения и регистрации электрических параметров промышленных электросетей в СОБЭ применен анализатор CIRCUTOR, установленный  в щите АВР. Сетевой обмен системы с анализатором организован через шлюз ADAM-4571 (RS485 ?? Ethernet TCP/IP), данные от которого поступают на коммутатор MFOMS-SW-1 в тамбурном помещении МКБ.

В случае возникновения сбоя (прекращения подачи) внешнего электропитания автоматическая система запуска активирует дизель-генераторную установку Atlas Copco QIX-140.  В систему диспетчеризации поступают четыре параметра от дизель-генератора. Это его состояние (включен/выключен), доступная мощность, температура охладителя и количество запусков (необходимо для отслеживания необходимости проведения сервисно-профилактических работ). Данные поступают через шлюз ADAM-4571L, размещенный в шкафу системы диспетчеризации вблизи дизеля и соединенного с коммутатором MFOMS-SW-1 экранированной витой парой  FTP-5e. Поскольку этот шкаф расположен вне здания МГФОМС, мы оборудовали его  системой обогрева с термостатом, контролирующем температуру воздуха.

АРМ оператора системы расположен в диспетчерской и подключен к ее компонентам через сетевой коммутатор MFOMS-SW-1. Рабочее место  организовано на базе компьютера в настенном исполнении с процессором Intel® Pentium D 925 3.0 GHz, промышленной материнской платой IPOX ADE-9040 и ОЗУ Patriot DDR-II 2GB.  Внешний вид АРМ оператора показан на фотографии Рис.3. Питание АРМ осуществляется через ИБП АРС BK650EI. Разработанное на основе SCADA-системы GENESIS32 программное обеспечение, выполняет сбор, обработку и архивирование поступающих данных. Отслеживает критические отклонения контролируемых параметров и сигналы предупреждений от оборудования. Для отображения информации о состоянии инженерных систем ЦОД используется монитор 19? TFT LCD с сенсорным экраном

 

Рис.3 Внешний вид АРМ оператора

модели AFL-19M/T-R, смонтированный в корпус АРМ.  Хранение данных выполняется на дисковом массиве (два жестких диска Seagate SATA II ST380815AS) типа RAID-1. В массиве RAID-1 (зеркалирование) данные непрерывно копируются с одного диска на другой. При аварии одного из накопителей оставшийся диск продолжает нормальную работу, а для операционной системы такой массив видится как единый диск. Важным компонентом АРМ является оборудование для передачи экстренных данных удаленному персоналу  - GSM-модем Siemens MC-35i Terminal с  антенной  на магнитном основании ANTEY 904 и внутренний факс – модем.

ПРОГРАММНЫЕ РЕШЕНИЯ СИСТЕМЫ ДИСПЕТЧЕРИЗАЦИИ

Организация человеко-машинного интерфейса

При разработке системы диспетчеризации мы руководствовались информативностью и эргономичностью подачи информации. Данные, поступающие  по  подсистемам СОБЭ ЦОД, сгруппированы в отдельные мнемосхемы. На Рис. 4 представлена главная форма системы диспетчеризации. Организация управляющих и информационных полей во всех рабочих формах СД  ЦОД примерно одинакова и состоит из трех областей - заголовок (вверху), область представления  данных (середина экранной формы) и навигационная область или главное меню (расположена вдоль левой границы экранной формы). В верхнем правом углу расположен общий для всех форм индикатор тревоги, который в нормальном состоянии неактивен и отображен синим цветом, а в случае возникновения нештатной ситуации переключается в режим  мигания красным  цвета.

 

Рис. 4 Главная мнемосхема системы диспетчеризации

Однако наблюдение исключительно данных реального времени не обеспечивает полного контроля ситуации, а также предсказуемости поведения тех или иных параметров. Поэтому в системе предусмотрена возможность анализировать тенденции изменения (тренды) данных. СД ЦОД осуществляет непрерывную архивацию (запись в базу данных на жесткий диск) всех контролируемых данных. Диспетчер всегда может просмотреть поведение параметров системы за любой заданный им прошедший период. Он также имеет возможность получить сводку об аварийных и предаварийных событиях за прошедший промежуток времени. В режиме просмотра трендов наряду с архивными,

 

Рис.5 Экранная форма выбора параметров для отображения на графиках

система продолжает отображать и данные реального времени (с точностью до заданного периода дискретизации), что позволяет оценивать динамику процесса. Программная реализация этого основана на использовании входящего в систему GENESIS32 пакета TrendWorX32. При разработке АСДУ была создана программа на языке VBScript,   обеспечивающая вывод на графики трендов произвольного сочетания любых  параметров, контролируемых системой.  Программой автоматически отслеживается диапазон изменения отображаемого параметра  и ему сопоставляется соответствующая шкала. Выбор  параметра для отображения на графике производится оператором простым прикосновением к его области в таблице (Рис. 5). После того, как группа параметров выбрана (на Рис.5 видно как в соответствующих полях появились отметки), оператору достаточно прикоснуться к клавише «ГРАФИКИ» и на экране отобразятся тренды выбранных величин (Рис. 6 а,б).

 

 

 

 

а)

б)

 


Рис.6 Примеры отображения трендов выбранных параметров: а – температура потолочного кондиционера (синий график), ток второй фазы (красный график), мощность потребления (зеленый график); б – температура напольных кондиционеров

Современные ЦОД:  Мультимедийные системы обнаружения и обработки тревог. Интернет-мониторинг.

В организации контроля состояния объектов повышенной важности существенное значение приобретает реализация оперативного информирования руководства и технических служб о нештатных ситуациях. Поэтому применение мультимедийных средств становится неотъемлемой частью таких систем. Быстрая оценка ситуации и своевременное принятие мер при возникновении аварийной ситуации является необходимыми условиями обеспечения безотказной работы ЦОД и сохранности данных. Естественным дополнением к этому является  организация дистанционного мониторинга всех инженерных систем ЦОД через Интернет. В реализации данного проекта нами наряду со стандартным пакетом AlarmWorX32, входящим в GENESIS32, было использовано его мультимедийное расширение – AlarmWorX32 Multimedia. Входящий в обычную поставку программный модуль AlarmWorX32 выполняет стандартные задачи подсистемы обнаружения нештатных ситуаций. Он реагирует как дискретные аварийные сигналы, так и настраивается на превышение предельных значений, экстремальные скорости роста или снижения значений контролируемых параметров. При возникновении нештатной ситуации включается звуковая сигнализация и на экран АРМ диспетчера выводится сообщение о тревоге и подсистеме, в которой она произошла. В базу данных аварийных событий заносится полная информация об аварии, времени ее возникновения и ликвидации. C использованием дополнительного пакета AlarmWorX32 Multimedia в данной системе диспетчеризации все сообщения о тревогах классифицируются по уровням опасности и по группам руководящих лиц, а также технического персонала, которые должны быть оповещены о них и рассылаются по заранее сформированным спискам одновременно СМС-сообщениями, факсами и по e-mail. Для рассылки СМС-оповещений был использован GSM-модем Siemens MC-35i Terminal, подключенный к COM-порту АРМ диспетчера. Списки рассылки мультимедиа-сообщений, а также состав групп персонала, которые должны быть своевременно оповещены о той или иной тревоге детально согласовывались с руководством эксплуатационной службы ЦОД МГФОМС на этапе внедрения проекта и корректировались при проведении рабочих испытаний во время опытной эксплуатации системы.

Для удаленного просмотра состояния инженерных систем ЦОД был инсталлирован  мощный инструмент дистанционного мониторинга – WebHMI. С помощью этого программного пакета на АРМ диспетчера был организован Web-сервер, имеющий внешний IP-адрес. При этом на клиентском компьютере не требуется никакого дополнительного оборудования – все экранные формы открываются в окне браузера, например, Internet Explorer. При первом обращении удаленного клиента к Web-серверу системы диспетчеризации происходит однократная установка ActiveX-компонентов, позволяющих в дальнейшем транслировать на него только поток данных, а не графических изображений, что обеспечивает необходимую скорость и надёжность обмена. Функционал удаленного рабочего места  остается абсолютно идентичным стационарному рабочему месту оператора (диспетчера), расположенному на территории МГФОМС, а сервер безопасности входящий в состав GENESIS32 обеспечивает необходимую информационную защиту, предоставляя доступ к данным только  руководству и  сотрудникам, имеющим на то полномочия.

Эксплуатация системы диспетчеризации

Система диспетчеризации СОБЭ ЦОД МГФОМС после почти годовой промышленной эксплуатации показала исключительную надежность и эффективность.  Собранные в единый информационный центр данные обеспечивают комфортную работу технических специалистов, а примененные Интернет-технологии позволяют удаленно просматривать состояние оборудования. СМС-оповещения а так же факс- а E-mail –рассылки оповещают руководство и технический персонал о тревогах разного уровня, что проверенно неоднократными плановыми испытаниями.

Это позволяет утверждать, что нами разработано высокоэффективное решение по диспетчеризации, оповещению о тревогах и дистанционному наблюдению для современных центров обработки данных.  Ввиду актуальности задачи и наблюдающемуся росту распространения ЦОД мы предлагаем готовое решение, которое может быть внедрено на вашем объекте в кратчайшие сроки.

Сообщение успешно послано!

Мы свяжемcя с вами в ближайщее время!

Закрыть

Отправка Сообщения

Фамилия Имя:
Компания:
E-mail:
Телефон:
Сообщение: