В Центре коллективного пользования «Сибирский кольцевой источник фотонов» (ЦКП «СКИФ») завершена установка и пусконаладочные испытания Центра обработки данных (ЦОД), который теперь готов к эксплуатации. В состав комплекса входит вычислительный кластер, суммарная производительность которого составляет 390 Терафлопс (в режиме двойной точности FP64), а также серверная, сетевая техника и подсистема архивирования информации. Данное оборудование является критически важным элементом объектов класса «мегасайенс», так как оно гарантирует постоянную обработку результатов экспериментов в реальном времени и сохранение массивов больших данных.
Вычислительный кластер ЦКП "СКИФ". Фото: Анна Плис.
Разработка и внедрение вычислительного кластера и всего комплекса ЦОД для ЦКП «СКИФ» были выполнены ведущим российским интегратором, разработчиком и производителем суперкомпьютерных систем — группой компаний РСК. Двадцать четыре сервера модели «РСК Торнадо», обеспечивающие совокупную производительность 182 Терафлопс, оснащены системой жидкостного охлаждения, созданной специалистами РСК. Это решение гарантирует энергоэффективность, надежность, бесшумную работу и простоту обслуживания вычислительного узла. Дополнительную производительность в размере 208 Терафлопс обеспечивают мощные графические процессоры (GPU), установленные в двух других серверах.
Объекты класса «мегасайенс» постоянно формируют гигантские массивы информации, что требует не только значительных мощностей для вычислений, но и обширных ресурсов для хранения. Сетевая инфраструктура, заложенная в проекте, позволяет одновременно и независимо получать данные с 30 экспериментальных станций СКИФ. Текущей производительности кластера достаточно для обработки информации со станций первой очереди. В перспективе планируется интеграция вычислительного кластера ЦКП «СКИФ» с суперкомпьютерами других российских «мегасайенс»-установок посредством Национальной исследовательской компьютерной сети (НИКС).
«Создание ЦОД, интегрированного с установкой «мегасайенс», не является для нас новым опытом. Ранее наша компания спроектировала, внедрила и неоднократно модернизировала суперкомпьютер «Говорун», предназначенный для обработки данных с коллайдера NICA в Объединенном институте ядерных исследований (ОИЯИ) в Дубне. Следует подчеркнуть, что вычислительная система, созданная для ЦКП «СКИФ», по своим характеристикам превосходит многие комплексы, эксплуатируемые в других отечественных научных учреждениях. Ее архитектура построена на базе актуальных процессоров и GPU-ускорителей. Реализована масштабная система хранения. Сеть комплекса («интерконнект») отличается высокой скоростью и низкой задержкой, что позволяет решать широкий круг задач с применением различных вычислительных алгоритмов. Кроме того, в проект заложены резервы для последующей модернизации и увеличения мощностей», – сообщил Александр Московский, генеральный директор группы компаний РСК.
Экспериментальные станции ЦКП «СКИФ» функционируют круглосуточно (режим 24/7) и непрерывно формируют данные. Объем генерируемой информации непосредственно зависит от применяемых методов и режимов исследований. Некоторые методики не создают значительной нагрузки на подсистемы хранения, однако требуют больших вычислительных ресурсов. Другие, напротив, формируют колоссальные массивы данных. К примеру, при проведении фазово-контрастной томографии на текущем оборудовании за сутки можно собрать около 5 Терабайт «сырых» данных. ИТ-инфраструктура сложных научных объектов предполагает построение многоуровневой системы хранения и обработки. «Горячее» хранилище используется для приема и первичной обработки данных в реальном времени, после чего информация переводится в категорию «теплых», а затем «холодных» данных, где может храниться на протяжении нескольких лет.
В ЦОД ЦКП «СКИФ» установлена система хранения «теплых» данных емкостью 900 Терабайт, а также компонуемо-распределенная система хранения «горячих» данных общим объемом 368 Терабайт.
Высокоскоростная сеть обеспечивает передачу информации с детекторов станций на серверы ЦОД со скоростью до 200 Гбит/с. Этот показатель на несколько порядков превышает скорость передачи данных в стандартных компьютерных сетях, таких как Wi-Fi.
Отличительной чертой вычислительного кластера СКИФ является уникальная архитектура управления ресурсами, позволяющая создавать «виртуальную машину» с заданными параметрами и комбинациями ресурсов, оптимальными для задач конкретного эксперимента.
Вычислительный кластер ЦКП "СКИФ". Фото: Анна Плис.
«Данная технология называется динамически компонуемой системой. Она позволяет пользователям станций самостоятельно конфигурировать вычислительные ресурсы — количество ядер процессоров и графических ускорителей, объем оперативной памяти и «горячего» хранилища — под конкретную экспериментальную задачу. С помощью программного обеспечения настраиваются виртуальные машины с требуемой конфигурацией. По завершении эксперимента эти виртуальные машины деактивируются, а выделенные ресурсы освобождаются. При этом данные безопасно перемещаются из «горячего» хранилища в основную систему хранения», – пояснил Владимир Потеряев, начальник отдела информационных технологий и компьютерных сетей ЦКП «СКИФ».
ЦОД размещен в корпусе электрохозяйства ЦКП «СКИФ». Помещение оборудовано системой климат-контроля, которая поддерживает оптимальные параметры температуры и влажности воздуха для стабильной работы серверного и вычислительного оборудования. Также комплекс обеспечен системой бесперебойного питания суммарной мощностью 300 кВт.
ЦОД с производительностью 390 Тфлопс запущен в ЦКП «СКИФ» для обработки научных данных
В Центре коллективного пользования «Сибирский кольцевой источник фотонов» (ЦКП «СКИФ») завершена установка и пусконаладочные испытания Центра обработки данных (ЦОД), который теперь готов к эксплуатации. В состав комплекса входит вычислительный кластер, суммарная производительность которого составляет 390 Терафлопс (в режиме двойной точности FP64), а также серверная, сетевая техника и подсистема архивирования информации. Данное оборудование является критически важным элементом объектов класса «мегасайенс», так как оно гарантирует постоянную обработку результатов экспериментов в реальном времени и сохранение массивов больших данных.
Разработка и внедрение вычислительного кластера и всего комплекса ЦОД для ЦКП «СКИФ» были выполнены ведущим российским интегратором, разработчиком и производителем суперкомпьютерных систем — группой компаний РСК. Двадцать четыре сервера модели «РСК Торнадо», обеспечивающие совокупную производительность 182 Терафлопс, оснащены системой жидкостного охлаждения, созданной специалистами РСК. Это решение гарантирует энергоэффективность, надежность, бесшумную работу и простоту обслуживания вычислительного узла. Дополнительную производительность в размере 208 Терафлопс обеспечивают мощные графические процессоры (GPU), установленные в двух других серверах.
Объекты класса «мегасайенс» постоянно формируют гигантские массивы информации, что требует не только значительных мощностей для вычислений, но и обширных ресурсов для хранения. Сетевая инфраструктура, заложенная в проекте, позволяет одновременно и независимо получать данные с 30 экспериментальных станций СКИФ. Текущей производительности кластера достаточно для обработки информации со станций первой очереди. В перспективе планируется интеграция вычислительного кластера ЦКП «СКИФ» с суперкомпьютерами других российских «мегасайенс»-установок посредством Национальной исследовательской компьютерной сети (НИКС).
Экспериментальные станции ЦКП «СКИФ» функционируют круглосуточно (режим 24/7) и непрерывно формируют данные. Объем генерируемой информации непосредственно зависит от применяемых методов и режимов исследований. Некоторые методики не создают значительной нагрузки на подсистемы хранения, однако требуют больших вычислительных ресурсов. Другие, напротив, формируют колоссальные массивы данных. К примеру, при проведении фазово-контрастной томографии на текущем оборудовании за сутки можно собрать около 5 Терабайт «сырых» данных. ИТ-инфраструктура сложных научных объектов предполагает построение многоуровневой системы хранения и обработки. «Горячее» хранилище используется для приема и первичной обработки данных в реальном времени, после чего информация переводится в категорию «теплых», а затем «холодных» данных, где может храниться на протяжении нескольких лет.
В ЦОД ЦКП «СКИФ» установлена система хранения «теплых» данных емкостью 900 Терабайт, а также компонуемо-распределенная система хранения «горячих» данных общим объемом 368 Терабайт.
Высокоскоростная сеть обеспечивает передачу информации с детекторов станций на серверы ЦОД со скоростью до 200 Гбит/с. Этот показатель на несколько порядков превышает скорость передачи данных в стандартных компьютерных сетях, таких как Wi-Fi.
Отличительной чертой вычислительного кластера СКИФ является уникальная архитектура управления ресурсами, позволяющая создавать «виртуальную машину» с заданными параметрами и комбинациями ресурсов, оптимальными для задач конкретного эксперимента.
ЦОД размещен в корпусе электрохозяйства ЦКП «СКИФ». Помещение оборудовано системой климат-контроля, которая поддерживает оптимальные параметры температуры и влажности воздуха для стабильной работы серверного и вычислительного оборудования. Также комплекс обеспечен системой бесперебойного питания суммарной мощностью 300 кВт.
skif-lightsource.ru