Суперкомпьютерные центры РАН резко улучшат работу в начале 2017 года

29 декабря 2016 года

На 2017 год запланирована широкая модернизация суперкомпьютерных центров РАН. Об этом говорили на пятом Национальном Суперкомпьютерном Форуме (ИПС РАН, Переславль) в секции «Развитие академических суперкомпьютерных центров коллективного пользования» (30 ноября). Организатором секции стало ФАНО России.

Проект развития затронул 6 суперкомпьютерных центров (СКЦ) в городах Москва, Екатеринбург, Новосибирск, Иркутск, Хабаровск и Владивосток. На их развитие выделена субсидия в 300 млн рублей. Суммарная пиковая мощность академических СК центров в 2015 году находилась на уровне 1300 терафлопс, а к 2017 году составит 1700 терафлопс.

Один из главных вопросов нашей секции — как показывать эффективность модернизации для конечных пользователей. Зачем мы все делаем, используем, обсуждаем суперкомпьютеры? Для того, чтобы считать более масштабные задачи и делать это быстрее.

Владимир Владимирович Стегайлов,
д. ф.-м. н., заведующий отделом, ОИВТ РАН

Борис Михайлович Шабанов начал с истории. За восемнадцать лет с 1998 года Межведомственный суперкомпьютерный центр РАН (МСЦ РАН, Москва) пустил в работу 7 машин. При установке эти суперкомпьютеры входили в первую сотню top-500. Например, машина МВС-100K от Hewlett-Packard стояла на 38 месте в ноябре 2009 года, однако деградировала и теперь даёт лишь 30 % исходной производительности. С 2015 года основную нагрузку несёт машина МВС-10П, которая стояла на 59 месте в ноябре 2012 года.

В 2015 году МСЦ РАН имел общую производительность 856 терафлопс и обслуживал 73 организации. Основную нагрузку на суперкомпьютеры дают академические исследования. Впрочем, год за годом растёт число коммерческих задач. В 2014 году промышленность дала 5 % нагрузки, в 2015 году 10 %, сейчас около 30 %. Поэтому созданы сегменты для специальной обработки: если вычисления связаны с будущим патентом, им будет обеспечена конфиденциальность.

Для доступа к машинным ресурсам в Московском регионе создана сеть, которая связывает и Троицкий, и Пущинский, и Черноголовский научные центры РАН. Сюда же подключаются промышленные заказчики. Есть прямые каналы в Курчатовский институт и МГУ.

Субсидия в 100 млн рублей поможет установить в будущем году машину на 700 терафлопс. Это позволит выполнить ещё больше вычислительных заказов.

Существует такой важный для науки ресурс, как суперкомпьютерные центры, которые позволяют существенно повысить производительность труда учёного.

Борис Михайлович Шабанов,
д. ф.-м. н., директор МСЦ РАН

Андрей Владимирович Созыкин рассказал о суперкомпьютерном центре коллективного пользования Института математики и механики РАН (Екатеринбург). Здесь работает суперкомпьютер «УРАН» пиковой производительностью 240 терафлопс, в нём 408 процессоров, 352 графических ускорителя NVIDIA Tesla, диски на 250 терабайт.

Средняя загрузка машины — 90 %. Тут вычисляются задачи 16 институтов Уральского отделения РАН. Среди задач — математическое моделирование электрических функций сердца, анализ данных дистанционного зондирования Земли, расчёт оптимальной траектории вывода ракет «Союз-2» на орбиту.

Построен гигабитный оптический канал между Пермью и Екатеринбургом. Это позволяет подключать к суперкомпьютеру экспериментальные установки, которые работают в институтах Перми, чтобы обрабатывать полученные данные прямо в ходе эксперимента.

Институт математики и механики тесно работает с Уральским федеральным университетом, поддерживая кафедру высокопроизводительных компьютерных технологий.

Субсидия в 40 млн рублей поможет заменить коммутатор сети Infiniband и улучшить систему хранения данных. Коммутатор этот работает с 2008 года, а СХД с 2010 года, они уже устарели и вышли из обслуживания. Будут прибавлены 16 вычислительных узлов с процессорами по 18 ядер (Hewlett Packard Enterprise), поэтому производительность вырастет примерно на 20 терафлопс.

Архитектура суперкомпьютера в ИММ определялась по запросам пользователей. Действительно, задача СК в том, чтобы клиенты получали вычислительный ресурс. Однако если пользователи привыкли считать всё на центральных процессорах, они остаются на технологиях прошлого и не используют всю силу новых ускорителей и новых технологий. Поэтому уральские учёные хотят дополнять свой суперкомпьютерный центр экспериментальными кластерами на графических ускорителях.

Нужно готовить людей в трёх направлениях. Они должны знать параллельное программирование, они должны знать численные методы и какую-то предметную область. Причём для разных предметных областей могут быть разные численные методы. А те, кто просто прошёл курс по параллельному программированию, они умеют в лучшем случае матрицы перемножать.

Андрей Владимирович Созыкин,
к. т. н., заведующий отделом, ИММ УрО РАН

Игорь Геннадьевич Черных говорил про Сибирский суперкомпьютерный центр (ССЦ), который работает в самом центре России в Институте вычислительной математики и математической геофизики СО РАН (Новосибирск). Здесь развёрнуты два кластера, чьи возможности не так уж велики по сравнению с уральским и московскими — общая пиковая производительность 115 терафлопс, СХД на 144 терабайта. Есть отдельный сервер с 80 ядрами и общей памятью в 1 терабайт.

В 2015 году ССЦ работал с 29 клиентами: 24 академических организации, и три университета, и ещё два НИИ с коммерческими проектами.

Среди внешних пользователей ССЦ — Институт ядерной физики (обработка данных с ускорителей), Институт нефтегазовой геологии и геофизики (моделирование нефтяных залежей), Институт цитологии и генетики (сборка генома), Институт катализа (моделирование реакторов и новых катализаторов). Есть успешный коммерческий опыт по решению геофизических задач.

По словам докладчика, проблемы ССЦ типичны для отрасли. Это устаревшее оборудование, которое поставлено пять лет назад, это неполадки в системе охлаждения, и полное отсутствие денег на ремонт. Бывает, что задача стоит в очереди целую неделю. Поэтому пользователи уходят в иностранные вычислительные центры, тем более что полёт от Новосибирска до Москвы равен полёту от Новосибирска до Пекина.

Субсидия в 60 млн рублей позволит добавить новый суперкомпьютер на 72 терафлопса, прибавив 60 % производительности.

Перед Сибирским суперкомпьютерным центром стоят широкие перспективы. Сюда могут обращаться сибирские учёные из Академии медицинских наук и Академии сельскохозяйственных наук, которые теперь вошли в СО РАН. Здесь работает инжиниринговый центр для моделирования промышленных изделий и цифрового проектирования. Тут есть резервы по площади и по энергии.

Те заказы, которые к нам приходят, сама промышленность посчитать не сможет. У неё просто нет таких компетенций. Особенно остро это чувствуется сейчас с нефтегазовой отраслью. Большинство этих компаний попало под санкции, они не могут купить за рубежом ни оборудование, ни софт. И в такой короткий срок нарастить компетенции в области вычислений они не смогут.

Игорь Геннадьевич Черных,
к. ф.-м. н., учёный секретарь Сибирского СК центра

Алексей Петрович Новопашин сообщил, что Иркутский суперкомпьютерный центр (Иркутский СКЦ) работает на базе Института динамики систем и теории управления СО РАН с 2004 года (Иркутск). Последняя машина была установлена тут в 2012 году. Этот кластер имеет пиковую производительность 33,7 терафлопс, его система хранения данных вмещает 40 терабайт.

Здесь выполняются задачи самых разных наук: биоинформатика — исследование геномов и протеомов рачков и водорослей озера Байкал (Лимнологический институт РАН), квантовая химия — расчёт кристаллов с нужными свойствами, анализ новых гетероатомных соединений с заданными физико-химическими параметрами (Иркутский институт химии РАН), физика высоких энергий — гамма-астрономические вопросы, исследование магнитосферы и ионосферы по данным с радаров (Института солнечно-земной физики РАН), дискретная математика — криптоанализ и модели коллективного поведения (сам ИДСТУ).

Производительность иркутского суперкомпьютера откровенно мала, а модернизация запаздывает. Субсидия в 40 млн рублей поможет уже к апрелю заменить 45 % узлов иркутского кластера, чтобы увеличить число процессоров, нарастить оперативную память и повысить общую надёжность. Пиковая производительность кластера должна вырасти в три раза.

Интересно, что снятые модули не будут списаны, а соберутся в особый кластер и продолжат работу по другим, менее тяжёлым задачам.

Как и в других суперкомпьютерных центрах, Иркутскому СКЦ не хватает денег на ремонт инженерных систем. Нужна модернизация оставшихся 55 % кластера.

Мы рады тому, что дело сдвинулось с мёртвой точки и оборудование будет обновляться, тем более что наши пользователи заждались этого. Сейчас у нас высокая загрузка ресурсов и длинные очереди.

Алексей Петрович Новопашин,
к. т. н., заведующий лабораторией, ИДСТУ РАН

Вычислительный центр Дальневосточного отделения РАН (ВЦ ДВО) создан в Хабаровске в 1981 году. О его работе рассказал член-корреспондент РАН Сергей Иванович Смагин.

Здесь работают два суперкомпьютера общей производительностью 2,8 терафлопс, построена СХД на 307 терабайт. Учёные самого ВЦ решают на них задачи по теории упругости, электродинамике и гидродинамике, изучают численные методы решения трехмерных задач акустики, моделируют гидродинамические и русловые процессы, просчитывают атомную структуру и упругие свойства силицена.

К услугам суперкомпьютеров обращаются Институт материаловедения (синтез нитевидных кристаллов вольфрама), Институт химии (создание наноструктурированных материалов для оптоэлектроники), Институт проблем морских технологий, Национальный научный центр морской биологии и многие другие.

Вычислительный ресурс ВЦ очень скромен. В 2012 году губернатор предложил создать территориальный кластер авиастроения и судостроения Хабаровского края, и появился проект суперкомпьютерного центра на 200 терафлопс. Однако теперь всё остановилось из-за кризиса.

Субсидия в 20 млн рублей позволит установить новый кластер на 55 терафлопс, потому что модернизировать здесь нечего. И тут возникает новая задача. Графические ускорители обеспечивают быстрый расчёт, поэтому всё чаще мы видим гибридные кластеры, где работают и центральные процессоры, и графические процессоры. Но старые программные коды совсем не пользуются графическими ускорителями. А значит, нужно адаптировать такие программы к гибридной архитектуре, портировать научные задачи на гибридные машины.

ВЦ ДВО обеспечивает связь между 30 академическими институтами. Оптические линии связи идут из Хабаровска в Биробиджан, Владивосток, Комсомольск-на-Амуре, Магадан, Петропавловск-Камчатский и Южно-Сахалинск. Есть канал из Хабаровска в Москву шириной 200 Мбит/с. Это открывает ресурсы суперкомпьютера для многих институтов Хабаровского края и Приморского края, позволяет собирать данные со многих экспериментальных установок.

Сами по себе суперкомпьютерные центры без коммуникаций — это слабое место. Сейчас, когда мы говорим о перспективах, надо всё-таки иметь в виду всё вместе, не разделять отдельно центры и инфраструктуру телекоммуникаций. Их надо создавать вместе и поддерживать вместе. У нас появится хорошая возможность единую политику проводить.

Сергей Иванович Смагин,
д. ф.-м. н., директор ВЦ ДВО РАН

Дмитрий Иванович Харитонов представил Дальневосточный вычислительный ресурс (ДВВР), который работает в Институте автоматики и процессов управления.

Город Владивосток стоит на самом краю земли, поэтому гигабитный канал связи с Россией недоступен этому суперкомпьютерному центру. Зато корпоративная сеть на 10 гигабит охватила весь Академгородок с девятью институтами, дотянулась в Дальневосточный федеральный университет, Владивостокский государственный университет экономики и сервиса и Морской государственный университет.

Суперкомпьютеры пришли сюда в 1999 году, первая машина имела производительность всего лишь 12,8 гигафлопс. С 2001 года работает небольшой кластер MVS17 на 34 гигафлопса. В 2007 году Межведомственный суперкомпьютерный центр передал сюда суперкомпьютер МВС-15000. Следующий шаг был сделан в 2011 году, и теперь три суперкомпьютера обслуживают пользователей по нескольким очередям. Их пиковая производительность 22,3 терафлопс.

В 2016 году ДВВР работал с 25 контрагентами. Их можно разделить на три группы: биотехнологии (Тихоокеанский институт биоорганической химии, Национальный научный центр морской биологии), нанотехнологии и материаловедение (Институт автоматики и процессов управления, Институт химии), моделирование и мониторинг морских акваторий (ИАПУ, Тихоокеанский океанологический институт). В каждой группе отметился ДВФУ. Обозначим несколько задач — моделирование опасных бактерий, расчёт поверхности кремниевых сплавов, предсказание циркуляции морских течений, поиск и прогноз тропических циклонов по спутниковым данным.

Субсидия в 40 млн рублей поможет увеличить мощность ДВВР в три раза — до 76,8 терафлопс. Однако потребности пользователей гораздо выше, более 225 терафлопс. Например, спутниковые фотоснимки дают поток в 20 ГБ за сутки, их оперативная обработка на сетках из 1 миллиона элементов требует 100 терафлопс.

Пользователи одновременно уходят в отпуск, одновременно занимаются публикациями, одновременно заняты отчётами. Если в нужный момент времени взять очередь, она будет стоять и 10, и 20 дней, а если в ненужный момент взять очередь, когда пользователей мало, там получится избыток ресурсов.

Дмитрий Иванович Харитонов,
к. т. н., руководитель ДВВР РАН

Секция обсудила работу суперкомпьютерных центров коллективного пользования, разбирая проблемные отношения между центрами, академическими пользователями и другими клиентами. А проблем здесь немало.

До сих пор суперкомпьютерные центры РАН работали порознь. Поэтому в разных институтах стоят кластеры с разной архитектурой, которая подходит для разных задач (CPU, GPU, POWER8, Xeon Phi). Связь между СКЦ позволит выделить часть ресурсов в общий пул, сократить очередь заявок, балансировать нагрузку машин. Некоторые расчёты можно ускорить, передавая их на более подходящую архитектуру.

Остро звучал вопрос о том, как оценить востребованность отдельных суперкомпьютеров. Можно ли использовать деньги как метрику востребованности? Как брать деньги за вычисления, да и есть ли у академических пользователей деньги на оплату таких услуг?

Участники секции высказали пожелание ежегодно собираться на Национальном Суперкомпьютерном Форуме в Переславле, чтобы обсуждать проблемы суперкомпьютерных центров Академии наук. Это поможет делиться опытом и работать по единой концепции развития и модернизации вычислительных ресурсов.

Суперкомпьютерная инфраструктура — это междисциплинарная инфраструктура, и её успешное развитие требует согласовать интересы как конечных пользователей, так и математиков, вычислителей и тех, кто делает аппаратное обеспечение.

Владимир Владимирович Стегайлов,
д. ф.-м. н., заведующий отделом, ОИВТ РАН

Ссылки

Национальный Суперкомпьютерный Форум.
Мы благодарим Игоря Черных, Андрея Созыкина и Владимира Стегайлова за помощь при подготовке статьи.

Оригинальный репортаж Викиновостей

Эта статья опубликована в Викиновостях и содержит эксклюзивный репортаж и исследования, написанные одним из участников нашего проекта специально для Викиновостей.

Если автор репортажа не указал свои источники, источником информации является он сам. Вы можете узнать, кто создал эту статью, из истории статьи: тот, кто внёс первую правку, и является автором статьи. Если у вас есть замечания или предложения, первым делом напишите о них на странице обсуждения. Если у автора имелись в распоряжении не все факты, дополните статью известной вам информацией. Если с течением времени ситуация изменилась, напишите о новых фактах в новой статье. Если у вас есть вопросы к участникам русских Викиновостей, напишите на форум.