Опубликован 64-й выпуск рейтинга 500 самых высокопроизводительных компьютеров мира. Первое место в 64 редакции рейтинга занял новый кластер El Capitan, запущенный в Ливерморской национальной лаборатории Министерства энергетики США. Кластер насчитывает 11 миллионов процессорных ядер (CPU AMD EPYC 24C 1.8GH с ускорителем AMD Instinct MI300X) и обеспечивает производительность 1.742 экзафлопса. В качестве операционной системы применяется HPE Cray OS[1] (редакция SUSE Linux Enterprise Server 15).
Смещённый на второе место прошлый лидер рейтинга, кластер Frontier, размещённый в Ок-Риджской национальной лаборатории Министерства энергетики США, модернизирован — число процессорный ядер (CPU AMD EPYC 64C 2GHz, ускоритель AMD Instinct MI250X) увеличено с 8.7 до 9 млн, что позволило повысить производительность с 1.206 до 1.353 экзафлопсов.
Со второго на третье место переместился кластер Aurora, развёрнутый в Аргоннской национальной лаборатории Министерства энергетики США. Кластер содержит 9.2 млн процессорных ядер (CPU Xeon CPU Max 9470 52C 2.4GHz, ускоритель Intel Data Center GPU Max) и обеспечивает производительность 1.012 экзафлопса. В качестве операционной системы в Aurora используется SUSE Linux Enterprise Server 15 SP4.
С третьего на четвёртное место сместился кластер Eagle[2], запущенный в начале года компанией Microsoft для облака Azure. Кластер содержит 2 млн процессорных ядер (CPU Xeon Platinum 8480C 48C 2GHz) и демонстрирует пиковую производительность в 561 петафлопс. Программное обеспечение кластера базируется на Ubuntu 22.04.
Пятое место занял новый кластер HPC6[3], развёрнутый в итальянской нефтегазовой компании «Эни». Кластер содержит 3 млн процессорных ядер (AMD EPYC 64C 2GHz) и демонстрирует пиковую производительность в 477 петафлопс. Программное обеспечение кластера базируется на RHEL 8.9.
Что касается отечественных суперкомпьютеров, то созданные компанией Яндекс кластеры Червоненкис[4], Галушкин[5] и Ляпунов[6] опустились с 42, 69 и 79 мест на 60, 86 и 99 места. Данные кластеры созданы для решения задач машинного обучения и обеспечивают производительность 21.5, 16 и 12.8 петафлопса соответственно. Кластеры работают под управлением Ubuntu 16.04 и оснащены процессорами AMD EPYC 7xxx и GPU NVIDIA A100: кластер Chervonenkis насчитывает 199 узлов (193 тысячи ядер AMD EPYC 7702 64C 2GH и 1592 GPU NVIDIA A100 80G), Galushkin — 136 узлов (134 тысячи ядер AMD EPYC 7702 64C 2GH и 1088 GPU NVIDIA A100 80G), Lyapunov — 137 узлов (130 тысяч ядер AMD EPYC 7662 64C 2GHz и 1096 GPU NVIDIA A100 40G).
Развёрнутый Сбербанком кластер Christofari Neo опустился с 83 на 104 место. Christofari Neo работает под управлением NVIDIA DGX OS 5 (редакция Ubuntu) и демонстрирует производительность 11.95 петафлопса. Кластер насчитывает более 98 тысяч вычислительных ядер на базе CPU AMD EPYC 7742 64C 2.25GHz и поставляется с GPU NVIDIA A100 80GB. Второй кластер Сбербанка (Christofari) за полгода сместился с 142 на 172 место в рейтинге.
В рейтинге также остаётся ещё один отечественный кластер: Lomonosov 2, который сместился с 406 на 453 место (в 2015 году кластер Lomonosov 2 занимал 31 место, а его предшественник Lomonosov в 2011 году — 13 место). Кластер MTS GROM, который в прошлом рейтинге занимал 472 место, выбыл из списка 500 самых производительных систем. Таким образом, число отечественных кластеров в рейтинге уменьшилось с 7 до 6 систем (для сравнения в 2020 году в рейтинге было 2 отечественные системы, в 2017 году — 5, а в 2012 году — 12).
Наиболее интересные тенденции:
Распределение по количеству суперкомпьютеров в разных странах:
США: 172 (171 — полгода назад). Суммарная производительность оценивается в 55,2 % всей производительности рейтинга (полгода назад — 34,2 %);
Китай: 63 (80). В сумме китайские кластеры генерируют 2,7 % от всей производительности (полгода назад — 16 %);
Минимальный порог производительности для вхождения в Top500 за 6 месяцев составил 2.31 петафлопса (полгода назад — 2.13 петафлопса). Десять лет назад лишь 51 кластер показывал производительность более петафлопса. Для Top100 порог вхождения вырос с 9.46 до 12.8 петафлопсов, а для Top10 — со 121.4 до 208 петафлопсов.
Суммарная производительность всех систем в рейтинге за 6 месяцев возросла с 8.2 до 11.7 экзафлопсов (пять лет назад было 1.65 экзафлопса, десять лет назад — 0.31 экзафлопса). Система, замыкающая нынешний рейтинг, в прошлом выпуске находилась на 454 месте.
Общее распределение по количеству суперкомпьютеров в разных частях света выглядит следующим образом: 181 суперкомпьютер находится в Северной Америке 181 (181 — полгода назад), 161 в Европе (157), 143 в Азии (147), 10 в Южной Америке (9), 4 в Океании (5) и 1 в Африке (1).
В качестве процессорной основы лидируют CPU Intel — 61,8 % (полгода назад было 62,8 %), на втором месте AMD 32,4 % (31.4 %), на третьем Fujitsu A64FX — 1,8 % и NVIDIA Grace — 1,8 %, на четвёртом IBM Power — 0,8 % (было 1,2 %).
21,4 % (полгода назад 20 %) всех используемых процессоров имеют 64 ядра, 17,2 % (17.8 %) — 24 ядра, 10,2 % (9.4 %) — 32 ядра, 8,4 % (5.8 %) — 48 ядер, 7,6 % (9 %) — 20 ядер, 7,4 % (4.4 %) — 56 ядер, 4,6 % (5.4 %) — 16 ядер, 4,6 % (5.6 %) — 18 ядер, 4,4 % (5.2 %) — 28 ядер, 2 % — 96 ядер. Суммарное число процессорных ядер во всех кластерах рейтинга за полгода увеличилось с 114.6 млн до 128.7 млн.
209 из 500 систем (полгода назад — 196) дополнительно используют ускорители или сопроцессоры, при этом в 183 (142) системах задействованы чипы NVIDIA, в 19 (14) — AMD, в 1 (1) — Intel Xeon Phi, в 4 (4) — Intel DataCenter GPU, в 1 (1) — Matrix-2000.
Среди производителей кластеров на первом месте закрепилась компания Lenovo — 32,4 % (полгода назад 32,6 %), на втором месте компания Hewlett-Packard Enterprise — 23 % (22.4 %), на третьем месте компания EVIDEN — 10,4 % (9.8 %), далее следуют Dell EMC 7,4 % (6.8 %), NVIDIA 5,2 % (4.4 %), Fujitsu 3 % (2.8 %), NEC 2,8 % (2.8 %), Inspur — 2,2 % (4.4 %), Microsoft Azure — 1,6 % (1.4 %), Penguin Computing — 1,4 % (1.4 %), MEGWARE 1,4 % (1.4 %), IBM 0,6 % (1 %), Sugon 0,6 % (1 %), Supermicro 0,6 %.
InfiniBand применяется для связи узлов в 50,6 % (полгода назад 47,8 %) кластеров, Ethernet используется в 37,4 % (39 %) кластеров, Omnipath — 6,2 % (6.4 %). Если рассматривать суммарную производительность, то системы на базе InfiniBand охватывают 33,6 % (39.2 %) всей производительности Top500, а Ethernet — 58,1 % (48.5 %).
Одновременно опубликован новый выпуск альтернативного рейтинга кластерных систем Graph 500, ориентированного на оценку производительности суперкомпьютерных платформ, связанных с симулированием физических процессов и задач по обработке больших массивов данных, свойственных для таких систем. Рейтинги Green500, HPCG (High-Performance Conjugate Gradient) и HPL-AI объединены с Top500 и отражаются в основном рейтинге Top500.
Дополнительно можно отметить релиз кластерной файловой системы Lustre 2.16, используемой в большей части крупнейших Linux-кластеров, содержащих десятки тысяч узлов. Ключевыми компонентами Lustre являются серверы обработки и хранения метаданных (MDS), управляющие серверы (MGS), серверы хранения объектов (OSS), хранилище объектов (OST, поддерживается работа поверх ext4 и ZFS) и клиенты. Код проекта распространяется под лицензией GPLv2. В новой версии реализована полноценная поддержка работы Lustre в сетях IPv6, используя компоненты LNet (Lustre Network) и LND (Lustre Network Daemon). Также проведена оптимизация обработки содержимого больших каталогов и добавлена поддержка RHEL 9.4 и Rocky Linux 9.4.
