Компания Nebius N.V. со штаб-квартирой в Нидерландах, основанная бывшими сотрудниками «Яндекса», дебютировала в мировом рейтинге суперкомпьютеров TOP500. Её система ISEG заняла сразу 16-ю строку в списке, оставив позади системы «Яндекса» и «Сбера».

Источник изображения: Pixabay

Проект Nebius базируется в Израиле, а руководит им Роман Чернин, ранее возглавлявший в «Яндексе» подразделение геосервисов. «Как мы туда попали [в TOP500]? Наша команда разработчиков с большим энтузиазмом отнеслась к тестированию той части нашей новой облачной платформы, которая на тот момент была свободна от рабочей нагрузки клиентов, — сообщила в своём аккаунте LinkedIn отделившаяся от «Яндекса» Nebius. — Для этой цели они использовали бенчмарк из TOP500. Теперь вы можете использовать часть суперкомпьютера Nebius AI для своих проектов в области искусственного интеллекта».

В том, что запустившийся в начале года стартап Nebius уже создал свой суперкомпьютер, причём один из самых производительных в мире, нет ничего удивительного. Например, у «Сбера» в своё время на создание суперкомпьютера ушло всего три-четыре месяца. Как отметили в «Яндексе», при строительстве суперкомпьютера ISEG интеллектуальная собственность и технологии «Яндекса» не использовались, потому как они там не требуются. Тестирование суперкомпьютера для TOP500 проводилось на «голом железе», но для реального применения потребуется уже специальное ПО, и Nebius может использовать как собственные разработки, так и решения с открытым кодом.

«Система Nebius потенциально имела шансы появиться в России, это потерянная возможность», — прокомментировал вхождение в TOP500 стартапа Nebius главный научный сотрудник, директор Исследовательского центра мультипроцессорных систем Института программных систем им. А. К. Айламазяна Российской академии наук, член-корреспондент РАН, сокоординатор Национальной суперкомпьютерной технологической платформы Сергей Абрамов. Два года назад Абрамов оценивал стоимость создания суперкомпьютера «Яндекса «Червоненкис» в $7–10 млн. С учётом использования параллельного импорта в условиях санкций на создание подобного суперкомпьютера сейчас потребуется $10,5–20 млн. Учёный отметил, что для создания «серьёзных систем» необходима тесная кооперация с мировыми производителями процессоров, ускорителей, интерконнекта, о чём в условиях санкций говорить не приходится.

В новом рейтинге TOP500 всего семь суперкомпьютеров из России. Все они утратили прежние позиции. Наиболее мощный российский суперкомпьютер «Червоненкис», созданный «Яндексом» в 2021 году, опустился с 27-го на 36-е место. В свою очередь «Галушкин» опустился с 46-го на 58-е, а «Ляпунов» — с 52-го на 64-е. Это тоже системы «Яндекса». На 67-е место с 55-го упал суперкомпьютер «Кристофари Нео», а на 119-е место переместился с 96-го «Кристофари» — обе системы принадлежат «Сберу». На 370-е место с 329-го переместился суперкомпьютер «Ломоносов-2» производства компании «Т-Платформы», установленный в Научно-исследовательском вычислительном центре МГУ, и на 433-м месте оказался суперкомпьютер MTS GROM, установленный в CloudMTS, ранее занимавший 391-ю позицию.

Источник Forbes назвал утрату российскими компаниями прежних позиций в TOP500 «естественным результатом санкций». С уходом американских корпораций с российского рынка у оставшихся в стране компаний нет «объективных технологических возможностей выступать с какими-то новыми результатами» в рейтинге TOP500, считает собеседник Forbes.

В «Яндексе» объяснили изменение места в рейтинге тем, что организаторы использовали старые данные. «Компания использует все свои суперкомпьютеры для различных сервисов, в том числе для обучения модели YandexGPT, — сообщила «Яндекс» ресурсу Forbes . — Изменение места в рейтинге связано с тем, что мы не проводили новые замеры для TOP500, так как для проведения тестов необходимо остановить все рабочие процессы обучения моделей на суперкомпьютерах. Поэтому организаторы использовали наши старые данные от ноября 2021 года».

Проект Top500 обновил рейтинг самых быстрых суперкомпьютеров в мире. Первое место сохранила система Frontier на базе процессоров и ускорителей AMD с производительностью 1,194 Эфлопс. А вот второе место претерпело изменения. Здесь, уступив лидеру более чем вдвое, оказался основанный на чипах Intel суперкомпьютер Aurora Аргоннской национальной лаборатории (США) — он показал 585,34 Пфлопс.

Источник изображения: intel.com

Intel осуществила мощную атаку на рейтинг суперкомпьютеров, добавив в список 20 новых систем на чипах Sapphire Rapids. В то же время места в Top500 активно занимают системы на AMD EPYC — на этих процессорах работают уже 140 суперкомпьютеров в списке, а за год их число выросло на 39 %.

Intel и Аргоннская лаборатория продолжают работу по расширению Aurora: на момент выхода последней версии рейтинга суперкомпьютер составляли 10 624 процессора и 31 874 графических ускорителя Intel, обеспечивших производительность в 585,34 Пфлопс при суммарной мощности 24,69 МВт. Для сравнения, лидер рейтинга в лице Frontier на чипах AMD имеет производительность в 1,194 Эфлопс, более чем двукратно опережая систему на втором месте и потребляя при этом относительно скромные 22,70 МВт энергии. Из-за этого Aurora не попал в рейтинг самых энергоэффективных суперкомпьютеров Green500, а Frontier удерживает здесь восьмое место.

Ожидается, что в конечном итоге Aurora выйдет на производительность в 2 Эфлопс — её обеспечат 21 248 процессоров Xeon Max и 63 744 графических ускорителя Max Ponte Vecchio в 166 стойках и 10 624 вычислительных модулях. Это будет самый крупный массив графических процессоров в мире. Суперкомпьютер работает на узлах HPE Cray EX с сетевыми соединениями HPE Slingshot-11. Тем временем AMD занимается строительством суперкомпьютера El Capitan в Ливерморской национальной лаборатории имени Лоуренса (США), который, как ожидается, превысит показатель в 2 Эфлопс, и, возможно, Aurora уже не поднимется до первого места.

Источник изображения: olcf.ornl.gov

Впервые о суперкомпьютере Aurora было объявлено в 2015 году. Его строительство планировали завершить в 2018 году — тогда ожидалось, что он будет работать на процессорах Knights Hill, выход которых впоследствии был отменён. В 2019 году был анонсирован обновлённый проект Aurora с производительностью около 1 Эфлопс, который намеревались завершить к 2021 году. Но в конце 2021 года проектную производительность повысили до 2 Эфлопс, а сроки продлили до 2024 года.

Третьим в рейтинге оказался новый суперкомпьютер Eagle (561,20 Пфлопс) от Microsoft, развёрнутый в облаке Azure — облачный суперкомпьютер обогнал прежнего серебряного лауреата в лице японского суперкомпьютера Fugaku (442,01 Пфлопс), который опустился на четвёртое место. А замкнула пятёрку финская система LUMI с 379,70 Пфлопс.

Согласно обновлённому рейтингу TOP500 самых мощных компьютеров мира, экзафлопсный барьер был преодолён официально. Но не ищите среди рекордсменов китайские системы. В списке рейтинга их нет, хотя на самом деле они есть и, судя по обрывочным данным, легко опережают «публичных» рекордсменов. Для июньского TOP500 Китай в очередной раз не предоставил данные по самым мощным компьютерам, и это проблема для всех.

Источник изображения: Shutterstock

«Отсутствующие китайские машины влияют на список TOP500 и изменяют историческую информацию, которую передает список», — сказал Джек Донгарра (Jack Dongarra), заслуженный профессор информатики в Университете Теннесси в США.

Начиная с 1993 года, рейтинговая информация о самых мощных суперкомпьютерах мира публиковалась два раза в год. С самого начала Китай активно участвовал в рейтинге. Ситуация стала меняться в последние годы, когда начались торговые трения между США и Поднебесной. Судя по всему, официального запрета «сверху» о предоставлении подобной информации на Запад нет, поскольку ряд китайских организаций продолжает передавать данные для составления рейтинга TOP500.

Также специалисты примерно представляют с какими современными системами работают в Китае. Для спецслужб и людей в теме в этом особых секретов нет. «Мы знаем, что они [новейшие суперкомпьютеры] существуют, и об использовании этих систем были написаны исследовательские работы. Мы понимаем их компетентную производительность, но ничего не было представлено официально», — подтверждает Донгарра.

Согласно свежему рейтингу TOP500, о чём мы на днях рассказывали, официально и публично отметку в 1 Эфлопс в бенчмарке HPL на FP64-вычислениях первым преодолел суперкомпьютер Frontier с устоявшейся производительностью 1,102 Эфлопс при теоретическом пике в 1,686 Эфлопс. Если бы китайцы не секретничали, на первом месте вполне могла оказаться машина Tianhe-3 из Поднебесной с устоявшейся производительностью более 1,3 Эфлопс и пиковой свыше 1,7 Эфлопс. Но у Китая есть и другие машины аналогичного класса.

Более того, ожидается, что уже через три года у КНР будет сразу 10 систем экзафлопсного класса, так что разрыв с США (не в пользу последних) резко увеличится. Для мирового рейтинга суперкомпьютеров отсутствие информации о новейших китайских системах — это серьёзная брешь и снижение конкурентного давления на рынке, считают профильные специалисты. Китай публично не желает открывать карты и при этом владеет полной информацией.

При этом нельзя забывать, что участие в TOP500 сугубо добровольное. Полноценный прогон Linpack на крупных машинах — затея дорогая во всех смыслах. И если для академических структур запуск бенчмарка позволяет в какой-то степени отчитаться о потраченных средствах, то для коммерческих компаний (например, из нефтегазового сектора) это может быть сомнительным удовольствием. Вместе с тем ценность Linpack как единого мерила производительности в последние годы значительно снижается.