Компания Tesla сообщила о запуске на этой неделе нового суперкомпьютера для решения ресурсоемких задач, связанных с ИИ. В его основе используются 10 тыс. специализированных графических ускорителей NVIDIA H100.

Источник изображений: HPC Wire

Отмечается, что система обеспечивает пиковую производительность в 340 Пфлопс в операциях FP64 для технических вычислений и 39,58 Эфлопс в операциях INT8 для задач ИИ. Таким образом, по производительности FP64 кластер превосходит суперкомпьютер Leonardo, который располагается на четвёртой позиции в нынешнем мировом рейтинге суперкомпьютеров Тор500 с показателем 304 Пфлопс.

Новый суперкомпьютер Tesla с ускорителями NVIDIA H100 является одной из самых мощных платформ в мире. На формирование кластера потрачено около $300 млн. Он подходит не только для обработки алгоритмов ИИ, но и для НРС-задач. Благодаря данной системе компания рассчитывает значительно расширить ресурсы для создания полноценного автопилота.

На фоне сформировавшегося дефицита ускорителей NVIDIA H100 компания хочет диверсифицировать вычислительные мощности. Для этого Tesla ведёт разработку своего собственного проприетарного суперкомпьютера Dojo. В проект планируется инвестировать $1 млрд. Уже к октябрю следующего года Tesla рассчитывает преодолеть барьер в 100 Эфлопс производительности, что более чем в 60 раз мощнее самого производительного суперкомпьютера в мире на сегодняшний день.

Помимо простого аппаратного обеспечения, новая вычислительная инфраструктура предоставит Tesla преимущество в обработке огромных наборов данных, что имеет решающее значение для реальных сценариев обучения ИИ.

Один из ведущих разработчиков чипов для работы с системами искусственного интеллекта Cerebras Systems совместно с облачным провайдером G42 представил проект по созданию девяти мощных суперкомпьютеров, заточенных под задачи ИИ. Первой из них станет система CG-1 (Condor Galaxy 1), которая первой в мире достигнет производительности в 4 Эфлопс в задачах искусственного интеллекта. Случится это уже к концу текущего года.

Источник изображений: cerebras.net

Суперкомпьютер Condor Galaxy 1 отличают следующие технические характеристики:

• производительность 4 Эфлопс в операциях половинной точности (FP16), как раз необходимых для ИИ;
• 54 млн вычислительных ядер, оптимизированных под ИИ;
• 64 системы Cerebras CS-2;
• 82 Тбайт памяти для хранения параметром;
• поддержка 600 млрд параметров в базовой конфигурации с возможностью расширения до 100 трлн;
• внутренняя пропускная способность кластера 386 Тбит/с;
• 72 804 процессорных ядра AMD EPYC Gen 3;
• встроенная аппаратная поддержка обучения с последовательностью до 50 000 токенов без сторонних библиотек;
• модель параллельного программирования с линейным масштабированием производительности.

Компания Cerebras Systems известна благодаря своей платформе CS-2 на базе гигантских чипов Wafer-Scale Engine 2 (WSE-2) с 2,6 трлн транзисторов — такой чип производится из целой кремниевой пластины и содержит 850 тыс. тензорных ИИ-ядер. На первом этапе Condor Galaxy 1 получит 32 системы Cerebras CS-2, которые обеспечат ему производительность в 2 Эфлопс, а к концу текущего года их число удвоится, как и производительность суперкомпьютера, которая вырастет до 4 Эфлопс (второй этап).

На этом в Cerebras Systems решили не останавливаться: далее запланировано создание суперкомпьютеров CG-2 и CG-3, которые на третьем этапе в первой половине 2024 года будут объединены в первую распределенную сеть суперкомпьютеров на базе 192 систем CS-2 общей производительностью 12 Эфлопс. Наконец, на четвёртом этапе к этой сети подключат ещё шесть суперкомпьютеров, обеспечив таким образом совместную работу 576 систем CS-2 и 36 Эфлопс.

В компании подчеркнули, что кластеры Wafer-Scale изначально предназначены для работы в качестве единого ускорителя. Единый блок памяти CG-1 объёмом 82 Тбайт позволяет размещать даже самые большие ИИ-модели непосредственно в памяти без необходимости в дополнительных программных решениях. Иными словами, в инфраструктуре Cerebras модели с 1 млрд и 100 млрд параметров работают на базе единого кода с поддержкой длинных последовательностей в 50 000 токенов.

В результате стандартная реализация GPT на CG-1 потребует всего 1200 строк кода — в 30 раз меньше существующих аналогов. А масштабирование системы производится при помощи выделения кратного объёма ресурсов в простой линейной зависимости. То есть модель с 40 млрд параметров обучается в 40 раз дольше модели с 1 млрд параметров при тех же ресурсах — или за то же время, если увеличить объёмы ресурсов в 40 раз.

Tesla сообщила о запуске производства суперкомпьютера собственной разработки Dojo, предназначенного для обучения систем автопилота. Компания собирается потратить на проект $1 млрд. Компания рассчитывает уже к октябрю следующего года преодолеть барьер в 100 Эфлопс производительности — это более чем в 60 раз мощнее самого мощного суперкомпьютера на сегодняшний день.

Источник изображения: Tesla

В финансовом отчёте Tesla по результатам II квартала 2023 года говорится: «Для решения проблемы автономных транспортных средств необходимы четыре основных технологических столпа: чрезвычайно большой набор данных из реального мира, обучение нейросети, аппаратное и программное обеспечение для транспортных средств. Мы разрабатываем каждый из этих столпов силами компании. В этом месяце мы сделаем шаг к более быстрому и дешёвому обучению нейросети с запуском производства нашего обучающего компьютера Dojo».

В распоряжении компании уже есть суперкомпьютер на базе ускорителей NVIDIA, один из самых больших в мире, но в суперкомпьютере Dojo используются чипы, разработанные инженерами Tesla. Проект был анонсирован в 2019 году — тогда же глава компании сообщил, как будет назваться система.

В 2021 году Илон Маск (Elon Musk) рассказал, что работа над суперкомпьютером идёт полным ходом, а год спустя раскрыл технические характеристики Dojo: основу платформы составляют «системы-на-пластине» (System-On-Wafer) — чип представляет собой целую 300-мм кремниевую пластину. Сама Tesla называет их Training Tile. Каждая пластина включает 25 ускорителей D1, и потребляет 15 кВт энергии.

Одна стойка с шестью такими пластинами будет обеспечивать производительность в 100 Пфлопс, и получается, что всего десяток стоек обеспечит производительность в 1 Эфлопс, то есть 1 квинтильон операций на числах с плавающей запятой в секунду. Tesla планирует к октябрю 2024 года достичь производительности в 100 Эфлопс для всех своих систем вместе взятых. Для сравнения, самый мощный суперкомпьютер на текущий момент — Frontier — обладает пиковой вычислительной мощностью в 1,679 Эфлопс.

«Наше стремление быть на острие разработки ИИ помогло открыть новую главу с началом производства обучающих компьютеров Dojo. Надеемся, что наши огромные потребности в обучении нейросетей будут удовлетворены оборудованием Dojo собственной разработки. Чем выше способность нейросети к обучению, тем больше возможностей для внедрения новых решений нашим подразделением Autopilot», — добавили в Tesla.

Компания Tesla недавно объявила о прогрессе в разработке специальной суперкомпьютерной платформы Tesla Dojo, построенной на чипах собственной разработки автопроизводителя. Производство суперкомпьютера начнётся в июле 2023 года, ожидается, что в 2024 году Dojo войдёт в пятёрку самых передовых вычислительных систем мира.

Источник изображения: Tesla

Создание собственного суперкомпьютера — это ещё один важный шаг Tesla в области ИИ. Хотя ускорители NVIDIA A100 и H100 доминируют в области ИИ на данном этапе, собственные чипы Tesla для обучения ИИ и логических выводов могут существенно снизить зависимость компании от традиционных производителей таких полупроводниковых компонентов.

Старт разработке суперкомпьютера Dojo, предназначенного для машинного обучения ИИ, был дан на AI Day 2021. Dojo основан исключительно на разработанных Tesla чипах и инфраструктуре, а для обучения нейронной сети использует видеоданные внушительного парка автомобилей Tesla. Развитие машинного зрения Tesla имеет ключевое значение для технологии автономного вождения. Вычислительные мощности будущего суперкомпьютера также будут использованы для дальнейшего развития проекта человекообразного робота Tesla Optimus.

В архитектуре Tesla Dojo применяются «системы-на-пластине» (System-On-Wafer), то есть чип представляет собой целую кремниевую пластину (Training Tile в терминологии Tesla). Каждая пластина вмещает 25 ускорителей D1 и 40 модулей ввода-вывода. На пластине также размещены подсистемы питания и охлаждения. Представители Tesla утверждают, что одна «система-на-пластине» заменяет шесть блоков графических процессоров и при этом обходится дешевле.

Хотя система Dojo может не принять окончательную форму до 2024 года, Илон Маск (Elon Musk) доволен работой своей команды ИИ, заявляя, что достижения Tesla в области искусственного интеллекта, как в программном, так и в аппаратном обеспечении, выходят далеко за рамки того, что некоторые эксперты даже осознавали.

Программное обеспечение является ключом к автономному вождению, и Tesla уже использует большой суперкомпьютер с графическими процессорами NVIDIA для обработки данных системы автономного вождения FSD, один из самых мощных в мире суперкомпьютерных кластеров.

Главный инженер Tesla Тим Заман (Tim Zaman) сообщил общественности, что вычислительный кластер Tesla в настоящее время загружен на 99,7 %, причём 84 % машинного времени тратится на высокоприоритетные задачи. Компания остро нуждается в дополнительных вычислительных ресурсах, и суперкомпьютер Dojo сможет кардинально улучшить ситуацию.

Microsoft конкретизировала свои планы по созданию собственного квантового компьютера с использованием топологических кубитов — над этим решением компания работает уже несколько лет. Согласно дорожной карте, предстоит преодолеть ещё множество промежуточных этапов, но, как заявила вице-президент Microsoft по квантовым разработкам Криста Своре (Krysta Svore), создание суперкомпьютера, способного выполнять миллион квантовых операций в секунду, займёт менее десяти лет.

Источник изображения: efes / pixabay.com

В прошлом году Microsoft объявила о крупном прорыве, когда её разработчики нашли способ создавать кубиты на основе фермионов Майораны — они чрезвычайно стабильны, но и получать их тоже чрезвычайно сложно. Корпорация делала ставку на это направление с самого начала, и спустя год после первого ощутимого успеха инженеры Microsoft опубликовали статью в рецензируемом журнале, в которой заявили, что преодолели первый этап на пути к созданию квантового суперкомпьютера. Исследователи привели намного больше данных, чем год назад, когда впервые рассказали о своей работе.

Сегодня в распоряжении Microsoft есть квантовые машины среднего масштаба — они пока недостаточно надёжны, чтобы сделать нечто практичное, поэтому на следующем этапе будет необходимо обеспечить точность вычислений. Исследователи планируют получить систему, способную выполнять миллион надёжных квантовых операций в секунду при одном отказе на триллион операций. Кубиты размером менее 10 мкм каждый получат аппаратную защиту. После этого будет проработан механизм их запутывания и управления.

В работе компании поможет её новая платформа Azure Quantum Elements, которая ускорит научную работу за счёт объединения высокопроизводительных традиционных вычислений, алгоритмов искусственного интеллекта и квантовых вычислений. Новым вспомогательным инструментом для учёных и студентов также станет ИИ-модель Copilot для Azure Quantum, предназначенная для квантовых расчётов и симуляций.

На открытии выставки Computex в Тайване главный исполнительный директор NVIDIA Corp. Дженсен Хуанг (Jensen Huang) сделал ряд программных анонсов, в том числе он раскрыл подробности о следующем суперкомпьютере компании DGX GH200. Ожидается, что он будет доступен уже в конце текущего года.

Источник изображения: NVIDIA

Множество представленных продуктов NVIDIA включает в себя новую систему быстрой разработки роботов Isaac AMR, сервис NVIDIA ACE, который позволит сделать неигровых персонажей (NPC) в играх умнее, а также рекламные услуги и сетевые технологии. Однако, самым крупным анонсом стал суперкомпьютер для работы с ИИ — DGX GH200, который поможет технологическим компаниям создавать преемников ChatGPT.

NVIDIA утверждает, что разработала суперкомпьютер, который может встать в один ряд с самой мощной на данный момент вычислительной системой на планете. DGX GH200 использует новую платформу NVLink Switch System, позволяющую 256 суперчипам GH200 Grace Hopper работать как единый GPU (каждый из таких суперчипов объединяет 72-ядерный CPU Grace на базе Arm, GPU класса H100, 96 Гбайт HBM3 и 512 Гбайт LPDDR5X-памяти). Это, по словам NVIDIA, позволит DGX GH200 развить производительность в 1 экзафлоп и иметь 144 терабайта общей памяти. Компания утверждает, что это почти в 500 раз больше, чем в суперкомпьютерном решении прошлого поколения, DGX A100.

Для сравнения, в последнем рейтинге суперкомпьютеров Top500 единственной известной экзафлопсной системой назван Frontier, который достиг производительности почти 1,2 экзафлопса в бенчмарке Linmark. Это более чем в два раза превышает пиковую производительность системы Fugaku из Японии, занявшей второе место.

Крупные компании, занятые разработкой ИИ, уже проявили заинтересованность в DGX GH200. Google, Meta✴ и Microsoft должны стать одними из первых пользователей, которые получат доступ к суперкомпьютерам, чтобы проверить, как он справляется с нагрузками генеративного ИИ. NVIDIA утверждает, что суперкомпьютеры DGX GH200 станут серийным продуктом и будут доступны для заказчиков уже в конце 2023 года. Суперчипы GH200 Grace Hopper уже отправлены в серийное производство.

Стоимость DGX GH200 для заказчиков названа не была, но можно предположить, что речь будет идти о восьмизначных суммах. Сам же суперкомпьютер при этом будет занимать 24 серверные стойки.

Шквал анонсов подчёркивает перерождение NVIDIA из простого производителя графических чипов в компанию, находящуюся в центре бума ИИ. На прошлой неделе Дженсен Хуанг дал ошеломляющий прогноз продаж на текущий квартал — почти на $4 млрд выше оценок аналитиков — благодаря спросу на чипы для центров обработки данных, выполняющие задачи ИИ. Это привело к рекордному росту акций и поставило NVIDIA на грань оценки в 1 триллион долларов — впервые в индустрии чипов.

Компания NVIDIA сделала себе имя в сегменте высокопроизводительных вычислений преимущественно за счёт ускорителей на базе графических процессоров. Это не мешает ей расширять ассортимент предложений для сегмента суперкомпьютеров за счёт центральных процессоров собственной разработки. Именно на их основе будет построен суперкомпьютер Isambard 3, который может войти в тройку самых энергоэффективных в мире.

Источник изображения: NVIDIA

Правда, как следует оговориться, выборка сделана среди суперкомпьютерных систем, не использующих ускорители вычислений на основе графических процессоров. По словам представителей NVIDIA, собираемый для Бристольского университета при участии Hewlett Packard Enterprise и других партнёров суперкомпьютер будет обходиться всего 270 кВт потребляемой мощности при пиковой производительности вычислений с точностью FP64 на уровне 2,7 Пфлопс. Это сделает его в шесть раз более эффективным по соотношению быстродействия и потребляемой мощности по сравнению с предшественником — Isambard 2. Подобное сочетание характеристик позволит Isambard 3 войти в тройку наиболее энергоэффективных суперкомпьютеров мира, не использующих специализированные ускорители.

Система Isambard 3 будет введена в строй весной следующего года, и позволит учёным Бристольского университета в Великобритании проектировать сложные энергетические установки, анализировать данные метеорологических исследований и заниматься поиском лекарственных средств, которые помогут в борьбе с болезнью Паркинсона, остеопорозом и коронавирусом COVID-19. В основе суперкомпьютера будут лежать 384 центральных процессора NVIDIA Grace с Arm-совместимой архитектурой. Напомним, что данные чипы способны предложить до 144 ядер (на двух кристаллах).

На конференции Google I/O компания Google анонсировала облачный ИИ-суперкомпьютер Compute Engine A3, который сможет предложить клиентам компании до 26 000 ускорителей вычислений NVIDIA H100. Это ещё одно доказательство того, насколько большое значение Google придаёт конкурентной битве с Microsoft за первенство в области ИИ. Что интересно, самый быстрый в мире на сегодняшний день общедоступный суперкомпьютер Frontier оснащён 37 000 ускорителями AMD Instinct 250X.

Источник изображения: NVIDIA

«Для наших клиентов мы можем предоставить суперкомпьютеры A3 до 26 000 GPU в одном кластере и работаем над созданием нескольких кластеров в крупнейших регионах», — заявила представитель Google, добавив, что «не все наши местоположения будут масштабироваться до такого большого размера». Таким образом любой облачный клиент Google может получить в своё распоряжение заточенный под ИИ суперкомпьютер с числом ускорителей вычислений до 26 000.

Клиенты Google Cloud смогут тренировать и запускать приложения ИИ через виртуальные машины A3 и использовать службы разработки и управления ИИ Google, доступные через Vertex AI, Google Kubernetes Engine и Google Compute Engine. Виртуальные машины A3 основаны на чипах Intel Xeon четвёртого поколения (Sapphire Rapids), которые работают в связке с ускорителями H100. Пока не ясно, будут ли виртуальные CPU поддерживать ускорители логических выводов, встроенные в чипы Sapphire Rapids.

Google утверждает, что A3 обеспечивает производительность для задач ИИ до 26 экзафлопс, что значительно сокращает время и затраты на обучение ИИ. Необходимо учитывать, что компания указывает производительность вычислений в специализированном формате для обучения ИИ TF32 Tensor Core с одинарной точностью, что демонстрирует производительность примерно в 30 раз выше, чем математика с плавающей запятой с двойной точностью FP64, которая используется в большинстве классических приложений.

Количество графических процессоров стало важной визитной карточкой облачных провайдеров для продвижения своих услуг в сфере ИИ. Суперкомпьютер Microsoft в Azure для ИИ, созданный в сотрудничестве с OpenAI, имеет 285 000 ядер CPU и 10 000 ускорителей на GPU. Microsoft также анонсировала свой суперкомпьютер для ИИ следующего поколения с ещё большим количеством графических процессоров. Облачный сервис Oracle предоставляет облачный доступ к кластерам, насчитывающим до 512 GPU и работает над новой технологией для повышения скорости обмена данными между ними.

Источник изображения: unsplash.com

Хотя Google продолжает рекламировать собственные чипы для искусственного интеллекта TPU v4, используемые для запуска внутренних приложений ИИ, таких как Google Bard, ускорители на GPU от NVIDIA стали де-факто стандартом для построения инфраструктуры ИИ. Инструментарий параллельного программирования NVIDIA CUDA обеспечивает самые быстрые результаты благодаря специализированным ядрам ИИ и графическим ядрам H100.

Облачные провайдеры осознали, что универсального подхода недостаточно — требуется инфраструктура, специально созданная для обучения ИИ. Поэтому в настоящее время происходит массовое развёртывание систем на базе ускорителей H100, а NVIDIA в марте запустила собственный облачный сервис DGX, стоимость аренды которого значительно выше по сравнению с арендой систем на ускорителях A100 предыдущего поколения. Утверждается, что H100 на 30 % экономичнее и в 3 раза быстрее, чем NVIDIA A100, например, в обучении большой языковой модели MosaicGPT с семью миллиардами параметров.

A3 является первым облачным ИИ-суперкомпьютером, в котором GPU подключены через инфраструктурный процессор (IPU) Mount Evans, разработанный совместно Google и Intel. «В A3 используются IPU со скоростью 200 Гбит/с, передача данных от одного GPU к другому осуществляется в обход CPU через отдельные интерфейсы. Это позволяет увеличить пропускную способность сети до 10 раз по сравнению с нашими виртуальными машинами A2, с низкими задержками и высокой стабильностью пропускной способности», — утверждают представители Google.

Источник изображения: Pixabay

Суперкомпьютер A3 построен на основе сетевой структуры Jupiter, которая соединяет географически разнесённые кластеры CPU через оптоволоконные каналы связи. Одна виртуальная машина A3 включает восемь ускорителей H100, соединённых между собой с помощью запатентованной технологии NVIDIA. Ускорители будут подключены через коммутаторы NVSwitch и использовать NVLink со скоростью обмена данными до 3,6 Тбит/с.

Аналогичную скорость скоро готова будет предложить Microsoft на своём ИИ-суперкомпьютере, построенном на тех же технологиях NVIDIA. При этом суперкомпьютер от Microsoft может похвастаться сетевыми возможностями от производителя чипов Quantum-2 со скоростью до 400 Гбит/с. Количество ускорителей вычислений H100 в своём ИИ-суперкомпьютере следующего поколения Microsoft пока держит в секрете. Но вряд ли оно окажется меньше, чем у главного конкурента.

На днях эксперты и представители китайских университетов, исследовательских институтов и компаний, занимающихся передовыми вычислениями, приняли участие в конференции в Тяньцзине, посвящённой созданию в Китае «суперкомпьютерного интернета». Сеть будет объединять свыше 15 суперкомпьютерных платформ, обеспечивая одновременный доступ к нескольким из них через «браузер». Ресурс будет доступен для решения отраслевых задач от фармакологии до космоса.

Источник изображения: Pixabay

Согласно открытым источникам, например списку TOP-500 самых производительных суперкомпьютеров мира, Китай уверенно лидирует по числу самых мощных суперсистем, хотя с прошлого года перестал предоставлять информацию о самых быстрых машинах. Тем не менее, в ноябрьском обновлении списка было 162 китайских суперкомпьютера и только 126 американских. Несмотря на явное преимущество, Китай отстаёт в практическом применении суперкомпьютерных платформ. Была информация, что мощности часто простаивают и создаются просто потому, что это обещало субсидии от государства.

В то же время избыток вычислительных мощностей в одном месте не означает, что они не востребованы в другом. Но передать такой ресурс куда-то далеко так просто нельзя. Для этого нужны очень и очень широкие каналы связи и программная поддержка. Именно этим и многим другим, включая подготовку кадров, намерена заняться группа, целью которой станет создание в Китае интернета для суперкомпьютеров. Ожидается, что проект начнёт работать к концу 2025 года.

Распределённый вычислительный ресурс будет предоставляться для отраслевых пользователей от разработчиков новых лекарств до финансов, искусственного интеллекта, прогнозирования погоды и обслуживания космических программ, но всё это, в конечном итоге, приведёт к повышению качества жизни простых граждан, путь даже им никогда не позволят войти в этот интернет.

Добавим, в Китае над рядом похожих пилотных проектов уже работает компания Huawei. Её опыт и оборудование могут лечь в основу будущего национального суперкомпьютерного интернета.

Google рассказала о суперкомпьютерах собственной разработки, которые она использует для обучения систем искусственного интеллекта вроде чат-бота Bard. По версии компании, эти системы быстрее и эффективнее, чем сопоставимые с ними ускорители NVIDIA A100.

Google TPU v4. Источник изображения: Google

Инженеры Google разработали собственный чип Tensor Processing Unit или TPU — такие чипы используются более чем в 90 % задач компании по обучению ИИ, в результате на свет появляются чат-боты, способные общаться почти как человек, и системы, генерирующие изображения. Сейчас компания работает с TPU уже четвёртого поколения — в опубликованной инженерами Google статье рассказывается о суперкомпьютере на базе более чем 4000 таких чипов и оптических линиях связи между компонентами системы.

Обучение большой языковой модели Google PaLM, крупнейшей из тех, о которых компания поведала общественности, производилось при помощи двух суперкомпьютеров на 4000 чипов в течение 50 дней. Суперкомпьютеры располагают механизмами перенастройки соединений между чипами на лету — это помогает избегать сбоев и повышает производительность.

Google только сейчас раскрыла подробности о разработанной её инженерами системе, но отметила, что впервые этот суперкомпьютер был запущен в 2020 году в центре обработки данных в округе Мейс (США, шт. Оклахома). Он, в частности, использовался для обучения ИИ Midjourney — эта нейросеть генерирует изображения по текстовому описанию. По версии Google, её чип TPU четвёртого поколения в 1,7 раза быстрее и в 1,9 раза энергоэффективнее вышедшего одновременно с ним на рынок ускорителя NVIDIA A100. С моделью H100 сравнение не производилось — она вышла на рынок позже, и в её основе лежат более современные технологии. Однако в компании намекнули, что, возможно, работают над новым TPU, способным конкурировать и с H100.

За прошедший год в мире зародилось множество проектов по созданию гибридных вычислительных систем, состоящих из связанных между собой квантовых компьютеров и классических суперкомпьютеров. Таким образом, квантовые системы начнут осваивать ниши практических вычислений задолго до появления универсального квантового вычислителя. Продвинутые в создании суперкомпьютеров японцы спешат воспользоваться этим преимуществом и создать рабочее решение к 2025 году.

Источник изображения: Riken Quantum Computing

Подключить к будущей квантовой системе в Японии планируют ни много ни мало, а систему с сильнейшим мировым уровнем, которая до 2022 года целых два года удерживала первое место в списке мощнейших суперсистем мира — это компьютер Fugaku совместной разработки и производства компании Fujitsu и Института физико-химических исследований RIKEN. Будущего квантового партнёра этой системы Fujitsu и RIKEN также будут создавать вместе, и первый его прототип построят в городе Вако префектуры Сайтамо (недалеко от Токио) уже к марту текущего года.

Ожидается, что суперкомпьютеры смогут частично смягчить такие «детские болезни» квантовых систем, как вероятностный характер вычислений (значительный уровень ошибок) и короткое время жизни квантовых состояний кубитов. Отметим, сегодня кубиты фактически подключаются к обычным компьютерам, которые устанавливают и считывают их состояния в процессе исполнения алгоритмов, поэтому ничего принципиально нового и сложного в гибридных квантово-классических вычислениях нет. Но и уровень сложности будущей задачи нельзя преуменьшать — согласованная работа в режиме расчётов потребует новых программных сред, инструментов и даже алгоритмов.

Для подготовки к будущей совместной работе Fugaku и пока безымянной квантовой системы институт RIKEN создаёт команду разработчиков, которая с 2023 года будет заниматься изучением различных методов и инструментов расчёта для облегчения передачи данных между квантовым компьютером и Fugaku. Запуск системы в работу ожидается в 2025 году. Вскоре после этого партнёры намерены довести гибридную систему до уровня «безошибочного» квантового компьютера. Компания Google, например, обещает создать исключительно квантовый вычислитель без ошибок к 2029 году. Японские инженеры намерены обогнать в этом Google за счёт гибридного подхода.

Исследователи, участвующие в программе Breakthrough Listen, предусматривающей поиск техногенных сигналов инопланетной жизни, получили новый мощный инструмент — выделенный проекту суперкомпьютер позволяет повысить интенсивность поиска и многократно увеличить число изучаемых целей. Новый инструмент интегрирован с крупнейшим в Южном полушарии радиотелескопом.

Источник изображения: South African Radio Astronomy Observatory

Радиотелескоп MeerKAT Южноафриканской радиоастрономической обсерватории расположен в отдалённом регионе Южной Африки и с 2016 года анализирует информацию о тысячах галактик. Его наблюдательная сеть включает 64 тарелки, без устали исследующих небо.

Breakthrough Listen уже ищет инопланетные сигналы с помощью телескопов Green Bank Telescope (GBT) и Automated Planet Finder в США, Parkes Telescope в Австралии, сканирующих космос в поисках внеземных сообщений. В четверг команда учёных объявила, что начались наблюдения с помощью «самого мощного цифрового инструмента», когда-либо использовавшегося для поиска сигналов и интегрированного с MeerKAT. Система способна помочь исследованиям даже без изменения положения самих антенн, вместо этого используется компьютерная обработка данных для «нового взгляда» на то, что уже видно.

По словам представителя Breakthrough Listen, MeerKAT, состоящий из 64 тарелок, может охватывать область, в 50 раз большую, чем американский телескоп GBT, а новый суперкомпьютер позволяет объединить сигналы с тарелок для получения результатов в высоком разрешении, без помех другим астрономам, пользующимся телескопом.

Это позволит команде Breakthrough Listen использовать возможности MeerKAT почти 24 часа в сутки и увеличивает число целей для изучения с его помощью, в 1000 раз. Среди исходных целей — ближайшая к Солнечной системе звезда Проксима Центавра, окружающие которую планеты могут быть потенциально обитаемыми.

Рутинные наблюдения Breakthrough Listen с использованием MeerKAT уже ведутся, и команда рассчитывает представить первые научные результаты в ближайшие месяцы.

Разработчик чипов NVIDIA и софтверный гигант Microsoft объявили о совместном проекте по разработке облачного суперкомпьютера, предназначенного для работы с алгоритмами искусственного интеллекта. Для реализации проекта компании используют свои самые передовые наработки.

Источник изображения: nvidia.com

В рамках предстоящего многолетнего сотрудничества будут задействованы облачная платформа Microsoft Azure, ускорители вычислений на базе графических процессоров NVIDIA A100 и H100, сетевые коммутаторы Quantum-2 InfiniBand, а также программная платформа NVIDIA AI Enterprise. Всё это позволит построить «первое общедоступное облако» для работы систем искусственного интеллекта.

В NVIDIA отметили, что облачная инфраструктура Microsoft Azure первой задействует платформу Quantum-2 InfiniBand для ускоренной обработки данных и моделирования. Мощные ускорители A100 и H100 будут использоваться для решения различных прикладных задач, включая такие области как наука и производство. Исследовательские организации и коммерческие предприятия при потребности в ресурсах для искусственного интеллекта смогут пользоваться виртуальными машинами Microsoft.

NVIDIA также заявила, что инфраструктура Azure получит возможность при помощи искусственного интеллекта генерировать различный контент: исполняемый код, текст, изображения и видео.

США усилили санкции против технологического сектора Китая, и в первую очередь ограничения коснутся поставок серверов, CPU и GPU, а также может сильно пострадать рынок памяти DRAM и NAND, сообщают аналитики TrendForce. Ограничения коснутся не только компаний в материковом Китае, но и находящихся в США поставщиков, из которых сильнее всех могут пострадать бизнесы, связанные с производством серверов.

Источник изображения: Florian Krumm/unsplash.com

Пока неизвестно, как скажутся ограничения на поставках серверных систем облачным провайдерам в Китае, поскольку непонятно, приравняют ли в США сервисы Baidu, ByteDance, Alibaba и Tencent к используемым для военных целей. Так или иначе, в краткосрочной перспективе провайдерам хватит запасов комплектующих, а в долгосрочной многое будет зависеть от готовности подписать обязательства не использовать купленное оборудование в военных целях и эволюции правил Министерства торговли США.

В TrendForce не исключают, что многие OEM-производители вроде Inspur, H3C и Lenovo попадут под более жёсткий контроль и, если напряжённость между США и Китаем вырастет, цепочка поставок в материковом Китае может серьёзно пострадать. Хотя о прямом запрете на поставки коммерческих серверов речь пока не идёт, не получившие одобрения со стороны США компании со временем могут попасть в чёрный список. В худшем случае ожидается «отрицательный рост» на китайском рынке серверов.

Поскольку новые санкции в основном связаны с рынком высокопроизводительных вычислений и искусственным интеллектом, а соответственно и со связанными с ними компаниями вроде Sugon, в перспективе по мере ужесточения санкций суперкомпьютерным технологиям Китая может быть нанесён серьёзный ущерб.

Санкции ударят по поставкам высокопроизводительных GPU, которые применяются в основном в HPC-вычислениях. Несмотря на ограничения, большие запасы китайских компаний позволяют ожидать, что негативного эффекта на китайскую индустрию можно не ожидать до 1 половины 2023 года, но в долгосрочной перспективе соответствующий рынок могут ожидать серьёзные проблемы и спад в десятки процентов. При этом под ограничения ещё раньше попали высокопроизводительные ускорители вроде NVIDIA A100 и AMD MI250.

Впрочем, производительность многих серверных CPU в целом ниже предела, установленного американским Министерством торговли, поэтому под санкции попадают только решения местной китайской разработки вроде Tianjin Haiguang, которые теперь нельзя будет производить на предприятиях в Тайване или Корее. Intel и AMD будет достаточно подписать меморандумы о взаимопонимании с клиентами, в соответствии с которыми те не будут использовать процессоры в военных целях или в суперкомпьютерах.

Источник изображения: Paul Hanaoka/unsplash.com

На рынке памяти Samsung и SK hynix уже приостановили поставки оперативной памяти китайской компании Sugon и, если последняя пообещает не использовать их в суперкомпьютерах и подобных системах, можно будет вернуться к сотрудничеству. То же касается и других китайских бизнесов, потенциально связанных с высокопроизводительными вычислениями, а наличие запасов позволяет не заботиться о снабжении в краткосрочной перспективе.

Что касается SSD, необходимых для систем ИИ и глубокого обучения, ограничения в данной сфере могут крайне негативно сказаться на китайских системах соответствующего назначения в случае ограничения поставок в Китай SSD корпоративного уровня.

Наконец, в секторе сетевого оборудования ожидаются малозначимые изменения, поскольку поставщиков подобного железа немало и в Китае, спрос на ключевые компоненты относительно невелик и в целом техпроцессы для производства подобного оборудования достаточно зрелые и освоены в самой стране. Кроме того, довольно трудно отследить, используется ли подобное оборудование в военных целях. В долгосрочной перспективе высока вероятность, что китайские производители серверов могут переключиться на продукцию местных поставщиков.

Новые технические экспортные ограничения были введены США в отношении Китая совсем недавно и пока неизвестно, как они скажутся на китайском бизнесе в реальности, особенно — связанном с высокопроизводительными вычислениями. Известно, что ещё не попавшие в чёрный список компании могут подавать заявки на поставки необходимых им компонентов при готовности к проверкам со стороны зарубежных контролирующих инстанций.

Самый мощный в мире суперкомпьютер Frontier, запуск которого состоялся в этом году, хоть и приступил к работе, но пока функционирует не на должном уровне, сообщил в интервью InsideHPC Джастин Уитт (Justin Whitt), директор программы Oak Ridge Leadership Computing Facility (OLCF).

Источник изображения: AMD

Frontier основан на 64-ядерных процессорах AMD EPYC Milan (2 ГГц) с ускорителями AMD Instinct MI250X и с использованием фирменного интерконнекта Slingshot 11-го поколения. По словам Уитта, именно с ускорителями AMD Instinct MI250X и интерконнектом Slingshot связаны проблемы оборудования Frontier.

«В основном это проблемы масштабирования в сочетании с разнообразием приложений, поэтому проблемы, с которыми мы сталкиваемся, в основном связаны с выполнением очень, очень больших заданий с использованием всей системы… и обеспечением согласованной работы всего оборудования», — утверждает Уитт. Он добавил, что проблема заключается не только в работе ускорителей, так как есть вопросы и к работе других компонентов.

Джастин Уитт считает, что подобные проблемы являются обычным делом при запуске столь сложной суперкомпьютерной системы, так что особой вины продуктов AMD в данных сбоях он не видит. По его словам, аналогичные проблемы наблюдались и при запуске других вычислительных систем.

Для работы многих приложений на оборудовании таких размеров требуется уникальная настройка. Из-за аппаратных проблем, которые возникли, в том числе, и по вине чипов AMD, сейчас наблюдается задержка с установкой операционной системы. Но специалисты Национальной лаборатории Ок-Ридж уверены, что все работы по отладке системы пройдут в намеченные сроки.