Решение Nvidia ежегодно выпускать новую архитектуру в сегменте ускорителей вычислений само по себе не является новостью, но когда о непреклонности следовать новому курсу заявляет сам основатель компании, это заслуживает отдельного упоминания. На этой неделе он заявил, что преемник Blackwell появится через год.

Источник изображения: Nvidia

До сих пор компания Nvidia, как поясняет The Verge, фактически выпускала новую вычислительную архитектуру раз в два года. Если Ampere дебютировала в 2020 году, то Hopper пришла ей на смену только в 2022 году, а Blackwell начнёт покорять рынок в конце 2024 года. На отчётном мероприятии Nvidia было сказано, что фактический выпуск чипов с архитектурой Blackwell уже осуществляется некоторое время, но в фазу поставок он перейдёт в текущем квартале, в третьем продолжит наращиваться, а клиенты получат соответствующие ускорители лишь в четвёртом квартале текущего года. «Мы получим большую выручку от реализации Blackwell в этом году», — заявил генеральный директор Nvidia Дженсен Хуанг (Jensen Huang).

Сторонние аналитики уже предполагали, что в следующем году Nvidia представит вычислительную архитектуру Rubin, а на недавнем квартальном мероприятии глава компании пояснил: «Могу заявить, что после Blackwell будет другой чип. Мы придерживаемся однолетнего ритма». Попутно будут синхронизированы с такой периодичностью и прочие анонсы Nvidia. По словам главы компании, будут выпускаться новые центральные процессоры, новые GPU, новые сетевые компоненты. В буквальном смысле, грядёт «гора новых чипов», как пояснил Дженсен Хуанг.

Решения на основе Blackwell, по словам генерального директора Nvidia, совместимы с системами для Hopper как электрически, так и механически. Это позволяет облегчить переход на новую аппаратную базу. В частности, с H100 можно будет перейти сначала на H200, которые начинают поставляться в этом квартале, а затем и на B100 (Blackwell), которые появятся позже. При этом существующее программное обеспечение на новых ускорителях Blackwell будет работать ещё эффективнее.

Глава Nvidia развеял опасения тех инвесторов, которые ожидали снижения спроса на ускорители поколения Hopper в преддверии начала поставок Blackwell. Предложение будет отставать от спроса до некоторого периода следующего года, как считает руководство, пока будет осуществляться переход на H200, а потом и на Blackwell. Клиенты закупают ускорители H100 десятками тысяч штук, сейчас архитектура Hopper обеспечивает основную часть роста выручки Nvidia в сегменте ускорителей вычислений. Спрос на Hopper продолжает увеличиваться и сейчас, по словам руководства компании.

В ожидании квартального отчёта Nvidia акции компании вчера всё же успели обновить исторический максимум, но издание Financial Times подтвердило опасения некоторых из инвесторов, которые ожидали, что клиенты компании могут воздержаться от покупки ускорителей поколения Hopper из-за стремления купить более производительные ускорители Blackwell, когда те появятся на рынке. По крайней мере, подобным образом решила поступить Amazon.

Источник изображения: Nvidia

Речь, как можно догадаться, идёт о подразделении AWS, которое занимается предоставлением облачных услуг сторонним клиентам Amazon. Как стало известно Financial Times, американский гигант принял решение воздержаться от дальнейшей закупки ускорителей серии Grace Hopper ради возможности купить более производительные Grace Blackwell после того, как те появятся на рынке. По меркам Amazon, разрыв по времени между выходами ускорителей этих двух поколений не был таким большим, чтобы имелся смысл покупать именно Grace Hopper.

Подчеркнём, что Grace Hopper (GH200) является только одной из разновидностей ускорителей вычислений Nvidia, которая сочетает графические и центральные процессоры на одной печатной плате, и Amazon по-прежнему готова покупать ускорители серии H100 поколения Hopper, которые лишены центральных процессоров Grace. Преемником GH200 является GB200, сочетающий пару «графических» процессоров B100 с центральным процессором Grace. По предварительным оценкам HSBC, каждый ускоритель GB200 будет стоить около $70 000, а готовая серверная система на их основе потянет на все $3 млн.

Недавно появилась информация, что сроки ожидания заказанных клиентам ускорителей вычислений Nvidia сокращаются. Это говорит о приближении спроса и предложения к состоянию равновесия. Впрочем, в свете откровений о планах Amazon движение к этому состоянию может наблюдаться не только благодаря увеличению поставок, но и за счёт снижения спроса. Кстати, аналитики Morgan Stanley убеждены, что существенной просадки в спросе на ускорители поколения Hopper не возникнет, поскольку даже если от их закупок откажутся крупные облачные провайдеры, имеющиеся объёмы будут перераспределены между корпоративными клиентами и представителями государственных структур, заинтересованных в закупках.

Если технические характеристики многих основанных на архитектуре Blackwell вычислительных решений были раскрыты Nvidia на конференции GTC 2024 в начале недели, то о сроках начала их поставок и примерной стоимости компания в целом не распространялась. В интервью телеканалу CNBC глава Nvidia признался, что непосредственно графический процессор Blackwell B200 оценивается в диапазоне от $30 000 до $40 000.

Источник изображения: Nvidia

Как поясняет источник, подобное позиционирование не слишком отличает Blackwell от предшественника Hopper, который оценивается в сумму от $25 000 до $40 000 за чип. Когда компания выводила на рынок H100, он оказался существенно дороже предшественника A100. Сейчас подобного прироста наблюдаться не будет, если опираться на заявления Дженсена Хуанга (Jensen Huang) в интервью CNBC. Он также заявил, что компания потратила около $10 млрд на разработку чипов семейства Blackwell и их интеграцию в вычислительную инфраструктуру.

Если судить по услышанным Bloomberg заявлениям Хуанга, которые он сделал на выступлении перед аналитиками в рамках GTC 2024, компания Nvidia оценивает ёмкость рынка серверных компонентов в $250 млрд в год на текущем уровне его развития. Из этой суммы основная часть придётся на закупки компонентов для систем искусственного интеллекта, и сама Nvidia рассчитывает на существенную долю этих средств. Финансовый директор компании Колетт Кресс (Colette Kress) скупо отметила, что поставки ускорителей поколения Blackwell начнутся до конца текущего года. Хотя Nvidia лучше подготовилась к высокому спросу на эти компоненты, дефицита избежать всё равно не удастся, по её мнению.

Компания Nvidia в рамках конференции GTC 2024 представила ИИ-ускорители следующего поколения на графических процессорах с архитектурой Blackwell. По словам производителя, грядущие ИИ-ускорители позволят создавать ещё более крупные нейросети, в том числе работать с большими языковыми моделями (LLM) с триллионами параметров, и при этом будут до 25 раз энергоэффективнее и экономичнее в сравнении с Hopper.

Источник изображений: Nvidia

Архитектура GPU Blackwell получила название в честь американского математика Дэвида Блэквелла (David Harold Blackwell) и включает в себя целый ряд инновационных технологий для ускорения вычислений, которые помогут совершить прорыв в обработке данных, инженерном моделировании, автоматизации проектирования электроники, компьютерном проектировании лекарств, квантовых вычислениях и генеративном ИИ. Причём на последнем в Nvidia делают особый акцент: «Генеративный ИИ — это определяющая технология нашего времени. Графические процессоры Blackwell — это двигатель для новой промышленной революции», — подчеркнул глава Nvidia Дженсен Хуанг (Jensen Huang) в рамках презентации.

Графический процессор Nvidia B200 производитель без лишней скромности называет самым мощным чипом в мире. В вычислениях FP4 и FP8 новый GPU обеспечивает производительность до 20 и 10 Пфлопс соответственно. Новый GPU состоит из двух кристаллов, которые произведены по специальной версии 4-нм техпроцесса TSMC 4NP и объединены 2,5D-упаковкой CoWoS-L. Это первый GPU компании Nvidia с чиплетной компоновкой. Чипы соединены шиной NV-HBI с пропускной способностью 10 Тбайт/с и работают как единый GPU. Всего новинка насчитывает 208 млрд транзисторов.

Один из кристаллов Blackwell — в GPU таких кристаллов два

По сторонам от кристаллов GPU расположились восемь стеков памяти HBM3E общим объёмом 192 Гбайт. Её пропускная способность достигает 8 Тбайт/с. А для объединения нескольких ускорителей Blackwell в одной системе новый GPU получил поддержку интерфейса NVLink пятого поколения, которая обеспечивает пропускную способность до 1,8 Тбайт/с в обоих направлениях. С помощью данного интерфейса (коммутатор NVSwitch 7.2T) в одну связку можно объединить до 576 GPU.

Одними из главных источников более высокой производительности B200 стали новые тензорные ядра и второе поколение механизма Transformer Engine. Последний научился более тонко подбирать необходимую точность вычислений для тех или иных задач, что влияет и на скорость обучения и работы нейросетей, и на максимальный объём поддерживаемых LLM. Теперь Nvidia предлагает тренировку ИИ в формате FP8, а для запуска обученных нейросетей хватит и FP4. Но отметим, что Blackwell поддерживает работу с самыми разными форматами, включая FP4, FP6, FP8, INT8, BF16, FP16, TF32 и FP64. И во всех случаях кроме последнего есть поддержка разреженных вычислений.

Флагманским ускорителем на новой архитектуре станет Nvidia Grace Blackwell Superchip, в котором сочетается пара графических процессоров B200 и центральный Arm-процессор Nvidia Grace с 72 ядрами Neoverse V2. Данный ускоритель шириной в половину серверной стойки обладает TDP до 2,7 кВт. Производительность в операциях FP4 достигает 40 Пфлопс, тогда как в операциях FP8/FP6/INT8 новый GB200 способен обеспечить 10 Пфлопс.

Как отмечает сама Nvidia, новинка обеспечивает 30-кратный прирост производительности по сравнению с Nvidia H100 для рабочих нагрузок, связанных с большими языковыми моделями, а она до 25 раз более экономична и энергетически эффективна.

Ещё Nvidia представила систему GB200 NVL72 — фактически это серверная стойка, которая объединяет в себе 36 Grace Blackwell Superchip и пару коммутаторов NVSwitch 7.2T. Таким образом данная система включает в себя 72 графических процессора B200 Blackwell и 36 центральных процессоров Grace, соединенных NVLink пятого поколения. На систему приходится 13,5 Тбайт памяти HBM3E с общей пропускной способностью до 576 Тбайт/с, а общий объём оперативной памяти достигает 30 Тбайт.

Платформа GB200 NVL72 работает как единый GPU с ИИ-производительностью 1,4 эксафлопс (FP4) и 720 Пфлопс (FP8). Эта система станет строительным блоком для новейшего суперкомпьютера Nvidia DGX SuperPOD.

На переднем плане HGX-система с восемью Blackwell. На заднем — суперчип GB200

Наконец, Nvidia представила серверные системы HGX B100, HGX B200 и DGX B200. Все они предлагают по восемь ускорителей Blackwell, связанных между собой NVLink 5. Системы HGX B100 и HGX B200 не имеют собственного CPU, а между собой различаются только энергопотреблением и как следствие мощностью. HGX B100 ограничен TDP в 700 Вт и обеспечивает производительность до 112 и 56 Пфлопс в операциях FP4 и FP8/FP6/INT8 соответственно. В свою очередь, HGX B200 имеет TDP в 1000 Вт и предлагает до 144 и 72 Пфлопс в операциях FP4 и FP8/FP6/INT8 соответственно.

Наконец, DGX B200 копирует HGX B200 в плане производительности, но является полностью готовой системой с парой центральных процессоров Intel Xeon Emerald Rapids. По словам Nvidia, DGX B200 до 15 раз быстрее в задачах запуска уже обученных «триллионных» моделей по сравнению с предшественником.

Для создания наиболее масштабных ИИ-систем, включающих от 10 тыс. до 100 тыс. ускорителей GB200 в рамках одного дата-центра, компания Nvidia предлагает объединять их в кластеры с помощью сетевых интерфейсов Nvidia Quantum-X800 InfiniBand и Spectrum-X800 Ethernet. Они также были анонсированы сегодня и обеспечат передовые сетевые возможности со скоростью до 800 Гбит/с.

Свои системы на базе Nvidia B200 в скором времени представят многие производители, включая Aivres, ASRock Rack, ASUS, Eviden, Foxconn, GIGABYTE, Inventec, Pegatron, QCT, Wistron, Wiwynn и ZT Systems. Также Nvidia GB200 в составе платформы Nvidia DGX Cloud, а позже в этом году решения на этом суперчипе станут доступны у крупнейших облачных провайдеров, включая AWS, Google Cloud и Oracle Cloud.

ИИ-ускорителей NVIDIA H100 на микроархитектуре Hopper, используемых в сегментах искусственного интеллекта и высокопроизводительных вычислений, на всех не хватает из-за огромного уровня спроса. Тем временем, компания NVIDIA уже готовит клиентов к тому, что продукция следующего поколения Blackwell тоже будет в дефиците.

Источник изображения: BoliviaInteligente / unsplash.com

«Ожидаем, что предложение наших продуктов следующего поколения будет ограниченным, поскольку спрос превышает предложение», — заявила в беседе с инвесторами финансовый директор NVIDIA Колетт Кресс (Colette Kress). Ускорители нового поколения NVIDIA B100 на архитектуре Blackwell, как ожидается, значительно превзойдут по производительности и эффективности актуальные решения на базе Hopper в задачах, связанных с ИИ. Учитывая огромный спрос на высокопроизводительные ИИ-ускорители на рынке, вероятно, что существующие клиенты NVIDIA уже сделали предварительные заказы на продукты серии Blackwell.

Вопрос в том, насколько быстро компания сможет нарастить выпуск SXM-модулей и PCIe-карт B100, а также серверов DGX на их базе — это совершенно новые продукты, в которых применяются совершенно новые компоненты. По неподтвержденной информации, Blackwell станет первой архитектурой NVIDIA с чиплетной компоновкой. С одной стороны, это поможет упростить производство графики Blackwell на уровне кремния, поскольку максимизировать выход годных чипов меньшего размера проще; с другой, чиплетные компоненты сложнее в упаковке.

В дополнение к флагманскому B100 компания NVIDIA готовит его спецверсию B40 для корпоративных клиентов и учебных заведений, модель GB200 с графическим процессором B100 и Arm-процессором Grace, а также GB200 NVL для обучения больших языковых моделей. В ноябре NVIDIA представила ускоритель H200 — на архитектуре Hopper, но с увеличенными пропускной способностью и объёмом памяти — и сейчас наращивает его производство. Но полностью удовлетворить спрос на новый продукт компания пока не может.