Компания TSMC на конференции European Technology Symposium 2024 поделилась свежими деталями о ходе разработки чипов-оснований для высокопроизводительной памяти HBM4. Одной из ключевых особенностей новой технологии памяти станет переход с 1024-битного на 2048-битный интерфейс. Однако реализация этого потребует применения более передовых технологий упаковки, по сравнению с теми, что используются сейчас для производства и интеграции памяти HBM.

Источник изображения: TSMC

В рамках своей презентации TSMC поделилась свежими деталями о чипах, которые лягут в основание стеков памяти HBM4. Компания собирается использовать для выпуска базовых чипов сразу два своих техпроцесса — N12FFC+ (12 нм) и N5 (5 нм). Каждый обладает своими достоинствами, но оба будут служить одной цели — интеграции высокоскоростной памяти HBM четвёртого поколения в состав будущих ИИ- и HPC-процессоров.

«Мы сотрудничаем с ключевыми партнёрами в разработке HBM-памяти (Micron, Samsung, SK Hynix) над передовыми узлами для полной интеграции стека HBM4. Базовый кристалл на основе экономичного техпроцесса N12FFC+ обеспечит прирост производительности HBM4, а базовый кристалл на основе N5 позволит размещать больше логических компонентов на чипе и снизить энергопотребление памяти», — отмечает компания.

Базовый кристалл памяти HBM4, изготовленный по технологии TSMC N12FFC+ (12-нм FinFet Compact Plus), будет использоваться для установки стеков памяти HBM4 на кремниевый переходник рядом с SoC. В TSMC отмечают, что N12FFC+ позволяет создавать стеки памяти в конфигурациях 12-Hi (двенадцать ярусов, 48 Гбайт) и 16-Hi (шестнадцать ярусов, 64 Гбайт) с пропускной способностью каждого стека более 2 Тбайт/с.

Базовые кристаллы HBM4 на техпроцессе N12FFC+ будут применяться для производства «систем в корпусе» (system-in-package, SiP) с использованием передовых технологий упаковки TSMC CoWoS-L или CoWoS-R. По данным TSMC, в настоящее время HBM4 может достигать скорости передачи данных до 6 ГТ/с при токе 14 мА.

«Мы также оптимизируем свои технологии упаковки CoWoS-L и CoWoS-R для HBM4. Они подразумевают использование более восьми уровней интерконнекта, чтобы обеспечить маршрутизацию более чем 2000 соединений в составе HBM4 с должной целостностью сигнала», — сообщила TSMC

Компания TSMC сотрудничает с EDA-партнёрами Cadence, Synopsys и Ansys над вопросами обеспечения целостности передачи сигналов, тепловой точности и снижения электромагнитных помех (EMI) в новых базовых кристаллах HBM4.

В качестве более продвинутой альтернативы TSMC сможет предложить для своих клиентов техпроцесс N5 для производства оснований для стеков памяти HBM4. Этот узел позволит размещать в составе стека HBM4 ещё больше логических компонентов, снизить энергопотребление памяти и ещё сильнее повысить её производительность. Но, возможно, самым важным преимуществом N5 является то, что он позволяет добиться очень малого шага межсоединений в составе HBM4, порядка 6–9 микрон. В свою очередь это позволит интегрировать кристаллы памяти HBM4 прямо поверх логических микросхем. Это должно увеличить производительность и пропускную способность памяти, что окажется полезным при производстве ИИ-чипов.

Новейшая HBM3E относится к пятому поколению памяти HBM, а ведущий поставщик в лице SK hynix уже сейчас рассматривает возможность вывода на рынок памяти седьмого поколения HBM4E к 2026 году. Это на год быстрее, чем планировалось ранее, а в дальнейшем шаг между выходами поколений HBM будет сокращён с двух лет до одного года.

Источник изображения: SK hynix

По крайней мере, об этом сообщает ресурс The Elec со ссылкой на собственные источники, знакомые с планами компании. Первоначально SK hynix в 2026 году рассчитывала вывести на рынок только шестое поколение памяти (HBM4), а седьмое представить не ранее 2027 года. Теперь выход на рынок HBM4E решено ускорить на год. SK hynix будет выпускать микросхемы HBM4E с использованием техпроцесса 10-нм класса, плотность каждой достигнет 32 Гбит.

Правда, пока у специалистов SK hynix даже нет уверенности, какой высоты будут стеки памяти HBM4E, и какие технологии будут использоваться для формирования вертикальных межслойных соединений. По некоторым данным, HBM4E сможет увеличить скорость передачи информации на 40 % по сравнению c HBM4, а вот от намерений по внедрению гибридных связей при выпуске памяти последнего типа SK hynix вынуждена отказаться, хотя в прошлом году о соответствующих намерениях заявляла.

Конкурирующая Samsung Electronics намеревается освоить массовый выпуск HBM4 в 2026 году, поэтому нельзя исключать, что активность SK hynix на этом направлении заставит корейского гиганта ускориться. Как считают отдельные источники, являясь крупнейшим потребителем памяти HBM, компания Nvidia буквально сталкивает лбами её производителей в надежде получить более выгодные для себя условия закупок.

В конце этой рабочей недели южнокорейская компания SK hynix сообщила о подписании меморандума о взаимопонимании с тайваньской компанией TSMC в сфере сотрудничества в рамках производства памяти HBM следующего поколения, коей является HBM4. Корейская компания освоит её массовое производство в 2026 году, и это позволит ей сохранить лидерские позиции на этом рынке.

Источник изображения: SK hynix

По данным TrendForce, в этом году SK hynix сможет сохранить за собой 52,5 % рынка микросхем типа HBM, ещё 42,4 % достанутся Samsung Electronics, а Micron Technology будет довольствоваться оставшимися 5,1 %. В настоящее время SK hynix является крупнейшим поставщиком микросхем HBM3 для нужд Nvidia и собирается в ближайшие месяцы начать поставки более совершенной памяти типа HBM3E. Следующим этапом станет выпуск HBM4, который начнётся ориентировочно в 2026 году, и сейчас SK hynix пытается заручиться поддержкой TSMC в этом вопросе.

Дело в том, что TSMC остаётся единственной компанией, способной упаковывать память HBM и ускорители вычислений Nvidia по методу CoWoS, а потому SK hynix в эволюции своей памяти зависит от тайваньского партнёра. Из выделенных на текущий год капитальных затрат в диапазоне от $28 до $32 млрд компания TSMC намеревается до десяти процентов потратить на расширение мощностей по упаковке чипов и памяти. Именно их нехватка считается одной из причин дефицита ускорителей вычислений Nvidia для систем искусственного интеллекта. В прошлом году на долю HBM приходилось не более 8,4 % выручки в сегменте DRAM, но по итогам текущего эта доля вырастет до 20,1 %.

Стандарт HBM4, как ожидается, благодаря 2048-битному интерфейсу значительно увеличит пропускную способность памяти, что благотворно скажется на работе ИИ-ускорителей и компонентов высокопроизводительных вычислений (HPC). Но эта технология потребует многочисленных изменений в механизмах интеграции памяти, а значит, и более тесного сотрудничества между производителями памяти и производителями логики. Поэтому TSMC и SK hynix сформировали альянс для совместного производства HBM4.

Источник изображения: skhynix.com

Новая организация получила название AI Semiconductor Alliance — инициатива поможет TSMC и SK hynix объединить свои сильные стороны и согласовать действия по принципу «стратегии единой команды», пишет Maeil Business News Korea. TSMC возьмёт на себя проработку «некоторых процессов HBM4» — вероятно, имеется в виду выпуск кристаллов с использованием одной из своих передовых технологий, которых нет в арсенале SK hynix. По неподтвержденной информации, речь идёт о нормах 12 нм; ранее также стало известно, что SK hynix и NVIDIA работают над технологией, которая позволит размещать память HBM прямо на графических процессорах без подложки.

TSMC одновременно является членом сообщества 3DFabric Memory Alliance вместе со всеми тремя производителями HBM: Micron, Samsung и SK hynix. С последней тайваньский подрядчик также сотрудничает в области разработки упаковки CoWoS для HBM3 и HBM4, совместной оптимизации технологий проектирования (DTCO) HBM и даже чиплетного интерфейса UCIe для HBM. Тесное сотрудничество TSMC и SK hynix позволит гарантировать, что память HBM3E и HBM4 от SK hynix будет работать с чипами производства TSMC. Это важно, поскольку SK hynix лидирует на рынке HBM, а TSMC — крупнейший в мире полупроводниковый подрядчик.

Корейское издание обмолвилось, что альянс также направлен на создание «единого фронта против Samsung Electronics» — это конкурент одновременно и для TSMC, и для SK hynix, но, возможно, не стоит излишне доверять таким заявлениям. И правда, трудно представить, чтобы TSMC намеренно ограничила совместимость своей упаковки только продукцией SK hynix — вероятно, в действительности тайваньский подрядчик будет просто плотнее сотрудничать с SK hynix, чем с Samsung.

Южнокорейская компания SK hynix объявила, что приступит к массовому производству оперативной памяти с высокой пропускной способностью следующего поколения — HBM4 — к 2026 году. Ранее компания сообщила, что начнёт разработку HBM4 уже в этом году.

Источник изображения: Wccftech

До этого момента о планах по разработке и внедрению памяти HBM4 высказывались только компании Micron и Samsung. Оба производителя планируют выпустить новое поколение памяти где-то в 2025–2026 годах. Теперь и SK hynix более точно определилась с планом по своему будущему продукту. Со стремительным развитием ИИ-технологий на рынке возрастает спрос на более высокопроизводительные решения, необходимые для решения этих задач. Память типа HBM сыграла значительную роль в развитии этой сферы и является важным компонентом в производстве передовых специализированных ускорителей ИИ-вычислений. И на данный момент SK hynix является главным поставщиком самой скоростной HBM — памяти HBM3E — для ИИ-ускорителей.

На мероприятии SEMICON Korea 2024 вице-президент SK hynix Ким Чун Хван (Kim Chun-hwan) сообщил о намерении компании начать массовое производство памяти HBM4 к 2026 году. Он добавил, что новое поколение памяти будет способствовать стремительному росту рынка устройств для искусственного интеллекта. В то же время он отметил, что индустрия производства памяти HBM сталкивается с огромным спросом. Поэтому компании очень важно создать решения, которые позволили бы обеспечить бесперебойную поставку такого типа памяти. По мнению топ-менеджера SK hynix, к 2025 году рынок памяти HBM вырастет до 40 %, поэтому компании необходимо заранее подготовился к тому, чтобы извлечь из этого максимальную выгоду.

Источник изображения: TrendForce

Согласно недавно опубликованной аналитиками TrendForce сборной диаграммы с планами по выпуску продуктов различных производителей, организация JEDEC планирует принять окончательные характеристики памяти HBM4 во второй половине 2024 или начале 2025 года. Пока известно, что новая память будет выпускаться в стеках объёмом до 36 Гбайт, а первые образцы ожидаются в 2026 году.

На данный момент неизвестно, какие именно ИИ-ускорители будут использовать новый тип памяти. Предполагается, что одними из первых таких продуктов могут стать решения NVIDIA, которые компания выпустит после специализированных ИИ-ускорителей Blackwell, поскольку последние будут использовать память HBM3E.

Южнокорейская компания SK hynix в своём онлайн-блоге подтвердила, что приступит к разработке оперативной памяти с высокой пропускной способностью HBM4 уже в 2024 году. До этого момента о планах по разработке и внедрению памяти HBM4 высказывались только компании Micron и Samsung. Оба производителя планируют выпустить новое поколение памяти где-то в 2025–2026 годах.

Источник изображения: Wccftech

Говоря о памяти типа HBM, старший менеджер SK hynix Ким Ван Су (Kim Wang-soo) подчеркнул, что компания начнёт массовое производство памяти HBM3E — усовершенствованного варианта существующей памяти HBM3 — в 2024 году. Новая память будет предлагать повышенные скорости и ёмкость по сравнению с HBM3. Он добавил, что в следующем году SK hynix также планирует начать разработку своей памяти HBM4, что станет важным шагом в дальнейшей эволюции стека продуктов HBM производителя.

«Благодаря запланированному на следующий год массовому производству и продажам HBM3E наше доминирование на рынке снова усилится. Так как начало серьёзных работ по созданию нашего следующего продукта, HBM4, тоже запланировано на следующий год, SK hynix фактически вступит в новую эру продуктов HBM», — написал Ван Су.

С учётом того, что разработка HBM4 начнётся в 2024 году, первые продукты с данным типом памяти появятся на рынке не ранее 2025 или 2026 года. Согласно недавно опубликованной аналитиками TrendForce сборной карты дорожных продуктов от различных производителей, организация JEDEC планирует принять окончательные характеристики памяти HBM4 во второй половине 2024 или начале 2025 года. Пока известно, что она будет выпускаться в стеках объёмом до 36 Гбайт, а первые потребительские образцы ожидаются в 2026 году.

Источник изображения: TrendForce

На базе стеков памяти HBM4 объёмом 36 Гбайт можно будет создавать продукты, в частности, ускорители вычислений, оснащённые до 288 Гбайт ОЗУ. В перспективе планируются ещё более ёмкие чипы HBM4. Известно, что память HBM3E обладает скоростью до 9,8 Гбит/с на контакт, поэтому от HBM4 следует ожидать скорость выше 10 Гбит/с на контакт.

Будущие специализированные графические ускорители NVIDIA Blackwell, скорее всего, будут использовать память HBM3E, поэтому памятью HBM4 можно будет увидеть в ускорителях, которые NVIDIA представит уже после них. Также не исключено, что HBM4 может появиться в неких обновлённых ускорителях Blackwell, как это было в случае с текущим поколением ИИ-ускорителей Hopper H200, которые получили память HBM3E.

До сих пор единственным поставщиком микросхем HBM3 для нужд NVIDIA оставалась южнокорейская компания SK hynix, но в случае с HBM3e конкурирующая Micron Technology начала снабжать NVIDIA образцами своей продукции к концу июля, поэтому борьба за место на рынке в этом сегменте памяти будет ожесточённой. К 2026 году на рынок будет готова выйти память типа HBM4, которая годом позднее увеличит количество слоёв с 12 до 16 штук.

Источник изображения: SK hynix

Ближайшая перспектива в эволюции памяти типа HBM3e, как поясняет TrendForce — это выход 8-слойных микросхем, которые к первому кварталу следующего года должны пройти сертификацию NVIDIA и прочих клиентов, а затем перейти в фазу серийного производства. Micron Technology в этой сфере слегка опережает SK hynix, предоставив свои образцы для тестирования на пару недель раньше, а вот Samsung успела сделать это только к началу октября. Память типа HBM3e способна обеспечить скорость передачи информации от 8 до 9,2 Гбит/с, восьмислойные микросхемы объёмом 24 Гбайт будут выпускаться по техпроцессам класса 1-альфа (Samsung) или 1-бета (SK hynix и Micron). Их серийное производство к середине следующего года наладят все три компании, но две последних рассчитывают это сделать к началу второго квартала.

Во многом этот график будет определять ритмичность выхода новых ускорителей вычислений NVIDIA. В следующем году компания наладит поставки ускорителей H200 с шестью микросхемами HBM3e, до конца того же года выйдут ускорители B100 уже с восемью микросхемами HBM3e. Попутно будут выпускаться гибридные решения с центральными процессорами с Arm-совместимой архитектурой, именуемые GH200 и GB200.

Источник изображения: TrendForce

Конкурирующая компания AMD, по данным TrendForce, в 2024 году сосредоточится на использовании памяти типа HBM3 в семействе ускорителей Instinct MI300, а переход на HBM3e прибережёт для более поздних Instinct MI350. Тестирование памяти на совместимость в этом случае начнётся во второй половине 2024 года, а фактические поставки микросхем HBM3e для AMD стартуют не ранее первого квартала 2025 года.

Представленные во второй половине прошлого года ускорители Intel Habana Gaudi 2 ограничиваются использованием шести стеков HBM2e, преемники серии Gaudi 3 к середине следующего года увеличат количество стеков до 8 штук, но останутся верны использованию микросхем HBM2e.

Память типа HBM4 будет представлена только в 2026 году, она предложит использование 12-нм подложки, которая будет изготавливаться контрактными производителями. Количество слоёв в одном стеке памяти будет варьироваться между 12 и 16 штуками, причём микросхемы последнего типа появятся на рынке не ранее 2027 года. Впрочем, Samsung Electronics демонстрирует намерения представить HBM4 уже в 2025 году, наверстав упущенное по сравнению с предыдущими поколениями микросхем памяти этого класса.

В ближайшие годы сформируется и тренд на индивидуализацию дизайна решений с использованием памяти типа HBM. В частности, некоторые разработчики рассматривают возможность интеграции чипов такой памяти непосредственно на кристаллы с вычислительными ядрами. По крайней мере, NVIDIA подобные намерения уже приписываются, и именно в отношении микросхем типа HBM4.

Развитие сферы высокопроизводительных вычислений в наши дни стало зависеть от способности разработчиков специализированных ускорителей использовать самую скоростную из доступных на рынке разновидностей памяти. По некоторым данным, SK hynix и NVIDIA уже работают над интеграцией микросхем HBM4 прямо на графический процессор.

Источник изображения: SK hynix

Конечно, «графическим» такой процессор принято называть чисто по инерции, поскольку NVIDIA уже давно обособила линейки своей продукции для ускорения вычислений и работы с графикой. Использование памяти типа HBM стало атрибутом первого типа продукции NVIDIA. В случае с актуальным ассортиментом ускорителей последней из марок южнокорейская SK hynix изначально была единственным поставщиком памяти типа HBM3, поскольку только её продукция отвечала строжайшим требованиям NVIDIA как с точки зрения производительности, так и возможности интеграции в процессе производства.

Сейчас микросхемы HBM3 и HBM3e соседствуют с графическим процессором на одной подложке, сама память при этом может насчитывать до 12 ярусов. Как сообщает Tom’s Hardware со ссылкой на южнокорейские СМИ, компании NVIDIA и SK hynix уже ведут разработку технологии интеграции микросхем памяти HBM4 прямо поверх кристалла графического процессора. Подобная близость двух типов этих компонентов позволит значительно повысить скорость обмена информацией, но будет предъявлять особые требования не только к производственному процессу, но и к охлаждению компонентов.

Скорее всего, SK hynix будет передавать свои микросхемы HBM4 компании TSMC, которая попутно будет производить и графические процессоры NVIDIA, а затем этот тайваньский подрядчик будет и «сращивать» эти кристаллы без использования промежуточной подложки. Отдалённо эта технология напоминает производство процессоров AMD Ryzen с памятью типа 3D V-Cache, интегрируемой прямо на кристалл с вычислительными ядрами. Просто память HBM4 окажется несколько медленнее, но дешевле используемого AMD кеша, и при этом предложит гораздо большую ёмкость. Память HBM4 должна увеличить разрядность шины памяти с 1024 до 2048 бит, что дополнительно увеличивает целесообразность отказа от промежуточной подложки, поскольку она выходила бы слишком дорогой в производстве.

Существенную проблему будет представлять охлаждение такой конструкции, поскольку графические процессоры и без памяти становятся всё более горячими, да и микросхемы HBM4 тоже придётся охлаждать интенсивно, и при этом оба типа компонентов расположатся друг на друге. Впрочем, в серверном сегменте как раз применение продвинутых методов охлаждения с использованием жидкости или погружением в диэлектрическую жидкость всего ускорителя оправдывает себя с точки зрения экономической целесообразности и сложности. Не исключено также, что микросхемы HBM4 и связанные с ними графические процессоры будут производиться если не по одному и тому же техпроцессу, то хотя бы по близким технологическим нормам. С этой точки зрения требования к производственному процессу станут почти идентичными как для логической части ускорителей, так и для памяти.

В 2016 году корейская компания Samsung Electronics первой в отрасли выпустила на рынок микросхемы памяти HBM первого поколения для применения в сегменте высокопроизводительных вычислений. Через год появилась 8-слойная память типа HBM2, позже вышли микросхемы HBM2E и HBM3, а память типа HBM4 компания рассчитывает представить в 2025 году.

Источник изображения: Samsung Electronics

Как сообщается в корпоративном блоге компании, при выпуске микросхем типа HBM4 будут применяться инновации, направленные на улучшение термодинамических свойств этого вида продукции — проще говоря, будут применены решения для лучшего отвода тепла. При сборке стеков памяти будет применяться непроводящая полимерная плёнка, дополнительно механически защищающая монтируемые друг на друга чипы. Метод гибридного медного соединения будет сочетать медные проводники с плёночным оксидным изолятором вместо традиционного припоя.

Кроме того, как признаются представители Samsung Electronics, в начале 2023 года компания создала подразделение, курирующее передовые методы упаковки чипов. Своим клиентам южнокорейский гигант будет готов предложить услуги по тестированию и упаковке чипов с использованием методов 2.5D и 3D, которые могут быть востребованы разработчиками компонентов для высокопроизводительных вычислений и систем искусственного интеллекта.

К числу своих технологических достижений Samsung также относит выпуск микросхем оперативной памяти типа DDR5, позволяющих создавать модули памяти объёмом 128 Гбайт, а также освоение 12-нм техпроцесса в данной сфере. В дальнейшем компания рассчитывает использовать для выпуска микросхем памяти литографические нормы тоньше 10 нм.

В сфере высокопроизводительных вычислений может найти достойное применение и технология HBM-PIM, предусматривающая выполнение определённой части вычислений непосредственно силами самой микросхемы памяти. Быстродействие при этом удаётся повысить до 12 раз по сравнению с традиционной архитектурой микросхем памяти. Помимо HBM, такая архитектура будет внедряться и на микросхемах памяти, работающих с протоколом CXL.

Представленные недавно модули оперативной памяти LPCAMM, по словам представителей Samsung, можно будет применять не только в ноутбуках, но и в серверных системах, где их высокая плотность позволит увеличить объём используемой оперативной памяти без дополнительной потребности в занимаемых площадях. Такие модули памяти будет занимать на 60 % меньше места по сравнению с SO-DIMM, а производительность при этом вырастает на величину до 50 %. Энергетическая эффективность таких модулей памяти выше на 70 %.