ChatGPT已經(jīng)從下游AI應(yīng)用“火”到了上游芯片領(lǐng)域，在將GPU等AI芯片推向高峰之外，也極大帶動(dòng)了市場(chǎng)對(duì)新一代內(nèi)存芯片HBM（高帶寬內(nèi)存)的需求。據(jù)悉，2023年開年以來(lái)三星、SK海力士的HBM訂單就快速增加，價(jià)格也水漲船高。有市場(chǎng)人士透露近期HBM3規(guī)格DRAM價(jià)格上漲了5倍。這也為寒冬中的存儲(chǔ)器市場(chǎng)帶來(lái)了一抹春色。

ChatGPT爆紅提升HBM需求

近日，韓媒報(bào)道2023年開年后三星、SK海力士?jī)杉掖鎯?chǔ)大廠HBM訂單快速增加，價(jià)格也水漲船高，市場(chǎng)人士透露近期HBM3規(guī)格DRAM價(jià)格上漲5倍。

業(yè)界認(rèn)為，ChatGPT的出現(xiàn)使得HBM市場(chǎng)需求提升，這有望為存儲(chǔ)器市場(chǎng)帶來(lái)了新的發(fā)展機(jī)會(huì)。

資料顯示，HBM（High Bandwidth Memory，高帶寬存儲(chǔ)器）是一種可以實(shí)現(xiàn)高帶寬的高附加值DRAM產(chǎn)品，與普通DRAM相比，HBM以堆疊方式實(shí)現(xiàn)更大帶寬，帶寬是指在特定單位時(shí)間內(nèi)可以傳輸?shù)臄?shù)據(jù)量，基于該特性，HBM主要應(yīng)用于高性能計(jì)算場(chǎng)景中，比如超級(jí)計(jì)算機(jī)、AI加速器、高性能服務(wù)器領(lǐng)域。

HBM在與CPU及GPU協(xié)同工作中，可以提高機(jī)器學(xué)習(xí)和計(jì)算性能。目前ChatGPT的火熱發(fā)展已令英偉達(dá)等GPU廠商受益——ChatGPT使用了1萬(wàn)多個(gè)英偉達(dá)的“A100”GPU學(xué)習(xí)了龐大的文檔數(shù)據(jù)。而HBM可以安裝在GPU中，通過高速數(shù)據(jù)處理，不斷完善ChatGTP服務(wù)體驗(yàn)，英偉達(dá)“A100”就最高配備了80GB HBM2內(nèi)存。

此外，媒體報(bào)道英偉達(dá)已經(jīng)要求存儲(chǔ)廠商生產(chǎn)最新的HBM3內(nèi)存，搭配英偉達(dá)的A100 GPU供ChatGPT使用。


巨頭領(lǐng)跑，HBM3時(shí)代來(lái)臨

據(jù)了解，HBM主要是通過硅通孔（Through Silicon Via, 簡(jiǎn)稱“TSV”）技術(shù)進(jìn)行芯片堆疊，以增加吞吐量并克服單一封裝內(nèi)帶寬的限制，將數(shù)個(gè)DRAM裸片像樓層一樣垂直堆疊。

SK海力士表示，TSV是在DRAM芯片上搭上數(shù)千個(gè)細(xì)微孔并通過垂直貫通的電極連接上下芯片的技術(shù)。該技術(shù)在緩沖芯片上將數(shù)個(gè)DRAM芯片堆疊起來(lái)，并通過貫通所有芯片層的柱狀通道傳輸信號(hào)、指令、電流。相較傳統(tǒng)封裝方式，該技術(shù)能夠縮減30%體積，并降低50%能耗。

憑借TSV方式，HBM大幅提高了容量和數(shù)據(jù)傳輸速率。與傳統(tǒng)內(nèi)存技術(shù)相比，HBM具有更高帶寬、更多I/O數(shù)量、更低功耗、更小尺寸。隨著存儲(chǔ)數(shù)據(jù)量激增，市場(chǎng)對(duì)于HBM的需求將有望大幅提升。

HBM的高帶寬離不開各種基礎(chǔ)技術(shù)和先進(jìn)設(shè)計(jì)工藝的支持。由于HBM是在3D結(jié)構(gòu)中將一個(gè)邏輯die與4-16個(gè)DRAM die堆疊在一起，因此開發(fā)過程極為復(fù)雜。鑒于技術(shù)上的復(fù)雜性，HBM是公認(rèn)最能夠展示廠商技術(shù)實(shí)力的旗艦產(chǎn)品。

2013年，SK海力士將TSV技術(shù)應(yīng)用于DRAM，在業(yè)界首次成功研發(fā)出HBM。

HBM1的工作頻率約為1600 Mbps，漏極電源電壓為1.2V，芯片密度為2Gb（4-hi）。HBM1的帶寬高于DDR4和GDDR5產(chǎn)品，同時(shí)以較小的外形尺寸消耗較低的功率，更能滿足GPU等帶寬需求較高的處理器。

隨后，SK海力士、三星、美光等存儲(chǔ)巨頭在HBM領(lǐng)域展開了升級(jí)競(jìng)賽。

2016年1月，三星宣布開始量產(chǎn)4GB HBM2 DRAM，并在同一年內(nèi)生產(chǎn)8GB HBM2 DRAM；2017年下半年，被三星趕超的SK海力士開始量產(chǎn)HBM2；2018年1月，三星宣布開始量產(chǎn)第二代8GB HBM2“Aquabolt”。

2018年末，JEDEC推出HBM2E規(guī)范，以支持增加的帶寬和容量。當(dāng)傳輸速率上升到每管腳3.6Gbps時(shí)，HBM2E可以實(shí)現(xiàn)每堆棧461GB/s的內(nèi)存帶寬。此外，HBM2E支持最多12個(gè)DRAM的堆棧，內(nèi)存容量高達(dá)每堆棧24GB。與HBM2相比，HBM2E具有技術(shù)更先進(jìn)、應(yīng)用范圍更廣泛、速度更快、容量更大等特點(diǎn)。

2019年8月，SK海力士宣布成功研發(fā)出新一代“HBM2E”；2020年2月，三星也正式宣布推出其16GB HBM2E產(chǎn)品“Flashbolt”，于2020年上半年開始量產(chǎn)。

據(jù)三星介紹，其16GB HBM2E Flashbolt通過垂直堆疊8層10納米級(jí)16GB DRAM晶片，能夠提供高達(dá)410GB/s的內(nèi)存帶寬級(jí)別和每引腳3.2 GB/s的數(shù)據(jù)傳輸速度。

SK海力士的HBM2E以每個(gè)引腳3.6Gbps的處理速度，每秒能處理超過460GB的數(shù)據(jù)，包含1024個(gè)數(shù)據(jù)I/O。通過TSV技術(shù)垂直堆疊8個(gè)16GB芯片，其HBM2E單顆容量16GB。

2020年，另一家存儲(chǔ)巨頭美光宣布加入到這一賽場(chǎng)中來(lái)。

美光在當(dāng)時(shí)的財(cái)報(bào)會(huì)議上表示，將開始提供HBM2內(nèi)存/顯存，用于高性能顯卡，服務(wù)器處理器產(chǎn)品，并預(yù)計(jì)下一代HBMNext將在2022年底面世。但截止目前尚未看到美光相關(guān)產(chǎn)品動(dòng)態(tài)。

2022年1月，JEDEC組織正式發(fā)布了新一代高帶寬內(nèi)存HBM3的標(biāo)準(zhǔn)規(guī)范，繼續(xù)在存儲(chǔ)密度、帶寬、通道、可靠性、能效等各個(gè)層面進(jìn)行擴(kuò)充升級(jí)，具體包括：

?主接口使用0.4V低擺幅調(diào)制，運(yùn)行電壓降低至1.1V，進(jìn)一步提升能效表現(xiàn)。

?傳輸數(shù)據(jù)率在HBM2基礎(chǔ)上再次翻番，每個(gè)引腳的傳輸率為6.4Gbps，配合1024-bit位寬，單顆最高帶寬可達(dá)819GB/s。

?如果使用四顆，總帶寬就是3.2TB/s，六顆則可達(dá)4.8TB/s。

?獨(dú)立通道數(shù)從8個(gè)翻番到16個(gè)，再加上虛擬通道，單顆支持32通道。

?支持4層、8層和12層TSV堆棧，并為未來(lái)擴(kuò)展至16層TSV堆棧做好準(zhǔn)備。

?每個(gè)存儲(chǔ)層容量8/16/32Gb，單顆容量起步4GB(8Gb 4-high)、最大容量64GB(32Gb 16-high)。

?支持平臺(tái)級(jí)RAS可靠性，集成ECC校驗(yàn)糾錯(cuò)，支持實(shí)時(shí)錯(cuò)誤報(bào)告與透明度。

JEDEC表示，HBM3是一種創(chuàng)新的方法，是更高帶寬、更低功耗和單位面積容量的解決方案，對(duì)于高數(shù)據(jù)處理速率要求的應(yīng)用場(chǎng)景來(lái)說至關(guān)重要，比如圖形處理和高性能計(jì)算的服務(wù)器。

SK海力士早在2021年10月就開發(fā)出全球首款HBM3，2022年6月量產(chǎn)了HBM3 DRAM芯片，并將供貨英偉達(dá)，持續(xù)鞏固其市場(chǎng)領(lǐng)先地位。隨著英偉達(dá)使用HBM3 DRAM，數(shù)據(jù)中心或?qū)⒂瓉?lái)新一輪的性能革命。

根據(jù)此前的資料介紹，SK海力士提供了兩種容量產(chǎn)品，一個(gè)是12層硅通孔技術(shù)垂直堆疊的24GB（196Gb），另一個(gè)則是8層堆疊的16GB（128Gb），均提供819 GB/s的帶寬，前者的芯片高度也僅為30微米。相比上一代HBM2E的460 GB/s帶寬，HBM3的帶寬提高了78%。此外，HBM3內(nèi)存還內(nèi)置了片上糾錯(cuò)技術(shù)，提高了產(chǎn)品的可靠性。

SK海力士對(duì)于HBM的研發(fā)一直非常積極，為了滿足客戶不斷增加的期望，打破現(xiàn)有框架進(jìn)行新技術(shù)開發(fā)勢(shì)在必行。SK海力士還在與HBM生態(tài)系統(tǒng)中的參與者（客戶、代工廠和IP公司等）通力合作，以提升生態(tài)系統(tǒng)等級(jí)。商業(yè)模式的轉(zhuǎn)變同樣是大勢(shì)所趨。作為HBM領(lǐng)軍企業(yè)，SK海力士將致力于在計(jì)算技術(shù)領(lǐng)域不斷取得進(jìn)步，全力實(shí)現(xiàn)HBM的長(zhǎng)期發(fā)展。

三星也在積極跟進(jìn)，在2022年技術(shù)發(fā)布會(huì)上發(fā)布的內(nèi)存技術(shù)發(fā)展路線圖中，三星展示了涵蓋不同領(lǐng)域的內(nèi)存接口演進(jìn)的速度。首先，在云端高性能服務(wù)器領(lǐng)域，HBM已經(jīng)成為了高端GPU的標(biāo)配，這也是三星在重點(diǎn)投資的領(lǐng)域之一。HBM的特點(diǎn)是使用高級(jí)封裝技術(shù)，使用多層堆疊實(shí)現(xiàn)超高IO接口寬度，同時(shí)配合較高速的接口傳輸速率，從而實(shí)現(xiàn)高能效比的超高帶寬。

在三星發(fā)布的路線圖中，2022年HBM3技術(shù)已經(jīng)量產(chǎn)，其單芯片接口寬度可達(dá)1024bit，接口傳輸速率可達(dá)6.4Gbps，相比上一代提升1.8倍，從而實(shí)現(xiàn)單芯片接口帶寬819GB/s，如果使用6層堆疊可以實(shí)現(xiàn)4.8TB/s的總帶寬。

2024年預(yù)計(jì)將實(shí)現(xiàn)接口速度高達(dá)7.2Gbps的HBM3p，從而將數(shù)據(jù)傳輸率相比這一代進(jìn)一步提升10%，從而將堆疊的總帶寬提升到5TB/s以上。另外，這里的計(jì)算還沒有考慮到高級(jí)封裝技術(shù)帶來(lái)的高多層堆疊和內(nèi)存寬度提升，預(yù)計(jì)2024年HBM3p單芯片和堆疊芯片都將實(shí)現(xiàn)更多的總帶寬提升。而這也將會(huì)成為人工智能應(yīng)用的重要推動(dòng)力，預(yù)計(jì)在2025年之后的新一代云端旗艦GPU中看到HBM3p的使用，從而進(jìn)一步加強(qiáng)云端人工智能的算力。

從HBM1到HBM3，SK海力士和三星一直是HBM行業(yè)的領(lǐng)軍企業(yè)。

上下游發(fā)力搶占先機(jī)

與HBM相關(guān)的上下游企業(yè)也在發(fā)力，以期搶占先機(jī)。AMD在HBM的誕生與發(fā)展過程中功不可沒。最早是AMD意識(shí)到DDR的局限性并產(chǎn)生開發(fā)堆疊內(nèi)存的想法，其后與SK海力士聯(lián)手研發(fā)了HBM，并在其Fury顯卡采用全球首款HBM。ISSCC 2023國(guó)際固態(tài)電路大會(huì)上的消息，AMD考慮在Instinct系列加速卡已經(jīng)整合封裝HBM高帶寬內(nèi)存的基礎(chǔ)上，在后者之上繼續(xù)堆疊DRAM內(nèi)存，可以在一些關(guān)鍵算法內(nèi)核可以直接在整合內(nèi)存內(nèi)執(zhí)行，而不必在CPU和獨(dú)立內(nèi)存之間往復(fù)通信傳輸，從而提升AI處理的性能，并降低功耗。

英偉達(dá)同樣重視處理器與內(nèi)存間的協(xié)同，一直在要求SK海力士提供最新的HBM3內(nèi)存芯片。據(jù)悉，目前已經(jīng)有超過25000塊英偉達(dá)計(jì)算卡加入到了深度學(xué)習(xí)的訓(xùn)練中。如果所有的互聯(lián)網(wǎng)企業(yè)都在搜索引擎中加入ChatGPT這樣的機(jī)器人，那么計(jì)算卡以及相應(yīng)的服務(wù)器的需求量將會(huì)達(dá)到50萬(wàn)塊，也將連同帶動(dòng)HBM的需求量大幅增長(zhǎng)。

IP廠商亦已先行布局HBM3。去年，Synopsys推出首個(gè)完整的HBM3 IP解決方案，包括用于2.5D多芯片封裝系統(tǒng)的控制器、PHY（物理層芯片）和驗(yàn)證IP。HBM3 PHY IP基于5nm制程打造，每個(gè)引腳的速率可達(dá)7200 Mbps，內(nèi)存帶寬最高可提升至921GB/s。Rambus也推出支持HBM3的內(nèi)存接口子系統(tǒng)，內(nèi)含完全集成的PHY和數(shù)字控制器，數(shù)據(jù)傳輸速率達(dá)8.4 Gbps，可提供超過1TB/s的帶寬。

Rambus IP核產(chǎn)品營(yíng)銷高級(jí)總監(jiān)Frank Ferro此前在接受采訪時(shí)指出，HBM現(xiàn)在依舊處于相對(duì)早期的階段，其未來(lái)還有很長(zhǎng)的一段路要走。而可預(yù)見的是，隨著越來(lái)越多的廠商在AI和機(jī)器學(xué)習(xí)等領(lǐng)域不斷發(fā)力，內(nèi)存產(chǎn)品設(shè)計(jì)的復(fù)雜性正在快速上升，并對(duì)帶寬提出了更高的要求，不斷上升的寬帶需求將持續(xù)驅(qū)動(dòng)HBM發(fā)展。