ChatGPT已經從下游AI應用“火”到了上游芯片領域，在將GPU等AI芯片推向高峰之外，也極大帶動了市場對新一代內存芯片HBM（高帶寬內存)的需求。據(jù)悉，2023年開年以來三星、SK海力士的HBM訂單就快速增加，價格也水漲船高。有市場人士透露近期HBM3規(guī)格DRAM價格上漲了5倍。這也為寒冬中的存儲器市場帶來了一抹春色。

ChatGPT爆紅提升HBM需求

近日，韓媒報道2023年開年后三星、SK海力士兩家存儲大廠HBM訂單快速增加，價格也水漲船高，市場人士透露近期HBM3規(guī)格DRAM價格上漲5倍。

業(yè)界認為，ChatGPT的出現(xiàn)使得HBM市場需求提升，這有望為存儲器市場帶來了新的發(fā)展機會。

資料顯示，HBM（High Bandwidth Memory，高帶寬存儲器）是一種可以實現(xiàn)高帶寬的高附加值DRAM產品，與普通DRAM相比，HBM以堆疊方式實現(xiàn)更大帶寬，帶寬是指在特定單位時間內可以傳輸?shù)臄?shù)據(jù)量，基于該特性，HBM主要應用于高性能計算場景中，比如超級計算機、AI加速器、高性能服務器領域。

HBM在與CPU及GPU協(xié)同工作中，可以提高機器學習和計算性能。目前ChatGPT的火熱發(fā)展已令英偉達等GPU廠商受益——ChatGPT使用了1萬多個英偉達的“A100”GPU學習了龐大的文檔數(shù)據(jù)。而HBM可以安裝在GPU中，通過高速數(shù)據(jù)處理，不斷完善ChatGTP服務體驗，英偉達“A100”就最高配備了80GB HBM2內存。

此外，媒體報道英偉達已經要求存儲廠商生產最新的HBM3內存，搭配英偉達的A100 GPU供ChatGPT使用。


巨頭領跑，HBM3時代來臨

據(jù)了解，HBM主要是通過硅通孔（Through Silicon Via, 簡稱“TSV”）技術進行芯片堆疊，以增加吞吐量并克服單一封裝內帶寬的限制，將數(shù)個DRAM裸片像樓層一樣垂直堆疊。

SK海力士表示，TSV是在DRAM芯片上搭上數(shù)千個細微孔并通過垂直貫通的電極連接上下芯片的技術。該技術在緩沖芯片上將數(shù)個DRAM芯片堆疊起來，并通過貫通所有芯片層的柱狀通道傳輸信號、指令、電流。相較傳統(tǒng)封裝方式，該技術能夠縮減30%體積，并降低50%能耗。

憑借TSV方式，HBM大幅提高了容量和數(shù)據(jù)傳輸速率。與傳統(tǒng)內存技術相比，HBM具有更高帶寬、更多I/O數(shù)量、更低功耗、更小尺寸。隨著存儲數(shù)據(jù)量激增，市場對于HBM的需求將有望大幅提升。

HBM的高帶寬離不開各種基礎技術和先進設計工藝的支持。由于HBM是在3D結構中將一個邏輯die與4-16個DRAM die堆疊在一起，因此開發(fā)過程極為復雜。鑒于技術上的復雜性，HBM是公認最能夠展示廠商技術實力的旗艦產品。

2013年，SK海力士將TSV技術應用于DRAM，在業(yè)界首次成功研發(fā)出HBM。

HBM1的工作頻率約為1600 Mbps，漏極電源電壓為1.2V，芯片密度為2Gb（4-hi）。HBM1的帶寬高于DDR4和GDDR5產品，同時以較小的外形尺寸消耗較低的功率，更能滿足GPU等帶寬需求較高的處理器。

隨后，SK海力士、三星、美光等存儲巨頭在HBM領域展開了升級競賽。

2016年1月，三星宣布開始量產4GB HBM2 DRAM，并在同一年內生產8GB HBM2 DRAM；2017年下半年，被三星趕超的SK海力士開始量產HBM2；2018年1月，三星宣布開始量產第二代8GB HBM2“Aquabolt”。

2018年末，JEDEC推出HBM2E規(guī)范，以支持增加的帶寬和容量。當傳輸速率上升到每管腳3.6Gbps時，HBM2E可以實現(xiàn)每堆棧461GB/s的內存帶寬。此外，HBM2E支持最多12個DRAM的堆棧，內存容量高達每堆棧24GB。與HBM2相比，HBM2E具有技術更先進、應用范圍更廣泛、速度更快、容量更大等特點。

2019年8月，SK海力士宣布成功研發(fā)出新一代“HBM2E”；2020年2月，三星也正式宣布推出其16GB HBM2E產品“Flashbolt”，于2020年上半年開始量產。

據(jù)三星介紹，其16GB HBM2E Flashbolt通過垂直堆疊8層10納米級16GB DRAM晶片，能夠提供高達410GB/s的內存帶寬級別和每引腳3.2 GB/s的數(shù)據(jù)傳輸速度。

SK海力士的HBM2E以每個引腳3.6Gbps的處理速度，每秒能處理超過460GB的數(shù)據(jù)，包含1024個數(shù)據(jù)I/O。通過TSV技術垂直堆疊8個16GB芯片，其HBM2E單顆容量16GB。

2020年，另一家存儲巨頭美光宣布加入到這一賽場中來。

美光在當時的財報會議上表示，將開始提供HBM2內存/顯存，用于高性能顯卡，服務器處理器產品，并預計下一代HBMNext將在2022年底面世。但截止目前尚未看到美光相關產品動態(tài)。

2022年1月，JEDEC組織正式發(fā)布了新一代高帶寬內存HBM3的標準規(guī)范，繼續(xù)在存儲密度、帶寬、通道、可靠性、能效等各個層面進行擴充升級，具體包括：

?主接口使用0.4V低擺幅調制，運行電壓降低至1.1V，進一步提升能效表現(xiàn)。

?傳輸數(shù)據(jù)率在HBM2基礎上再次翻番，每個引腳的傳輸率為6.4Gbps，配合1024-bit位寬，單顆最高帶寬可達819GB/s。

?如果使用四顆，總帶寬就是3.2TB/s，六顆則可達4.8TB/s。

?獨立通道數(shù)從8個翻番到16個，再加上虛擬通道，單顆支持32通道。

?支持4層、8層和12層TSV堆棧，并為未來擴展至16層TSV堆棧做好準備。

?每個存儲層容量8/16/32Gb，單顆容量起步4GB(8Gb 4-high)、最大容量64GB(32Gb 16-high)。

?支持平臺級RAS可靠性，集成ECC校驗糾錯，支持實時錯誤報告與透明度。

JEDEC表示，HBM3是一種創(chuàng)新的方法，是更高帶寬、更低功耗和單位面積容量的解決方案，對于高數(shù)據(jù)處理速率要求的應用場景來說至關重要，比如圖形處理和高性能計算的服務器。

SK海力士早在2021年10月就開發(fā)出全球首款HBM3，2022年6月量產了HBM3 DRAM芯片，并將供貨英偉達，持續(xù)鞏固其市場領先地位。隨著英偉達使用HBM3 DRAM，數(shù)據(jù)中心或將迎來新一輪的性能革命。

根據(jù)此前的資料介紹，SK海力士提供了兩種容量產品，一個是12層硅通孔技術垂直堆疊的24GB（196Gb），另一個則是8層堆疊的16GB（128Gb），均提供819 GB/s的帶寬，前者的芯片高度也僅為30微米。相比上一代HBM2E的460 GB/s帶寬，HBM3的帶寬提高了78%。此外，HBM3內存還內置了片上糾錯技術，提高了產品的可靠性。

SK海力士對于HBM的研發(fā)一直非常積極，為了滿足客戶不斷增加的期望，打破現(xiàn)有框架進行新技術開發(fā)勢在必行。SK海力士還在與HBM生態(tài)系統(tǒng)中的參與者（客戶、代工廠和IP公司等）通力合作，以提升生態(tài)系統(tǒng)等級。商業(yè)模式的轉變同樣是大勢所趨。作為HBM領軍企業(yè)，SK海力士將致力于在計算技術領域不斷取得進步，全力實現(xiàn)HBM的長期發(fā)展。

三星也在積極跟進，在2022年技術發(fā)布會上發(fā)布的內存技術發(fā)展路線圖中，三星展示了涵蓋不同領域的內存接口演進的速度。首先，在云端高性能服務器領域，HBM已經成為了高端GPU的標配，這也是三星在重點投資的領域之一。HBM的特點是使用高級封裝技術，使用多層堆疊實現(xiàn)超高IO接口寬度，同時配合較高速的接口傳輸速率，從而實現(xiàn)高能效比的超高帶寬。

在三星發(fā)布的路線圖中，2022年HBM3技術已經量產，其單芯片接口寬度可達1024bit，接口傳輸速率可達6.4Gbps，相比上一代提升1.8倍，從而實現(xiàn)單芯片接口帶寬819GB/s，如果使用6層堆疊可以實現(xiàn)4.8TB/s的總帶寬。

2024年預計將實現(xiàn)接口速度高達7.2Gbps的HBM3p，從而將數(shù)據(jù)傳輸率相比這一代進一步提升10%，從而將堆疊的總帶寬提升到5TB/s以上。另外，這里的計算還沒有考慮到高級封裝技術帶來的高多層堆疊和內存寬度提升，預計2024年HBM3p單芯片和堆疊芯片都將實現(xiàn)更多的總帶寬提升。而這也將會成為人工智能應用的重要推動力，預計在2025年之后的新一代云端旗艦GPU中看到HBM3p的使用，從而進一步加強云端人工智能的算力。

從HBM1到HBM3，SK海力士和三星一直是HBM行業(yè)的領軍企業(yè)。

上下游發(fā)力搶占先機

與HBM相關的上下游企業(yè)也在發(fā)力，以期搶占先機。AMD在HBM的誕生與發(fā)展過程中功不可沒。最早是AMD意識到DDR的局限性并產生開發(fā)堆疊內存的想法，其后與SK海力士聯(lián)手研發(fā)了HBM，并在其Fury顯卡采用全球首款HBM。ISSCC 2023國際固態(tài)電路大會上的消息，AMD考慮在Instinct系列加速卡已經整合封裝HBM高帶寬內存的基礎上，在后者之上繼續(xù)堆疊DRAM內存，可以在一些關鍵算法內核可以直接在整合內存內執(zhí)行，而不必在CPU和獨立內存之間往復通信傳輸，從而提升AI處理的性能，并降低功耗。

英偉達同樣重視處理器與內存間的協(xié)同，一直在要求SK海力士提供最新的HBM3內存芯片。據(jù)悉，目前已經有超過25000塊英偉達計算卡加入到了深度學習的訓練中。如果所有的互聯(lián)網企業(yè)都在搜索引擎中加入ChatGPT這樣的機器人，那么計算卡以及相應的服務器的需求量將會達到50萬塊，也將連同帶動HBM的需求量大幅增長。

IP廠商亦已先行布局HBM3。去年，Synopsys推出首個完整的HBM3 IP解決方案，包括用于2.5D多芯片封裝系統(tǒng)的控制器、PHY（物理層芯片）和驗證IP。HBM3 PHY IP基于5nm制程打造，每個引腳的速率可達7200 Mbps，內存帶寬最高可提升至921GB/s。Rambus也推出支持HBM3的內存接口子系統(tǒng)，內含完全集成的PHY和數(shù)字控制器，數(shù)據(jù)傳輸速率達8.4 Gbps，可提供超過1TB/s的帶寬。

Rambus IP核產品營銷高級總監(jiān)Frank Ferro此前在接受采訪時指出，HBM現(xiàn)在依舊處于相對早期的階段，其未來還有很長的一段路要走。而可預見的是，隨著越來越多的廠商在AI和機器學習等領域不斷發(fā)力，內存產品設計的復雜性正在快速上升，并對帶寬提出了更高的要求，不斷上升的寬帶需求將持續(xù)驅動HBM發(fā)展。