根據(jù)TrendForce集邦咨詢研究指出，2023年ChatGPT等生成式AI應(yīng)用帶動(dòng)AI服務(wù)器成長(zhǎng)熱潮，又以大型云端業(yè)者最積極投入，包含Microsoft、Google、AWS或其他中系業(yè)者如Baidu、ByteDance等陸續(xù)采購(gòu)高端AI服務(wù)器，以持續(xù)訓(xùn)練及優(yōu)化其AI分析模型。高端AI服務(wù)器需采用的高端AI芯片，將推升2023-2024年高帶寬存儲(chǔ)器（HBM）的需求，并將驅(qū)動(dòng)先進(jìn)封裝產(chǎn)能2024年成長(zhǎng)3-4成。

TrendForce集邦咨詢指出，為提升整體AI服務(wù)器的系統(tǒng)運(yùn)算效能，以及存儲(chǔ)器傳輸帶寬等，NVIDIA、AMD、Intel等高端AI芯片中大多選擇搭載HBM。目前NVIDIA的A100及H100，各搭載達(dá)80GB的HBM2e及HBM3，在其最新整合CPU及GPU的Grace Hopper芯片中，單顆芯片HBM搭載容量再提升20%，達(dá)96GB。另外，AMD的MI300也搭配HBM3，其中，MI300A容量與前一代相同為128GB，更高端MI300X則達(dá)192GB，提升了50%。同時(shí)預(yù)期Google將于2023年下半年積極擴(kuò)大與Broadcom合作開(kāi)發(fā)AISC AI加速芯片TPU亦采搭載HBM存儲(chǔ)器，以擴(kuò)建AI基礎(chǔ)設(shè)施。

TrendForce集邦咨詢預(yù)估，2023年市場(chǎng)上主要搭載HBM的AI加速芯片(如NVIDIA的H100及A100、AMD的MI200及MI300及Google的TPU等），搭載HBM總?cè)萘繉⑦_(dá)2.9億GB，成長(zhǎng)率近6成，2024年將持續(xù)成長(zhǎng)3成以上。

此外，AI及HPC等芯片對(duì)先進(jìn)封裝技術(shù)的需求日益提升，其中，以TSMC的CoWoS為目前AI 服務(wù)器芯片主力采用者。CoWoS封裝技術(shù)主要分為CoW和oS兩段，其中，CoW主要整合各種Logic IC（如CPU、GPU、AISC等）及HBM存儲(chǔ)器等，另外，oS部分則將上述CoW以凸塊（Solder Bump）等接合，封裝在基板上，最后再整合到PCBA，成為服務(wù)器主機(jī)板的主要運(yùn)算單元，與其他零部件如網(wǎng)絡(luò)、儲(chǔ)存、電源供應(yīng)單元(PSU)及其他I/O等組成完整的AI 服務(wù)器系統(tǒng)。

TrendForce集邦咨詢觀察，估計(jì)在高端AI芯片及HBM強(qiáng)烈需求下，TSMC于2023年底CoWoS月產(chǎn)能有望達(dá)12K，其中，NVIDIA在A100及H100等相關(guān)AI Server需求帶動(dòng)下，對(duì)CoWoS產(chǎn)能較年初需求量，估提升近5成，加上AMD、Google等高端AI芯片需求成長(zhǎng)下，將使下半年CoWoS產(chǎn)能較為緊迫，而此強(qiáng)勁需求將延續(xù)至2024年，預(yù)估若在相關(guān)設(shè)備齊備下，先進(jìn)封裝產(chǎn)能將再成長(zhǎng)3-4成。


ChatGPT爆紅提升HBM需求

作為一款自然語(yǔ)言類AI應(yīng)用，ChatGPT不僅對(duì)芯片算力有著巨大需求，對(duì)內(nèi)存技術(shù)的需求也極高，比如ChatGPT上線應(yīng)用以來(lái)，擁有高速數(shù)據(jù)傳輸速度的HBM內(nèi)存芯片幾乎成為ChatGPT的必備配置，市場(chǎng)需求激增。有消息稱，2023年開(kāi)年以來(lái)三星、SK海力士HBM訂單就快速增加，價(jià)格也水漲船高。

有市場(chǎng)人士透露英偉達(dá)已經(jīng)將SK海力士的HBM3安裝到其高性能GPU H100上，而H100已開(kāi)始供應(yīng)ChatGPT服務(wù)器所需。近期最新一代高帶寬內(nèi)存HBM3的價(jià)格上漲了5倍。

SK海力士HBM設(shè)計(jì)團(tuán)隊(duì)項(xiàng)目負(fù)責(zé)人樸明宰撰文介紹，HBM是一種可以實(shí)現(xiàn)高帶寬的高附加值DRAM產(chǎn)品，適用于超級(jí)計(jì)算機(jī)、AI加速器等對(duì)性能要求較高的計(jì)算系統(tǒng)。隨著計(jì)算技術(shù)的發(fā)展，機(jī)器學(xué)習(xí)的應(yīng)用日漸廣泛，而機(jī)器學(xué)習(xí)的基礎(chǔ)是自20世紀(jì)80年代以來(lái)一直作為研究熱點(diǎn)的神經(jīng)網(wǎng)絡(luò)模型。作為速度最快的DRAM產(chǎn)品，HBM在克服計(jì)算技術(shù)的局限性方面發(fā)揮著關(guān)鍵的作用。

此前，盡管HBM具有出色的性能，但與一般DRAM相比，其應(yīng)用較少。這是因?yàn)镠BM需要復(fù)雜的生產(chǎn)過(guò)程，平均售價(jià)至少是DRAM的三倍。但AI服務(wù)的擴(kuò)展正在扭轉(zhuǎn)這樣的局面。據(jù)悉，目前已經(jīng)有超過(guò)25000塊英偉達(dá)計(jì)算卡加入到了深度學(xué)習(xí)的訓(xùn)練中。未來(lái)，隨著不斷接入ChatGPT等生成式AI需求大增，HBM的需求也將呈現(xiàn)出暴增的態(tài)勢(shì)。三星內(nèi)存副總裁Kim Jae-joon便指出，ChatGPT等基于自然語(yǔ)言技術(shù)的交互式AI應(yīng)用的發(fā)展有利于提升內(nèi)存需求。高效且大量的運(yùn)算能力、高容量的內(nèi)存，是AI學(xué)習(xí)與推論模型的根基。


存儲(chǔ)巨頭齊爭(zhēng)高性能市場(chǎng)

去年以來(lái)，受消費(fèi)電子產(chǎn)品需求下滑等多種因素影響，存儲(chǔ)行業(yè)進(jìn)入了下行周期。SK海力士全年的凈利潤(rùn)降至2.4萬(wàn)億韓元，同比下滑75%。三星電子存儲(chǔ)業(yè)務(wù)的營(yíng)收與營(yíng)業(yè)利潤(rùn)，在去年第三季度和第四季度也是同比環(huán)比雙雙下滑。TrendForce集邦咨詢預(yù)估2023年第一季度DRAM價(jià)格仍將持續(xù)下探。其中，PC及服務(wù)器用DRAM跌幅仍是近兩成。HBM的需求火爆不啻于一劑“強(qiáng)心針”。這種情況下，SK海力士、三星電子、美光等內(nèi)存廠商均表示將致力于HBM的開(kāi)發(fā)。企業(yè)之間的產(chǎn)品開(kāi)發(fā)競(jìng)爭(zhēng)也隨之升溫。

2013年SK海力士將TSV技術(shù)應(yīng)用于DRAM，在業(yè)界首次成功研發(fā)出第一代HBM芯片。此后，SK海力士相繼推出HBM2、HBM2E、HBM3數(shù)代產(chǎn)品。據(jù)悉，SK海力士正在研發(fā)HBM4，預(yù)計(jì)新一代產(chǎn)品將能夠更廣泛地應(yīng)用于高性能數(shù)據(jù)中心、超級(jí)計(jì)算機(jī)和AI等領(lǐng)域。SK海力士CFO金祐賢表示，公司正關(guān)注著市場(chǎng)上出現(xiàn)以AI為基礎(chǔ)的新服務(wù)器替換存儲(chǔ)器需求的積極信號(hào)。公司計(jì)劃持續(xù)投資DDR5/LPDDR5、HBM3等主力產(chǎn)品的量產(chǎn)和未來(lái)高成長(zhǎng)領(lǐng)域。

三星電子雖然在HBM的開(kāi)發(fā)上落后一步，但也在尋找新的突破口。據(jù)悉，三星電子正在開(kāi)發(fā)集成AI處理器新一代存內(nèi)計(jì)算芯片HBM-PIM。北京大學(xué)信息科學(xué)技術(shù)學(xué)院微納電子學(xué)系副教授葉樂(lè)表示，存內(nèi)計(jì)算芯片是將AI引擎引入存儲(chǔ)庫(kù)，將處理操作轉(zhuǎn)移到HBM本身，將有效加大數(shù)據(jù)傳輸帶寬，提高內(nèi)存的處理速度。存內(nèi)計(jì)算技術(shù)正在實(shí)現(xiàn)產(chǎn)品化。目前基于SRAM的存內(nèi)計(jì)算，已經(jīng)進(jìn)入到產(chǎn)品化的前夜，DRAM存內(nèi)計(jì)算適用于大算力AI芯片，因此還需要解決其他一系列的技術(shù)難題。

HBM國(guó)產(chǎn)替代成大趨勢(shì)

HBM的作用類似于數(shù)據(jù)的“中轉(zhuǎn)站”，就是將使用的每一幀，每一幅圖像等圖像數(shù)據(jù)保存到幀緩存區(qū)中，等待GPU調(diào)用。因此，與傳統(tǒng)內(nèi)存技術(shù)相比，HBM具有更高帶寬、更多I/O數(shù)量、更低功耗、更小尺寸，能夠讓AI服務(wù)器在數(shù)據(jù)處理量和傳輸速率有大幅提升。

當(dāng)下，隨著ChatGPT的AI大模型問(wèn)世，百度、阿里、科大訊飛、商湯、華為等科技巨頭紛紛要訓(xùn)練自己的AI大模型，AI服務(wù)器的需求大幅度激增。

由于短時(shí)間內(nèi)處理大量數(shù)據(jù) ，AIAI服務(wù)器對(duì)帶寬提出了更高的要求，HBM則成為AI服務(wù)器的標(biāo)配。隨著高端GPU需求的逐步提升，TrendForce集邦咨詢預(yù)估2023年HBM需求量將年增58%，2024年有望再成長(zhǎng)約30%。可見(jiàn)，HBM憑借AI的爆發(fā)，也跟著站上了風(fēng)口。

目前，HBM的市場(chǎng)被三分天下。SK海力士、三星、海光的市占率分別為50%、40%、10%。雖然，HBM的市場(chǎng)基本被海外巨頭所占據(jù)；但是，芯片儲(chǔ)存的自主可控仍是當(dāng)下產(chǎn)業(yè)發(fā)展的重要方向。因此，HBM國(guó)產(chǎn)化也將成為大的發(fā)展趨勢(shì)。這里我們根據(jù)公開(kāi)信息，將HBM的相關(guān)公司整理如下：

國(guó)芯科技：目前正在研究規(guī)劃合封多HBM內(nèi)存的2.5D的芯片封裝技術(shù)，積極推進(jìn)Chiplet技術(shù)的研發(fā)和應(yīng)用。

通富微電：公司2.5D/3D生產(chǎn)線建成后，將實(shí)現(xiàn)國(guó)內(nèi)在HBM(高帶寬內(nèi)存)高性能封裝技術(shù)領(lǐng)域的突破。

佰維存儲(chǔ)：已推出高性能內(nèi)存芯片和內(nèi)存模組，將保持對(duì)HBM技術(shù)的持續(xù)關(guān)注。

瀾起科技：PCIe 5.0/CXL 2.0 Retimer芯片實(shí)現(xiàn)量產(chǎn)，該芯片是瀾起科技PCIe 4.0 Retimer產(chǎn)品的關(guān)鍵升級(jí)，可為業(yè)界提供穩(wěn)定可靠的高帶寬、低延遲PCIe 5.0/ CXL 2.0互連解決方案。