HBM儼然成為了當(dāng)前存儲(chǔ)行業(yè)競爭中最為鮮美的一塊蛋糕。近日，臺(tái)積電宣布結(jié)合N12FFC+和N5制程技術(shù)，生產(chǎn)用于HBM4的基礎(chǔ)裸片，為HBM 4做好擴(kuò)產(chǎn)準(zhǔn)備，并且CoWoS先進(jìn)封裝產(chǎn)能多次擴(kuò)產(chǎn)，只為滿足行業(yè)高漲的HBM需求。三大存儲(chǔ)原廠也動(dòng)態(tài)不斷，此前SK海力士、三星、美光均表示近兩年HBM產(chǎn)能已售罄，近期，三星和SK海力士兩家表示為了滿足需求，他們將超過20%的DRAM產(chǎn)線轉(zhuǎn)換為HBM產(chǎn)線。隨著HBM3E和HBM4的持續(xù)推進(jìn)，帶動(dòng)行業(yè)生態(tài)發(fā)生變革，三大存儲(chǔ)原廠與臺(tái)積電比以往更加緊密的聯(lián)系在一起。


優(yōu)異性能把持下，HBM勢(shì)不可擋

業(yè)界有把HBM歸入先進(jìn)封裝行列的，但更多是把HBM納入新型存儲(chǔ)器中。HBM其全稱High Bandwidth Memory，根本而言，是指基于2.5/3D先進(jìn)封裝技術(shù)，把多塊DRAM Die像疊羅漢一樣堆疊起來的新型存儲(chǔ)器。至于行業(yè)將其歸入先進(jìn)封裝，則是因?yàn)槟壳皫缀跛械腍BM系統(tǒng)都高度綁定臺(tái)積電先進(jìn)封裝技術(shù)CoWos。

HBM通過2.5D CoWoS封裝和AI算力芯片結(jié)合，充分釋放算力性能。除了CoWoS先進(jìn)封裝技術(shù)外，業(yè)界目前還有許多強(qiáng)化HBM功能的在研先進(jìn)封裝技術(shù)，如臺(tái)積電的下一代晶圓系統(tǒng)平臺(tái)CoW-SoW、SK海力士的HBM以硅通孔技術(shù)（TSV：Through Silicon Via）、批量回流模制底部填充（MR-MUF：Mass Reflow-Molded Underfill）先進(jìn)封裝、三星的非導(dǎo)電薄膜熱壓縮TC-NCF（thermal compression with non-conductive film）等等。作為影響著HBM產(chǎn)業(yè)未來發(fā)展的封裝技術(shù)，下文還將會(huì)詳細(xì)介紹。

如上圖所示，HBM是由多個(gè)DRAM堆疊而成，主要利用TSV（硅通孔）和微凸塊（Micro bump）將裸片相連接，多層DRAM die再與最下層的Base die連接，然后通過凸塊（Bump）與硅中階層（interposer）互聯(lián)。同一平面內(nèi)，HBM與GPU、CPU或ASIC共同鋪設(shè)在硅中階層上，再通過CoWoS等2.5D先進(jìn)封裝工藝相互連接，硅中介層通過CuBump連接至封裝基板上，最后封裝基板再通過錫球與下方PCB基板相連。該產(chǎn)品巧妙的設(shè)計(jì)大大縮小了尺寸面積，容量擴(kuò)大的同時(shí)，實(shí)現(xiàn)了高帶寬、低延遲、低功耗的效果。

AI時(shí)代隨著計(jì)算需求的不斷提升，高端GPU、存儲(chǔ)器等需求供不應(yīng)求。當(dāng)前GPU補(bǔ)位CPU功能，并不斷強(qiáng)化自身算力。但是處理器的性能以每年大約55%速度快速提升，而內(nèi)存性能的提升速度則只有每年10%左右。目前傳統(tǒng)顯存GDDR5等也面臨著帶寬低、功耗高等瓶頸，GPU\CPU也算不過來了。

GPU顯存一般采用GDDR或者HBM兩種方案，但行業(yè)多數(shù)據(jù)顯示，HBM性能遠(yuǎn)超GDDR。此處來看看AMD關(guān)于HBM與DDR（Double Data Rate）內(nèi)存的參數(shù)對(duì)比，以業(yè)界最為火爆的GDDR5為例。

根據(jù)AMD數(shù)據(jù)，從顯存位寬來看，GDDR5為32-bit,HBM為其四倍，達(dá)到了1024-bit；從時(shí)鐘頻率來看，HBM為500MHz，遠(yuǎn)遠(yuǎn)小于GDDR5的1750MHz；從顯存帶寬來看，HBM的一個(gè)stack大于100GB/s,而GDDR5的一顆芯片為25GB/s。在數(shù)據(jù)傳輸速率上，HBM遠(yuǎn)高于GDDR5。而從空間利用角度來看，HBM由于與GPU封裝在一塊，從而大幅度減少了顯卡PCB的空間，而GDDR5芯片面積為HBM芯片三倍，這意味著HBM能夠在更小的空間內(nèi)，實(shí)現(xiàn)更大的容量。因此，HBM可以在實(shí)現(xiàn)高帶寬和高容量的同時(shí)節(jié)約芯片面積和功耗，被視為GPU存儲(chǔ)單元理想解決方案。

但是HBM對(duì)比GDDR5/DDR5等依舊存在一定劣勢(shì)。TrendForce集邦咨詢研究顯示，在相同制程及容量下，HBM顆粒尺寸較DDR5大35%~45%；良率（包含TSV封裝良率），則比起DDR5低約20%~30%；生產(chǎn)周期（包含TSV）較DDR5多1.5-2個(gè)月，整體從投片到產(chǎn)出與封裝完成需要兩個(gè)季度以上。從長遠(yuǎn)發(fā)展角度看，在AI浪潮之下，業(yè)界大廠率先考慮搶奪HBM就變得十分合理了。

據(jù)TrendForce集邦咨詢最新研究，三大原廠開始提高先進(jìn)制程的投片，繼存儲(chǔ)器合約價(jià)翻揚(yáng)后，公司資金投入開始增加，產(chǎn)能提升將集中在今年下半年，預(yù)期1alpha nm（含）以上投片至年底將占DRAM總投片比重約40%。其中，HBM由于獲利表現(xiàn)佳，加上需求持續(xù)看增，故生產(chǎn)順序最優(yōu)先。但受限于良率僅約50~60%，且晶圓面積相較DRAM產(chǎn)品，放大逾60%，意即所占投片比重高。以各家TSV產(chǎn)能來看，至年底HBM將占先進(jìn)制程比重35%，其余則用以生產(chǎn)LPDDR5(X)與DDR5產(chǎn)品。

目前HBM已然成為AI服務(wù)器、數(shù)據(jù)中心、汽車駕駛等高性能計(jì)算領(lǐng)域的標(biāo)配，未來其適用市場還在不斷拓寬。據(jù)TrendForce集邦咨詢研究顯示，產(chǎn)能方面，2023~2024年HBM占DRAM總產(chǎn)能分別是2%及5%，至2025年占比預(yù)估將超過10%。產(chǎn)值方面，2024年起HBM之于DRAM總產(chǎn)值預(yù)估可逾20%，至2025年占比有機(jī)會(huì)逾三成。展望2025年，由主要AI解決方案供應(yīng)商的角度來看，HBM規(guī)格需求大幅轉(zhuǎn)向HBM3e，且將會(huì)有更多12hi的產(chǎn)品出現(xiàn)，帶動(dòng)單芯片搭載HBM的容量提升。2024年的HBM需求位元年成長率近200%，2025年可望將再翻倍。


“連接”與“堆疊” ，3D混合鍵合成HBM新趨勢(shì)

HBM制造的核心，包括TSV和封裝，垂直堆疊等技術(shù)。

根據(jù)《半導(dǎo)體工藝與設(shè)備》介紹，TSV不采用傳統(tǒng)的布線方法來連接芯片與芯片，而是通過在芯片上鉆孔并填充金屬等導(dǎo)電材料以容納電極來垂直連接芯片。

在制作帶有TSV的晶圓后，通過封裝在其頂部和底部形成微凸塊，然后連接這些凸塊。由于 TSV 允許凸塊垂直連接，因此可以實(shí)現(xiàn)多芯片堆疊。

目前HBM的堆疊技術(shù)包括MR-MUF以及TC-NCF等：

其中，MR-MUF（向上堆疊方式，Mass Reflow – Molded Underfill），是指將半導(dǎo)體芯片堆疊后，為了保護(hù)芯片和芯片之間的電路，在其空間中注入液體形態(tài)的保護(hù)材料，并固化的封裝工藝技術(shù)。

與每堆疊一個(gè)芯片鋪上薄膜型材料的方式對(duì)比，工藝效率高，散熱方面也更有效；

具體步驟：

1、連接芯片的微凸塊采用金屬塑封材料；

2、一次性融化所有的微凸塊，連接芯片與電路；

3、芯片與芯片之間或者芯片與載板之間的間隙填充，絕緣和塑封同時(shí)完成。

而TC-NCF（Thermo Compression – Non-Conductive Film，非導(dǎo)電薄膜），是一種在芯片之間使用薄膜進(jìn)行堆疊的方法，與MR-MUF相比，該互連技術(shù)導(dǎo)熱率較低；速度較慢；

此前，SK 海力士在HBM2e中使用 TC-NCF。

而到了HBM4時(shí)代后，海力士正在加速開發(fā)新工藝“混合鍵合”（Hybrid Bonding ），并將成為未來新趨勢(shì)。

截止目前， HBM的DRAM芯片之間通過“微凸塊”材料進(jìn)行連接，通過混合鍵合，芯片可以在沒有凸塊的情況下連接，從而顯著減小芯片的厚度；

當(dāng)間距小到20um以內(nèi)，熱壓鍵合過程中細(xì)微傾斜使得釬料變形擠出而發(fā)生橋連短路，難以進(jìn)一步縮減互聯(lián)間距；

HBM芯片標(biāo)準(zhǔn)厚度為720um，預(yù)計(jì)2026年左右量產(chǎn)的第六代HBM4需要縱向垂直堆疊16層DRAM芯片，當(dāng)前的封裝技術(shù)很難讓客戶滿意，所以混合鍵合的應(yīng)用被認(rèn)為是必然的趨勢(shì)；

2023年海力士用于第三代HBM產(chǎn)品（HBM2e）測試混合鍵合技術(shù)，規(guī)格低于HBM4產(chǎn)品；

同時(shí)海力士擬計(jì)劃將新一代的HBM與邏輯芯片堆疊在一起，取消硅中介層。


HBM4取得革命性突破

在人工智能和高性能計(jì)算領(lǐng)域的驅(qū)動(dòng)下，對(duì)內(nèi)存帶寬的需求與日俱增。作為下一代高帶寬內(nèi)存技術(shù)，HBM4正在引領(lǐng)存儲(chǔ)革命，開啟性能的新境界。

主旨一: HBM4采用2048位寬內(nèi)存接口，理論帶寬可超1.5TB/s，接口位寬翻倍，傳輸速度再次大幅提升。這不僅有助于減少顯卡所需內(nèi)存堆棧數(shù)量，優(yōu)化設(shè)計(jì)，更為未來帶來無限可能。

三星電子、SK海力士和美光等龍頭企業(yè)正在為HBM4做最后的沖刺準(zhǔn)備。三星計(jì)劃在2025年推出HBM4產(chǎn)品，并將HBM產(chǎn)能大幅增加，到2026年將比2023年增長13.8倍。三星正在開發(fā)代號(hào)為＂雪亮＂的第六代HBM芯片，計(jì)劃將緩存芯片整合在內(nèi)存堆疊的底層，實(shí)現(xiàn)芯片級(jí)整合。

SK海力士則與臺(tái)積電簽署合作備忘錄，計(jì)劃在2026年量產(chǎn)HBM4產(chǎn)品。雙方將優(yōu)化SK海力士HBM與臺(tái)積電CoWoS先進(jìn)封裝技術(shù)的整合，共同應(yīng)對(duì)客戶需求。SK海力士預(yù)計(jì)到2030年，其HBM年出貨量將達(dá)到1億顆，并將在美國印第安納州建廠生產(chǎn)HBM。

美光公司表示，其HBM4將提供36GB和64GB兩種容量，帶寬為1.5-2TB/秒，但暫不考慮芯片級(jí)整合方案。美光正在加大HBM3E產(chǎn)能，并著手開發(fā)HBM4。

主旨二: HBM4有望與邏輯芯片整合，實(shí)現(xiàn)3D堆疊，可進(jìn)一步縮小尺寸，提高性能和容量。但散熱成為重大挑戰(zhàn)需解決。

SK海力士計(jì)劃將HBM4與GPU芯片整合，消除傳統(tǒng)HBM設(shè)置中的緩沖層，直接將HBM4堆疊在邏輯芯片上。這種創(chuàng)新方案雖然可簡化芯片設(shè)計(jì)、降低成本，但功耗和散熱問題亟待解決。

專家表示，如果在未來2-3代內(nèi)解決了發(fā)熱問題，HBM和GPU就能像一個(gè)整體一樣運(yùn)作，不再需要緩沖層。這也意味著內(nèi)存和邏輯芯片將共享相同的工藝技術(shù)，在同一制造廠生產(chǎn)，以確保最佳性能，但內(nèi)存成本將大幅上升。

業(yè)內(nèi)人士預(yù)測，在未來10年內(nèi)，＂半導(dǎo)體游戲規(guī)則＂可能會(huì)改變，內(nèi)存和邏輯芯片之間的區(qū)別將變得無關(guān)緊要。內(nèi)存和邏輯芯片的融合趨勢(shì)不可避免。

主旨三: 標(biāo)準(zhǔn)制定組織JEDEC放寬了HBM4高度限制，允許775微米高度，為混合鍵合技術(shù)留出時(shí)間，有利于內(nèi)存廠商推進(jìn)HBM4創(chuàng)新和應(yīng)用。

JEDEC決定將HBM4的12層和16層堆疊包裝厚度放寬至775微米，這對(duì)主要內(nèi)存制造商的未來封裝投資趨勢(shì)將產(chǎn)生重大影響。此前，制造商一直在為HBM4的720微米厚度限制做準(zhǔn)備，計(jì)劃采用新的混合鍵合技術(shù)。

如果包裝厚度放寬至775微米，16層DRAM堆疊的HBM4就可以使用現(xiàn)有的鍵合技術(shù)實(shí)現(xiàn)。這一調(diào)整可能會(huì)推遲混合鍵合技術(shù)的推出時(shí)間，或許要等到第七代HBM問世時(shí)才會(huì)采用。內(nèi)存廠商的工程師們將專注于現(xiàn)有鍵合技術(shù)的升級(jí)。

主旨四: 三家廠商在HBM4技術(shù)路線上存在分歧，但都在為獲得更大的市場份額而激烈競爭。

三星和SK海力士計(jì)劃采用芯片級(jí)整合，而美光暫不考慮這種方案。三家公司在客戶定制化需求、內(nèi)存與邏輯芯片的整合方式等問題上存在分歧。

他們都意識(shí)到HBM4對(duì)于AI和高性能計(jì)算的重要性。HBM4將為這些領(lǐng)域帶來極高的內(nèi)存帶寬，是未來發(fā)展的關(guān)鍵技術(shù)。三家廠商正在為獲得更大的市場份額而激烈競爭，他們都希望在這場技術(shù)革命中占據(jù)領(lǐng)先地位。

臺(tái)積電的最新封裝技術(shù)助陣

在北美技術(shù)研討會(huì)上，臺(tái)積電推出了下一代晶圓系統(tǒng)平臺(tái)——CoW-SoW——該平臺(tái)將實(shí)現(xiàn)與晶圓級(jí)設(shè)計(jì)的 3D 集成。該技術(shù)建立在臺(tái)積電 2020 年推出的 InFO_SoW 晶圓級(jí)系統(tǒng)集成技術(shù)的基礎(chǔ)上，該技術(shù)使其能夠構(gòu)建晶圓級(jí)邏輯處理器。到目前為止，只有特斯拉在其 Dojo 超級(jí)計(jì)算機(jī)中采用了這項(xiàng)技術(shù)，臺(tái)積電表示該計(jì)算機(jī)現(xiàn)已投入生產(chǎn)。

在即將推出的 CoW-SoW 平臺(tái)中，臺(tái)積電將在其晶圓系統(tǒng)平臺(tái)中合并兩種封裝方法——InFO_SoW 和集成芯片系統(tǒng) (SoIC)。通過使用晶圓上芯片 (CoW) 技術(shù)，該方法將能夠?qū)⒋鎯?chǔ)器或邏輯直接堆疊在晶圓上系統(tǒng)之上。新的CoW_SoW技術(shù)預(yù)計(jì)將在2027年實(shí)現(xiàn)大規(guī)模生產(chǎn)，但實(shí)際產(chǎn)品何時(shí)上市還有待觀察。

據(jù)了解，臺(tái)積電的CoW-SoW專注于將晶圓級(jí)處理器與HBM4內(nèi)存集成。這些下一代內(nèi)存堆棧將采用 2048 位接口，這使得將 HBM4 直接集成在邏輯芯片頂部成為可能。同時(shí)，在晶圓級(jí)處理器上堆疊額外的邏輯以優(yōu)化成本也可能是有意義的。

“因此，在未來，使用晶圓級(jí)集成[將允許]我們的客戶將更多的邏輯和存儲(chǔ)器集成在一起，”臺(tái)積電業(yè)務(wù)開發(fā)副總裁Kevin Zhang說?！癝oW 不再是虛構(gòu)的；我們已經(jīng)與客戶合作生產(chǎn)一些已經(jīng)到位的產(chǎn)品。我們認(rèn)為，通過利用我們先進(jìn)的晶圓級(jí)集成技術(shù)，我們可以為客戶提供非常重要的產(chǎn)品使他們能夠繼續(xù)增強(qiáng)能力，為他們的人工智能集群或[超級(jí)計(jì)算機(jī)]引入更多計(jì)算、更節(jié)能的計(jì)算?！?/span>

一般而言，晶圓級(jí)處理器（即 Cerebras 的 WSE），特別是基于 InFO_SoW 的處理器，可提供顯著的性能和效率優(yōu)勢(shì)，包括高帶寬和低延遲的核心到核心通信、低功率傳輸網(wǎng)絡(luò)阻抗以及高能源效率。作為額外的好處，此類處理器還具有“額外”核心形式的額外冗余。

然而，InFO_SoW技術(shù)有一定的局限性。例如，使用這種方法制造的晶圓級(jí)處理器完全依賴于片上存儲(chǔ)器，這可能無法滿足未來人工智能的需求（但目前來說很好）。CoW-SoW 將解決這個(gè)問題，因?yàn)樗鼘⒃试S將 HBM4 放置在此類晶圓上。此外，InFO_SoW晶圓采用單節(jié)點(diǎn)加工，該節(jié)點(diǎn)不支持3D堆疊，而CoW-SoW產(chǎn)品將支持3D堆疊。