8月12日，華為在“2025金融AI推理應(yīng)用落地與發(fā)展論壇”上發(fā)布其AI推理創(chuàng)新技術(shù)UCM（推理記憶數(shù)據(jù)管理器），通過創(chuàng)新架構(gòu)設(shè)計(jì)降低對(duì)高帶寬內(nèi)存（HBM）的依賴，提升國(guó)產(chǎn)大模型推理性能，推動(dòng)AI產(chǎn)業(yè)自主化進(jìn)程。

該技術(shù)以KV Cache為中心，融合了多類型緩存加速算法工具，對(duì)推理過程中產(chǎn)生的KV Cache記憶數(shù)據(jù)進(jìn)行分級(jí)管理，旨在擴(kuò)大推理上下文窗口，實(shí)現(xiàn)高吞吐、低時(shí)延的推理體驗(yàn)，同時(shí)降低每Token的推理成本。

據(jù)介紹，推理體驗(yàn)直接關(guān)系到用戶與AI交互時(shí)的感受，包括回答問題的時(shí)延、答案的準(zhǔn)確度以及復(fù)雜上下文的推理能力等方面。當(dāng)前，隨著AI產(chǎn)業(yè)已從“追求模型能力的極限”轉(zhuǎn)向“追求推理體驗(yàn)的最優(yōu)化”，推理體驗(yàn)直接關(guān)聯(lián)用戶滿意度、商業(yè)可行性等，成為衡量模型價(jià)值的黃金標(biāo)尺。

該技術(shù)采用“內(nèi)存訪問重構(gòu)”“計(jì)算架構(gòu)革新”“軟硬協(xié)同閉環(huán)”三大創(chuàng)新，通過分布式內(nèi)存池化、超節(jié)點(diǎn)級(jí)聯(lián)架構(gòu)等技術(shù)優(yōu)化數(shù)據(jù)流，顯著提升推理效率。

當(dāng)前全球HBM市場(chǎng)由三星、SK海力士等主導(dǎo)，且受到美國(guó)出口政策的影響。根據(jù)2024年12月2日發(fā)布的新規(guī)，美國(guó)禁止向中國(guó)出口HBM2E（第二代HBM的增強(qiáng)版）及以上級(jí)別的HBM芯片。不僅美國(guó)本土生產(chǎn)的HBM芯片受到限制，任何在海外生產(chǎn)但使用了美國(guó)技術(shù)的HBM芯片也受到出口管制。該禁令于2025年1月2日正式生效。

而這一技術(shù)不僅提升了推理效率，還可能減少對(duì)HBM（高帶寬內(nèi)存）技術(shù)的依賴，提升國(guó)內(nèi)AI大模型的推理性能，完善中國(guó)AI推理生態(tài)的關(guān)鍵部分。

華為在AI推理領(lǐng)域的技術(shù)突破并非首次，此前已有多項(xiàng)成果，如與北京大學(xué)聯(lián)合發(fā)布的DeepSeek全棧開源推理方案，以及在昇騰平臺(tái)上實(shí)現(xiàn)的多項(xiàng)性能突破。此外，華為與科大訊飛的合作也取得了顯著成果，實(shí)現(xiàn)了國(guó)產(chǎn)算力上MoE模型的大規(guī)模跨節(jié)點(diǎn)專家并行集群推理，使推理吞吐提升3.2倍，端到端時(shí)延降低50%。

華為此次發(fā)布的UCM技術(shù)不僅在技術(shù)層面有所創(chuàng)新，還可能對(duì)相關(guān)產(chǎn)業(yè)鏈產(chǎn)生積極影響，推動(dòng)半導(dǎo)體、軟件開發(fā)、計(jì)算機(jī)設(shè)備等領(lǐng)域的結(jié)構(gòu)性機(jī)會(huì)。

華為發(fā)布的UCM技術(shù)旨在通過優(yōu)化推理過程中的數(shù)據(jù)管理，提升AI推理的效率和性能，為AI在金融、醫(yī)療、交通等領(lǐng)域的廣泛應(yīng)用提供支持。