根據(jù)市場(chǎng)研究公司 Gartner 的最新預(yù)測(cè)，2023 年全球用于 AI 的硬件銷(xiāo)售收入預(yù)計(jì)將同比增長(zhǎng) 20.9%，達(dá)到 534 億美元（當(dāng)前約 3887.52 億元人民幣）。

Gartner 表示，生成式 AI 的發(fā)展和各種基于 AI 的應(yīng)用在數(shù)據(jù)中心、邊緣基礎(chǔ)設(shè)施和端點(diǎn)設(shè)備中的廣泛使用，需要部署 GPU 和“優(yōu)化的半導(dǎo)體設(shè)備”，這將推動(dòng) AI 芯片的生產(chǎn)和部署。

Gartner 預(yù)計(jì)，AI 半導(dǎo)體收入將在預(yù)測(cè)期內(nèi)繼續(xù)保持兩位數(shù)增長(zhǎng)，2024 年將增長(zhǎng) 25.6%，達(dá)到 671 億美元（IT之家備注：當(dāng)前約 4884.88 億元人民幣），到 2027 年，AI 芯片收入預(yù)計(jì)將比 2023 年的市場(chǎng)規(guī)模增長(zhǎng)一倍以上，達(dá)到 1194 億美元（當(dāng)前約 8692.32 億元人民幣）。

Gartner 表示，隨著企業(yè)中 AI 工作負(fù)載使用的成熟，許多更多的行業(yè)和 IT 組織將部署包含 AI 芯片的系統(tǒng)。消費(fèi)電子市場(chǎng)方面，Gartner 估計(jì)，到 2023 年底，用于設(shè)備的 AI 啟用的應(yīng)用處理器的價(jià)值將達(dá)到 12 億美元（當(dāng)前約 87.36 億元人民幣），而 2022 年為 5.58 億美元（當(dāng)前約 40.62 億元人民幣）。


ChatGPT催生算力新機(jī)遇

云邊端AI芯片熱戰(zhàn)大模型

ChatGPT掀起生成式AI熱潮后，大算力芯片迎來(lái)前所未有的發(fā)展機(jī)遇，新的挑戰(zhàn)也接踵而來(lái)。

高通AI產(chǎn)品技術(shù)中國(guó)區(qū)負(fù)責(zé)人萬(wàn)衛(wèi)星分享了高通對(duì)生成式AI未來(lái)發(fā)展趨勢(shì)的觀察：隨著云端處理生成式AI的成本不斷提升，未來(lái)云經(jīng)濟(jì)將難以支撐生成式AI的規(guī)模化發(fā)展。此外，基礎(chǔ)模型正在向多模態(tài)擴(kuò)展，模型能力越來(lái)越強(qiáng)大，而垂直領(lǐng)域模型的參數(shù)量也正在變得越來(lái)越小。未來(lái)，豐富的生成式AI模型將在終端側(cè)運(yùn)行，讓大眾享受到生成式AI帶給生活、工作、娛樂(lè)上的變革。

NVIDIA解決方案與架構(gòu)技術(shù)總監(jiān)張瑞華認(rèn)為：“生成式AI和大模型是人工智能目前最重要的領(lǐng)域，也是對(duì)算力資源需求最高的人工智能應(yīng)用。由于模型的訓(xùn)練和推理的計(jì)算范式都發(fā)生了變革，所以現(xiàn)實(shí)算力資源和模型發(fā)展所需要的理想算力資源之間還有很大的差距。隨著用戶(hù)空間的巨量增長(zhǎng)，還需考慮成本、實(shí)時(shí)性等問(wèn)題。這是生成式AI和大模型時(shí)代所面臨的計(jì)算挑戰(zhàn)?！?/span>

芯片巨頭AMD在MI Instinct GPU方面擁有大量的技術(shù)積累以及基于CDNA3的架構(gòu)創(chuàng)新。AMD人工智能事業(yè)部高級(jí)總監(jiān)王宏強(qiáng)談道，AMD在單個(gè)GPU能做到上千T的浮點(diǎn)算力規(guī)模，通過(guò)多節(jié)點(diǎn)橫向擴(kuò)展，更是能達(dá)到每秒百億億次浮點(diǎn)計(jì)算能力（EFLOPS），并提供額外的超大內(nèi)存容量及帶寬，可實(shí)現(xiàn)700億參數(shù)級(jí)大模型在單個(gè)GPU上的部署，并達(dá)到更高的TCO（總擁有成本）。

王宏強(qiáng)也特別強(qiáng)調(diào)了易用AI軟件以及強(qiáng)大的開(kāi)放軟件生態(tài)的重要性，它是釋放這些創(chuàng)新硬件性能的關(guān)鍵。AMD通過(guò)統(tǒng)一AI軟件實(shí)現(xiàn)跨平臺(tái)AI部署，以開(kāi)放和模塊化的方式構(gòu)建軟件解決方案，從而擁抱更高層次的抽象，并與最重要的生態(tài)系統(tǒng)（PyTorch, ONNX, Triton HuggingFace等）合作對(duì)接推動(dòng)開(kāi)箱即用的用戶(hù)體驗(yàn)。

云端AI芯片獨(dú)角獸企業(yè)燧原科技也在積極備戰(zhàn)大模型算力需求。其創(chuàng)始人兼COO張亞林談道，參數(shù)量高達(dá)數(shù)千億的大模型，依賴(lài)分布式計(jì)算、更大的內(nèi)存容量和帶寬、更高算力、更實(shí)惠的成本或性?xún)r(jià)比，對(duì)AI芯片生態(tài)提出更高要求。

他打了一個(gè)形象的比喻：Transformer正通過(guò)統(tǒng)一的大模型，濃縮出一個(gè)“大樹(shù)型”的AIGC平臺(tái)生態(tài)，算力是“樹(shù)根”，大模型是“樹(shù)干”，行業(yè)模型庫(kù)是“樹(shù)枝”，應(yīng)用是“樹(shù)葉”。相比原來(lái)碎片化的CV、NLP中小模型，大模型的“大樹(shù)型”生態(tài)的算力需求更加明確和聚焦。對(duì)此，他倡導(dǎo)聯(lián)合生態(tài)伙伴，通過(guò)統(tǒng)一的大模型技術(shù)生態(tài)棧解決算力瓶頸問(wèn)題。

奎芯科技聯(lián)合創(chuàng)始人兼副總裁王曉陽(yáng)談道，大模型推理的關(guān)鍵瓶頸在于內(nèi)存帶寬，目前主流的AI大算力芯片均采用HBM作為內(nèi)存首選，采用HBM離不開(kāi)先進(jìn)封裝，在散熱、工藝、產(chǎn)能等方面均受到一定限制。據(jù)他分享，采用基于UCle接口的AI大算力芯片架構(gòu)可突破HBM的互聯(lián)的局限。

作為存算一體AI大算力芯片企業(yè)的代表，億鑄科技的創(chuàng)始人、董事長(zhǎng)兼CEO熊大鵬分享道，AI應(yīng)用進(jìn)入2.0時(shí)代， 一大突出問(wèn)題是大模型帶來(lái)巨量數(shù)據(jù)搬運(yùn)，大算力芯片的競(jìng)爭(zhēng)核心會(huì)逐漸轉(zhuǎn)向破除“存儲(chǔ)墻”，存算一體超異構(gòu)成為“換道超車(chē)”的可行路徑。

端側(cè)和邊緣側(cè)的芯片企業(yè)同樣看到大模型的機(jī)遇與需求。面向日益增長(zhǎng)的算力需求，在邊緣和中心側(cè)，鯤云科技用可重構(gòu)數(shù)據(jù)流技術(shù)路徑來(lái)解決大模型算力需求攀升的問(wèn)題，通過(guò)芯片底層架構(gòu)革新，將芯片利用率大幅提升，這種方法能滿(mǎn)足架構(gòu)內(nèi)海量數(shù)據(jù)的計(jì)算需求，提供高性能、高性?xún)r(jià)比、低延時(shí)的實(shí)時(shí)處理。

高通萬(wàn)衛(wèi)星談道，與云端相比，終端側(cè)跑大模型擁有諸多優(yōu)勢(shì)，包括成本、能耗、可靠性、時(shí)延和性能、隱私和安全，以及個(gè)性化等。而終端側(cè)AI與云端AI相互配合的混合AI架構(gòu)，是讓生成式AI實(shí)現(xiàn)全球規(guī)?；瘮U(kuò)展的關(guān)鍵?！澳壳拔覀兡軌蛑С謪?shù)超過(guò)10億的模型在終端上運(yùn)行，未來(lái)幾個(gè)月內(nèi)超過(guò)100億參數(shù)的模型將有望在終端側(cè)運(yùn)行。”他分享說(shuō)，高通不斷提升端側(cè)AI能力，從而提高終端支持大模型的參數(shù)閾值，讓更多云端生成式AI用例向邊緣側(cè)和端側(cè)遷移，這將真正釋放生成式AI的潛力。


IC大廠(chǎng)加速布局AI芯片

有初創(chuàng)公司表示，已感受到來(lái)自聯(lián)發(fā)科、聯(lián)詠和瑞昱等IC設(shè)計(jì)廠(chǎng)商的壓力，這些廠(chǎng)商均在加緊開(kāi)發(fā)AI芯片。消息人士稱(chēng)，AI處理器針對(duì)不同的應(yīng)用有不同的等級(jí)，邊緣AI芯片的性能要求已能夠與中高端智能手機(jī)AP（應(yīng)用處理器）相媲美。

意法半導(dǎo)體（ST）推出了邊緣AI加速微處理器——第二代STM32 MPU。該處理器提高了工業(yè)和物聯(lián)網(wǎng)邊緣應(yīng)用的性能和安全性，預(yù)計(jì)將于2024上半年批量生產(chǎn)。

意法半導(dǎo)體執(zhí)行副總裁Ricardo De Sa Earp表示：“新的微處理器進(jìn)一步加大了公司在應(yīng)用處理器方面的投資，將64位內(nèi)核與邊緣AI加速、高級(jí)多媒體功能、圖形處理和數(shù)字連接相結(jié)合?！?/span>

同樣瞄準(zhǔn)邊緣AI芯片領(lǐng)域的大廠(chǎng)還有英飛凌。日前，英飛凌宣布收購(gòu)初創(chuàng)公司Imagimob，后者是一家邊緣設(shè)備機(jī)器學(xué)習(xí)解決方案提供商，專(zhuān)注于邊緣AI市場(chǎng)。公告提到，通過(guò)此次收購(gòu)，英飛凌將顯著補(bǔ)強(qiáng)其AI產(chǎn)品。

除了芯片端，大模型玩家也在加速布局移動(dòng)/邊緣端的相關(guān)應(yīng)用。日前舉辦的谷歌I/O大會(huì)上，谷歌宣布其PaLM2大模型的最輕量化版本Gecko可在移動(dòng)端運(yùn)行，開(kāi)拓了AI模型在邊緣側(cè)推理的場(chǎng)景。對(duì)此，民生證券表示，在邊緣側(cè)推理的輕量化大語(yǔ)言模型有望帶動(dòng)邊緣AI計(jì)算成長(zhǎng)，加速邊緣硬件市場(chǎng)更新迭代。

事實(shí)上，隨著以ChatGPT為代表的AI大模型的衍生應(yīng)用不斷推出，許多終端開(kāi)始實(shí)現(xiàn)智能化體驗(yàn)的升級(jí)，從而產(chǎn)生了海量的終端數(shù)據(jù)分析處理需求。在此背景下，邊緣端AI應(yīng)運(yùn)而生。此外，邊緣算力還具備低時(shí)延、高安全、隱私性較好等優(yōu)勢(shì)，符合未來(lái)AIGC時(shí)代，對(duì)于AI創(chuàng)作所有權(quán)及隱私權(quán)的要求。

在本月初DIGITIMES的相關(guān)報(bào)道中，有業(yè)內(nèi)人士指出，AI應(yīng)用的關(guān)鍵在于邊緣化。ChatGPT等文本大模型以及MidJourney、Stable Diffusion等文生圖大模型的相關(guān)功能，如果能夠直接在邊緣運(yùn)算中實(shí)現(xiàn)，其帶來(lái)的芯片商機(jī)就會(huì)非常龐大。


國(guó)產(chǎn)邊緣SoC芯片即將量產(chǎn)

8月28日，在“第三屆滴水湖中國(guó)RISC-V產(chǎn)業(yè)論壇”上，國(guó)內(nèi)知名人工智能技術(shù)廠(chǎng)商云天勵(lì)飛介紹了其新一代邊緣大算力AP級(jí)邊緣SoC芯片Edge10V，目前已經(jīng)接近量產(chǎn)狀態(tài)。

作為國(guó)內(nèi)首批人工智能（AI）技術(shù)廠(chǎng)商，成立于2014年的云天勵(lì)飛最初是主攻AI算法，通過(guò)攝像頭、端云協(xié)同的架構(gòu)來(lái)做海量圖片的分析與處理，因此算法的泛化能力相對(duì)較弱，所以對(duì)于設(shè)備的調(diào)試要求就比較高，需要到各地去幫助客戶(hù)調(diào)試，這在當(dāng)時(shí)耗費(fèi)了云天勵(lì)飛很大的一部分精力。這也促使了云天勵(lì)飛開(kāi)始來(lái)做自研芯片，將自己的AI算法芯片化。

2018年，云天勵(lì)飛就成功推出了自研的第一代面向嵌入式端的邊緣AI芯片DeepEye1000，并且在當(dāng)年8月一次性流片成功，在2019年正式商用。DeepEye1000基于國(guó)產(chǎn)高性能RISC-V CPU內(nèi)核IP，內(nèi)置了自主產(chǎn)權(quán)的神經(jīng)網(wǎng)絡(luò)處理器，支持靈活可編程計(jì)算流，搭載云天勵(lì)飛自主研發(fā)的深度定制指令集，可以實(shí)現(xiàn)高性能、低功耗的CNN網(wǎng)絡(luò)模型推理計(jì)算加速，滿(mǎn)足視覺(jué)AI算法實(shí)時(shí)性處理的性能要求。

從2015年至今，云天勵(lì)飛已經(jīng)完成了三代指令集架構(gòu)，4代神經(jīng)網(wǎng)絡(luò)處理器架構(gòu)的研發(fā)。2022年，云天勵(lì)飛自研的新一代邊緣AI SoC芯片——Edge10V流片成功，今年開(kāi)始在做產(chǎn)品化相關(guān)的工作，目前已經(jīng)接近準(zhǔn)量產(chǎn)狀態(tài)。

據(jù)介紹，Edge10V是一款采用自主可控的純國(guó)產(chǎn)工藝，內(nèi)置國(guó)產(chǎn)RISC-V內(nèi)核（主頻1.2GHz），內(nèi)置云天勵(lì)飛第四代自主知識(shí)產(chǎn)權(quán) NPU NNP400T（int8算力可達(dá)12Tops）的AI SoC芯片，其中還包括GPU和MM，支持雙顯等各類(lèi)外設(shè)，支持邊緣CV大模型的推理部署,因而可以獨(dú)立完成各邊緣計(jì)算場(chǎng)景的任務(wù)。

“ Edge10V的芯片實(shí)際上是系列化的芯片。有兩大特色：1、支持Chiplet多芯粒擴(kuò)展、支持大算力。作為國(guó)內(nèi)首顆D2D高速互聯(lián)Chiplet商用芯片，滿(mǎn)足國(guó)產(chǎn)Chiplet UCIE標(biāo)準(zhǔn)。2、純國(guó)產(chǎn)AI芯片。我們采用了國(guó)產(chǎn)的工藝、國(guó)產(chǎn)的封裝，由國(guó)內(nèi)工廠(chǎng)完成國(guó)內(nèi)生產(chǎn)制造交付。作為一款A(yù)P級(jí)邊緣AI SoC，Edge10V不僅可以支持AI計(jì)算，也可以支持雙千兆網(wǎng)口，支持不同傳感器的接入。另外，我們是有X8 PCle3.0接口可以支持不同的外設(shè)擴(kuò)展。在CPU的部分，我們也是選擇了帶矢量處理器的這么一個(gè)RISC-V CPU?！痹铺靹?lì)飛芯片BD總監(jiān)張福林進(jìn)一步解釋道。

另外，云天勵(lì)飛也為Edge10V配套了相對(duì)應(yīng)的軟件棧，其中核心的一個(gè)部分就是與異構(gòu)的芯片架構(gòu)有匹配的軟件設(shè)計(jì)，可以很好的去做一些調(diào)度。另外，對(duì)于計(jì)算資源，也能通過(guò)合理的分配到不同的硬件加速器里面去運(yùn)行。同時(shí)，Edge10V還有比較豐富的中間件的支持。包括：機(jī)器人行業(yè)用的比較多的ROS、ROS2等相關(guān)的東西?？梢灾С直容^好的面向不同場(chǎng)景的邊緣計(jì)算應(yīng)用，以及低速自動(dòng)駕駛方向的機(jī)器人應(yīng)用。

在AI工具鏈、模型的支持方面，Edge10V可以支持Pytorch/Onnx/Caffe等主流模型框架，支持CNN/RNN/Transformer/GNN等深度學(xué)習(xí)網(wǎng)絡(luò)模型。

在商業(yè)模式方面，云天勵(lì)飛不僅可以直接對(duì)外提供Edge10V芯片，同時(shí)也可以對(duì)外提供一些列的模組產(chǎn)品，包括針對(duì)嵌入式設(shè)備的Mini PCle加速卡，可廣泛應(yīng)用于AIoT邊緣視頻、移動(dòng)機(jī)器人等場(chǎng)景。也可以應(yīng)用到一些邊緣服務(wù)器的產(chǎn)品，做一些高密視頻的推理。