2022年11月30日，美國人工智能研究公司OpenAI發(fā)布人工智能聊天機器人ChatGPT，推出不久便在全球范圍內(nèi)爆火。短短5天，ChatGPT的注冊用戶數(shù)就超過100萬，2023年1月末月活用戶突破1億，成為史上增長最快的消費者應用。從用戶體驗來看， ChatGPT不僅能實現(xiàn)流暢的文字聊天，還可以勝任翻譯、作詩、寫新聞、做報表、編代碼等相對復雜的語言工作。

然而，技術(shù)進步是不會停止的。

僅僅過了三個多月，2023年3月15日，OpenAI發(fā)布了ChatGPT的最新“升級版本”—— GPT4模型，再次引爆社交媒體。比起ChatGPT，GPT-4擁有更強大的識圖能力，文字輸入的上限提升到了2.5萬字，它能更加流暢準確地回答用戶的問題，能寫歌詞，寫創(chuàng)意文本，且風格多變。實驗表明，GPT-4在部分專業(yè)測試和學術(shù)基準上，表現(xiàn)出了與人類相當?shù)乃健?/span>

圖片來源網(wǎng)絡

是的，它變的更加“聰明”了。

不同于以往高高在上的實驗室研究成果，這次AI變革的成果正在迅速落地并走向商業(yè)化。據(jù)路透社報道，OpenAI在2022年的收入預計只有約8000萬美元。不過OpenAI表示，到2024年，OpenAI的收入有望提高到10億美元。紅杉資本預測：ChatGPT這類生成式AI工具，讓機器開始大規(guī)模涉足知識類和創(chuàng)造性工作，未來預計能夠產(chǎn)生數(shù)萬億美元的經(jīng)濟價值。

在3月21日晚的GTC開發(fā)者大會上，NVIDIA創(chuàng)始人兼首席執(zhí)行官黃仁勛表示，“我們正處于AI的iPhone時刻，”

AIGC商業(yè)化撬動萬億AI市場

AIGC(AI Generated Content)即人工智能自動生成內(nèi)容，可以在創(chuàng)意、表現(xiàn)力、迭代、傳播、個性化等方面，充分發(fā)揮技術(shù)優(yōu)勢，打造新的數(shù)字內(nèi)容生成與交互形態(tài)。GPT系列是AIGC的一種商業(yè)化方向。

AIGC也被認為是繼UGC、PGC/UGC之后的新型內(nèi)容生產(chǎn)方式。UGC是用戶生成內(nèi)容，起源于Web2.0時代，例如博客、視頻分享、Youtube等應用方案；PGC/UGC分別指專業(yè)生產(chǎn)內(nèi)容與職業(yè)生成內(nèi)容，例如視頻創(chuàng)收平臺優(yōu)酷、土豆平臺節(jié)目《暴走漫畫》、《萬萬沒想到》、或是抖音、快手等用戶生產(chǎn)內(nèi)容。AIGC在創(chuàng)作成本上具有顛覆性，而且具備降本增效的多重優(yōu)勢，并且有望解決目前PGC/UGC創(chuàng)作質(zhì)量參差不齊或是降低其有害性內(nèi)容傳播等問題，同時創(chuàng)意激發(fā)，提升內(nèi)容多樣性。此外，價格上OpenAI最貴的AIGC語言模型達芬奇為每0.02美元750個單詞，AIGC圖型模型價格僅為0.020美元一張。

AIGC 應用場景

資料來源: 中國信息通信研究院, 京東探索研究院

下一代互聯(lián)網(wǎng)業(yè)態(tài)對內(nèi)容產(chǎn)出效率、內(nèi)容消費的蓬勃需求，將驅(qū)動 AIGC 快速發(fā)展。結(jié)合Gartner 及 Acumen Research and Consulting 預測， 2025 年 AIGC 滲透率將達 10%，至2030 年 AIGC 市場規(guī)模達 1108 億美元 ，對應 2021-2030 年 CAGR 達 34%。其中，對話式AI 預計 2030 年市場規(guī)模達 34 億美元，而2021 年僅為 5.2 億美元。當前 AIGC 企業(yè)變現(xiàn)模式主要為：訂閱付費(每月訂閱)、按量收費(數(shù)據(jù)請求量、計算量、圖片張數(shù)、模型訓練次數(shù)等)，未來 MaaS（模型即服務）有望復制 SaaS 企服路線迎來需求爆發(fā)奇點 。

數(shù)據(jù)來源：Acumen Research and Consulting

群雄逐鹿，中美AI模型軍備競賽正在升級

AIGC的發(fā)展離不開AI 模型。AI 模型最初是針對特定應用場景需求進行訓練（即小模型）。小模型的通用性差，換到另一個應用場景中可能并不適用，需要重新訓練，這牽涉到很多調(diào)參、調(diào)優(yōu)的工作及成本。同時，由于模型訓練需要大規(guī)模的標注數(shù)據(jù)，在某些應用場景的數(shù)據(jù)量少，訓練出來的模型精度不理想的情況，這使得 AI 研發(fā)成本高，效率低的情況。

直到2017 年，由Google Brain 團隊推出深度學習模型Transformer，采用自注意力機制， 對輸入數(shù)據(jù)的每一部分的重要性進行差異加權(quán)，主要用于自然語言處理(NLP) 和計算機視覺(CV)領(lǐng)域。目前，基于Transformer的預訓練語言模型已成為NLP領(lǐng)域的主流。ChatGPT是一個出色的NLP新模型。

Transformer的Encoder-Decoder示意圖

資料來源：《Attention is All You Need》（Google）

眾所周知，GPT-4是一個多模態(tài)大模型，那到底什么是多模態(tài)呢？

模態(tài)是一種社會性、文化性的資源，是物質(zhì)媒體經(jīng)過時間塑造而形成的意義潛勢。從社會符號學的角度上對模態(tài)的認知可以是聲音、文字和圖像等。人類通過眼睛、耳朵、觸覺等各種感覺器官接觸世界，每種信息的來源或形式都可以稱之為模態(tài)。同時，模態(tài)也可以是與人類通過自身的感覺器官從外部得到的信息，比如說嗅覺、視覺、聽覺等。隨著人工智能領(lǐng)域機器學習、深度學習的不斷發(fā)展，研究內(nèi)容的不斷增加和更新，逐漸也賦予了模態(tài)新的定義，即機器對包含數(shù)據(jù)表征模式、數(shù)據(jù)收集模式、數(shù)據(jù)特征主體這3個外部信息的感知模式或信息信道。

多模態(tài)機器學習（MultiModal Machine Learning, MMML）研究包含不同模態(tài)數(shù)據(jù)的機器學習問題，一般的模態(tài)有視覺、文字和聲音。它們通常來自不同的傳感器，數(shù)據(jù)的形成方式和內(nèi)部結(jié)構(gòu)有很大的不同。例如，圖像是存在于自然界中的連續(xù)空間，文本是依賴于人類知識、語法規(guī)則而組織起來的離散空間。多模態(tài)機器學習是指通過機器學習的方法實現(xiàn)處理、理解及融合多源模態(tài)信息的能力。目前比較熱門的研究方向是文本-圖像的模型及應用。

隨著ChatGPT的爆火以及多模態(tài)大模型GPT-4的推出，中美AI模型軍備競賽正在升級。

美國憑借在模型迭代和算力上的先發(fā)優(yōu)勢，聚焦大模型 API 的基礎(chǔ)設(shè)施層開發(fā)，帶動信息產(chǎn)業(yè)和科學行業(yè)發(fā)展，并加速商業(yè)化。中國公司在 AI 數(shù)據(jù)及大模型參數(shù)量層面與美國差距較小，但模型迭代和訓練仍有較大提升空間，大部分平臺更加聚焦 AIGC 內(nèi)容和應用端。

美國主要大模型包括 OpenAI 的 GPT-3、 Anthropic 的 Claude、英偉達與微軟的 Megatron Turing-NLG 以及 Meta 的 OPT 等。其中，OpenAI 已經(jīng)上線了 GPT-4，據(jù)傳參數(shù)量將達到萬億級。Google 把 GPT 系列模型作為紅線，并全力投入 LLM（大語言模型）模型的構(gòu)建。

中國大模型主要包括百度文心、華為盤古、阿里通義、騰訊混云以及商湯的視覺模型等。百度推出文心大模型，基本實現(xiàn)跨模態(tài)和多下游多領(lǐng)域的應用，目前已上線文心一言。華為通過模型泛化，解決傳統(tǒng)AI 作坊式開放模式下不能解決的 AI 規(guī)?；彤a(chǎn)業(yè)化難題。

資料來源：各公司官網(wǎng)，芯八哥整理

整體來看，美國在模型上仍具有先發(fā)優(yōu)勢，源于長時間的技術(shù)迭代和數(shù)據(jù)累積。從 2018 年發(fā)布 GPT 1.0，到 2021 年發(fā)布 GPT-3.5 和 Instruct GPT， OpenAI 已形成了一系列海量數(shù)據(jù)積累和訓練模型，2023年3月發(fā)布的GPT-4 版本(據(jù)傳萬億級參數(shù)量)。雖然當前部分中國大模型參數(shù)量能達到千億級乃至萬億級，但數(shù)據(jù)質(zhì)量及訓練模型尚需時間精進。

半導體產(chǎn)業(yè)機會：GPU主導千億AI芯片市場

OpenAI預計人工智能科學研究要想取得突破，所需要消耗的計算資源每3~4個月就要翻一倍，資金也需要通過指數(shù)級增長獲得匹配。在算力方面，GPT-3.5在微軟Azure AI超算基礎(chǔ)設(shè)施（由V100GPU組成的高帶寬集群）上進行訓練，總算力消耗約 3640PF-days（即每秒一千萬億次計算，運行3640天）。在大數(shù)據(jù)方面，GPT-2用于訓練的數(shù)據(jù)取自于Reddit上高贊的文章，數(shù)據(jù)集共有約800萬篇文章，累計體積約40G；GPT-3模型的神經(jīng)網(wǎng)絡是在超過45TB的文本上進行訓練的，數(shù)據(jù)相當于整個維基百科英文版的160倍。按照量子位給出的數(shù)據(jù)，將一個大型語言模型（LLM）訓練到GPT-3級的成本高達460萬美元。

最新的GPT3.5在訓練中使用了微軟專門建設(shè)的AI計算系統(tǒng)，由1萬個英偉達V100 GPU組成的高性能網(wǎng)絡集群，總算力消耗約3640PFdays（PD） ， 即假如每秒計算一千萬億（1020） 次，需要計算3640天。采購一片英偉達頂級GPU成本為8萬元，GPU服務器成本通常超過40萬元。對于ChatGPT而言，支撐其算力基礎(chǔ)設(shè)施至少需要上萬顆英偉達GPU A100，一次模型訓練成本超過1200萬美元。

數(shù)據(jù)來源：根據(jù)公開資料，芯八哥整理

伴隨著人工智能應用場景的多元化，新算法、新模型不斷涌現(xiàn)，模型中的參數(shù)數(shù)量呈指數(shù)級增長，對算力的需求越來越大。AI芯片是AI算力的“心臟”。根據(jù)WSTS數(shù)據(jù)，2020年全球人工智能芯片市場規(guī)模約為175億美元。隨著人工智能技術(shù)日趨成熟，數(shù)字化基礎(chǔ)設(shè)施不斷完善，人工智能商業(yè)化應用將加落地，推動AI芯片市場高速增長，預計2025年全球人工智能芯片市場規(guī)模將達到726億美元。

數(shù)據(jù)來源：WSTS

AI 芯片主要分為三種，分別是 GPU, FPGA 與 ASIC 芯片。不同種類別的 AI 計算芯片有各自突出的優(yōu)勢和適用的領(lǐng)域，貫穿 AI 訓練與推理階段。目前 CPU 在人工智能領(lǐng)域中的應用有限，主要受限于 CPU 在 AI 訓練方面的計算能力不足。

資料來源：各公司官網(wǎng)，芯八哥整理

目前來看，GPU 仍然是 AI 應用的主導芯片，主要因為它具有強大的計算能力和高通用適用性，廣泛應用于各種圖形處理、數(shù)值模擬及人工智能算法領(lǐng)域。較低的開發(fā)成本也時期能夠快速在各個垂直下游領(lǐng)域被廣泛應用，加速優(yōu)化拓展。

在獨立 GPU 領(lǐng)域，英偉達占據(jù)主導地位，份額高達88% 。英偉達 GPU 因其高性能和對 CUDA 的支持而廣泛應用于 AI和機器學習領(lǐng)域。因此， OpenAI 主要使用英偉達GPU來訓練和運行其 AI 模型，如 GPT-3 和 ChatGPT。據(jù)公開數(shù)據(jù)顯示， ChatGPT 已導入至少 1 萬個英偉達高端 GPU。

數(shù)據(jù)來源：JPR

國內(nèi) GPU 主要上市公司中，景嘉微通過自主研發(fā) GPU 并規(guī)?；逃?，是國內(nèi)顯示控制市場龍頭企業(yè)。此外，海光信息、寒武紀等公司均有布局 GPU 產(chǎn)品。受美國對中國 GPU 芯片出口管制影響，預計國產(chǎn) GPU 芯片替代將快速推進。

在加速計算GPU領(lǐng)域，國內(nèi)壁仞科技發(fā)布的BR100產(chǎn)品，在FP32單精度計算性能實現(xiàn)超越NVIDIA A100芯片，但是不支持FP64雙精度計算；天數(shù)智芯推出的天垓100的FP32單精度計算性能實現(xiàn)超越A100芯片，但是在INT8整數(shù)計算性能方面卻低于A100；海光推出的DCU Z100實現(xiàn)了FP64雙精度浮點計算，但是其性能為A100的60%左右。因此，從高精度浮點計算能力來看，國內(nèi)GPU產(chǎn)品與國外產(chǎn)品的計算性能仍或有一代以上差距。

但是，GPU的表現(xiàn)不僅體現(xiàn)在硬件上，軟件層面對于生態(tài)的布局尤其重要，目前國內(nèi)企業(yè)多采用OpenCL進行自主生態(tài)建設(shè)，但這是需要大量的時間進行。對比AMD從2013年開始建設(shè)GPU生態(tài)近10年時間后才推出用于通用計算的ROCm開放式軟件平臺，國內(nèi)廠商在軟件和生態(tài)層面與英偉達CUDA生態(tài)的差距相較于硬件更為明顯。

數(shù)據(jù)來源：各公司官網(wǎng)

全球AI計算平臺巨頭的產(chǎn)品布局

英偉達目前是全球 AI 計算平臺龍頭，產(chǎn)品矩陣包含硬件、系統(tǒng)軟件、平臺軟件和應用四層。硬件方面，最底層基于 CPU、 GPU、 DPU 三類芯片，形成三大算力支柱；系統(tǒng)層面，從云端到邊緣部署廣泛的多種系統(tǒng)，如 RTX（云端游戲服務器）、DGX（一站式 AI 解決方案）、HGX（AI 超級計算平臺）、EGX（邊緣AI 計算平臺）、OVX（數(shù)字孿生模擬）等，為開發(fā)者提供硬件基礎(chǔ)設(shè)施。平臺軟件層面，英偉達為開發(fā)者提供 150 個加速庫服務，涉及機器學習、神經(jīng)網(wǎng)絡、計算機視覺、 基因檢測等細分技術(shù)領(lǐng)域。應用方面，英偉達打造了一系列針對特定領(lǐng)域的 AI 應用框架，如MODULUS（物理機器學習框架）、RIVA （語音 AI 應用）、 Isaac（機器人平臺）等，這些框架都基于 NVIDIA HPC、 NVIDIA AI 和 NVIDIA Omniverse 平臺構(gòu)建。每一層級都對計算機制造商、服務提供商和開發(fā)者開放，軟硬一體的解決方案適用于廣泛下游領(lǐng)域。

英偉達基于 GPU、 DPU 和 CPU 構(gòu)建加速計算平臺生態(tài)，造就核心技術(shù)壁壘。

英偉達產(chǎn)品規(guī)劃圖

資料來源：英偉達官網(wǎng)

GPU方面，主要產(chǎn)品 Tesla GPU 系列迭代速度快，從 2008 年至 2022 年，先后推出 8 種 GPU 架構(gòu)，平均兩年多推出新架構(gòu)，半年推出新產(chǎn)品。超快的迭代速度使英偉達的 GPU 性能走在 AI 芯片行業(yè)前沿，引領(lǐng)人工智能計算領(lǐng)域發(fā)生變革。

DPU 方面，英偉達于2019年戰(zhàn)略性收購以色列超算以太網(wǎng)公司 Mellanox，利用其InfiniBand（無限帶寬）技術(shù)設(shè)計出 Bluefield 系列 DPU 芯片，彌補其生態(tài)在數(shù)據(jù)交互方面的不足。InfiniBand 與以太網(wǎng)相同，是一種計算機網(wǎng)絡通信標準，但它具有極高的吞吐量和極低的延遲，通常用于超級計算機的互聯(lián)。英偉達的 Bluefield DPU 芯片可用于分擔 CPU 的網(wǎng)絡連接算力需求，從而提高云數(shù)據(jù)中心的效率，降低運營成本。

CPU 方面，自主設(shè)計 Grace CPU 并推出 Grace Hopper 超級芯片，解決內(nèi)存帶寬瓶頸問題。采用 x86 CPU 的傳統(tǒng)數(shù)據(jù)中心會受到 PCIe 總線規(guī)格的限制，CPU 到 GPU 的帶寬較小，計算效率受到影響；而 Grace Hopper 超級芯片提供自研 Grace CPU+GPU 相結(jié)合的一致內(nèi)存模型，從而可以使用英偉達 NVLink-C2C 技術(shù)快速傳輸，其帶寬是第 5 代 PCIe 帶寬的 7 倍，極大提高了數(shù)據(jù)中心的運行性能。

資料來源：英偉達官網(wǎng)

英偉達 GPU 因其高性能和對 CUDA 支持而廣泛應用于 AI 和機器學習領(lǐng)域。OpenAI 主要使用英偉達 GPU 來訓練和運行 AI 模型，如 GPT-3 和 ChatGPT。據(jù)公開數(shù)據(jù)顯示， ChatGPT 已導入至少1萬個英偉達NVIDIA A100。作為Ampere架構(gòu)首發(fā)的NVIDIA A100，相較Tesla V100 可提高2.5 倍HPC 運算量，單片A100單價約為8萬元人民幣。

H100 所結(jié)合的技術(shù)創(chuàng)新，可加速大型語言模型速度，比A100快30 倍，提供領(lǐng)先業(yè)界的對話式人工智能加速（類似ChatGPT）。H100于2022年3月22日推出， 配備了 80 GB 顯存，搭載 NVIDIA Hopper HPC GPU，采用臺積電4nm制程，單價超過20萬元。H100 配備第四代Tensor核心和具有FP8精確度的Transformer Engine，能夠依據(jù)動態(tài)管理與選擇FP8與FP16，并自處理模型每一層FP8與FP16的自動轉(zhuǎn)換，相對現(xiàn)行的A100架構(gòu)，能使AI訓練提升9倍、并使推理能提升30倍，同時不影響精確性。

目前華碩、源訊、戴爾、INGRASYS、技嘉、聯(lián)想與美超微（ Supermicro）等NVIDIA的眾多合作伙伴推出搭載A100/H100產(chǎn)品，已在AWS、Google Cloud、Microsoft Azure 及 Oracle Cloud Infrastructure等各大云端平臺上使用。