關(guān)于手機(jī)里的芯片及其組成，我們比較熟知的有CPU、GPU、基帶、NPU和ISP，甚至連射頻芯片和PMIC也都有人聽過。但其實(shí)除此以外，有一類芯片正在手機(jī)中扮演重要角色，那就是視覺處理器。

而之所以會(huì)催生這樣一個(gè)芯片需求，源于當(dāng)下手機(jī)芯片架構(gòu)和有限的性能提升已經(jīng)無法滿足手機(jī)應(yīng)用（尤其是游戲）高速發(fā)展對(duì)硬件性能的迫切需求。


視覺處理器，彌補(bǔ)手機(jī)性能差距

回看智能手機(jī)過去十幾年的發(fā)展，廠商除了在顯示分辨率和性能上持續(xù)更新以外，拍照能力以及音頻表現(xiàn)力在近年也成為了大家關(guān)注的焦點(diǎn)。雖然在有些消費(fèi)者看來，現(xiàn)在的手機(jī)性能過剩，但其實(shí)在視覺方面，手機(jī)廠商們正在面臨一個(gè)新的挑戰(zhàn)——手機(jī)游戲。

正如逐點(diǎn)半導(dǎo)體COO白農(nóng)先生在日前的一個(gè)演講中指出，現(xiàn)在的移動(dòng)設(shè)備領(lǐng)域興起了一個(gè)新的趨勢，那就是游戲開發(fā)者也正在努力把桌面級(jí)的3A游戲搬到智能手機(jī)等移動(dòng)設(shè)備上。隨之而來的問題就是，傳統(tǒng)的手機(jī)系統(tǒng)面臨嚴(yán)峻的挑戰(zhàn)。

“如果我們再往前看，網(wǎng)絡(luò)的內(nèi)容很快也會(huì)進(jìn)入3D化，再加上空間計(jì)算的內(nèi)容和未來AI大模型提供的內(nèi)容會(huì)更加豐富，對(duì)系統(tǒng)的要求就會(huì)更高。”白農(nóng)進(jìn)一步指出。

逐點(diǎn)半導(dǎo)體CEO熊挺先生也在同場的演講中說道，游戲在很多場合正在成為一個(gè)手機(jī)性能的標(biāo)桿。隨著手游精品化的發(fā)展，其在算力方面會(huì)對(duì)手機(jī)的CPU和GPU提出一個(gè)比較高的算力要求，這也將體現(xiàn)在在空間分辨率（圖像分辨率）和時(shí)間分辨率（幀率）方面，還有細(xì)節(jié)的呈現(xiàn)以及畫質(zhì)調(diào)優(yōu)等等諸多的方面。

據(jù)熊挺所說，近來一些高負(fù)載的技術(shù)（包括光追也逐漸得到應(yīng)用），對(duì)手機(jī)的渲染算力要求越來越大。他同時(shí)也坦言，在一個(gè)系統(tǒng)中，游戲體驗(yàn)的提升永遠(yuǎn)聚焦在算力、功耗、散熱及續(xù)航能力等幾個(gè)方面的取舍和博弈。例如，受限于手機(jī)本身的尺寸限制，更強(qiáng)的GPU，往往會(huì)帶來更大的發(fā)熱，而手機(jī)的散熱面積有限，這必然會(huì)引致性能的下降。也正是因?yàn)檫@些制衡，使得手機(jī)旗艦芯片和PC獨(dú)立顯卡之間算力的差距高達(dá)24倍。

于是，如何彌補(bǔ)手機(jī)上的這個(gè)差距，就成為了行業(yè)的工作重點(diǎn)。而在熊挺看來，在手機(jī)視覺處理的計(jì)算架構(gòu)上做出改變會(huì)是一個(gè)不錯(cuò)的答案。

熊挺表示，在多年前，逐點(diǎn)半導(dǎo)體就率先地提出了系統(tǒng)級(jí)的分布式計(jì)算概念。簡而言之，就是GPU僅處理少部分的渲染運(yùn)算,具體做法就是基于模型的渲染，輸出一個(gè)相對(duì)低幀率的圖像。然后，再利用渲染加速引擎做一個(gè)基于圖像渲染的二級(jí)處理?！斑@種渲染具備低功耗和高效率的特性，讓整個(gè)系統(tǒng)的功耗得到了降低?！毙芡?qiáng)調(diào)。

其中，渲染加速引擎正是逐點(diǎn)半導(dǎo)體近年來專注的方向之一，公司也推出了多代的視覺處理器來更高效地提升手游的渲染效率。

提升手游體驗(yàn)的唯一辦法

“直接影響移動(dòng)游戲體驗(yàn)的有四個(gè)維度?！蓖昝朗澜缬螒蚋笨偛眯斓ぶ赋觯暗谝粋€(gè)是比較直觀的幀率，包括交互的流暢性。第二個(gè)是畫質(zhì)和效果。第三個(gè)是續(xù)航和待機(jī)。對(duì)于長時(shí)間玩游戲的玩家來說，握持穩(wěn)控也非常重要。”

這四個(gè)維度之下，是對(duì)手機(jī)SoC處理能力以及功能的要求。隨著手游市場的快速增長，手機(jī)SoC的性能也在不斷升級(jí)，特別是旗艦級(jí)手機(jī)SoC，大幅升級(jí)CPU和GPU，還增加光線追蹤以實(shí)現(xiàn)媲美PC端和游戲機(jī)的游戲體驗(yàn)。

與此同時(shí)，手游制作也呈現(xiàn)了精品化的趨勢，空間分辨率，時(shí)間的分辨率（幀率）更高，光線追蹤的應(yīng)用，都需要更強(qiáng)的CPU和GPU。

“圖像的處理最終會(huì)變成像素級(jí)的處理，涉及大量的數(shù)據(jù)。手游制作的越來越精良，屏幕的素質(zhì)越來越高，即便手機(jī)SoC的GPU有很強(qiáng)的并行能力，也面臨很大壓力?！敝瘘c(diǎn)半導(dǎo)體資深市場總監(jiān)房軍表示，“我們公司專門做視頻和圖像處理，看待這個(gè)事情的角度和傳統(tǒng)的CPU、GPU、手機(jī)應(yīng)用處理器公司不太一樣?！?/span>

“我們沒有包袱，要以一個(gè)全新的視角解決這個(gè)問題?！狈寇娺M(jìn)一步表示，“我們提出的渲染加速就是要對(duì)像素并行處理，利用我們的算法，加上固化的芯片，整個(gè)計(jì)算的范式不太一樣，可以實(shí)現(xiàn)效率的大幅提升?！?/span>

以最新發(fā)布的逐點(diǎn)X7 Gen 2視覺處理器來看，集成了三大引擎，包括第四代的運(yùn)動(dòng)引擎、人工智能超分引擎以及多層畫質(zhì)引擎，能夠提供4倍的幀率，4倍空間分辨率，以及更精準(zhǔn)的色彩表現(xiàn)和身臨其境的HDR效果。

X7 Gen 2視覺處理器是逐點(diǎn)首次引入基于高效神經(jīng)網(wǎng)絡(luò)算法的AI游戲超分技術(shù)。

“這個(gè)引擎建立在我們多年對(duì)運(yùn)動(dòng)、圖像處理的認(rèn)知之上，自主研發(fā)了高效的深度學(xué)習(xí)架構(gòu)，內(nèi)置神經(jīng)網(wǎng)絡(luò)處理器，通過模型的訓(xùn)練得到AI超分的效果?！毙芡μ貏e強(qiáng)調(diào)，“三個(gè)引擎可以同時(shí)打開，效果也非常顯著，可以讓手機(jī)SoC上的CPU和GPU只需要做1/16的渲染工作，大幅節(jié)省功耗?！?/span>

在當(dāng)下非常流行的某大型沉浸式游戲上面一個(gè)簡單的測試，在1080P分辨率和60幀的幀率下，在逐點(diǎn)X7 Gen 2視覺處理器的渲染加速支持下，整機(jī)的功耗可以節(jié)省2瓦，2瓦對(duì)于非常在意功耗的手機(jī)來說是一個(gè)非常大的數(shù)字。


愈發(fā)明確的市場現(xiàn)狀

索尼在2020年5月推出了兩款“智能視覺傳感器”——IMX500與IMX501。該公司宣稱，這是全球最早加入了AI處理能力的圖像傳感器。這兩顆芯片的傳感器部分，是比較典型的背照式CMOS；而集成的邊緣AI處理部分，包含了DSP的邏輯芯片，也包括了AI模型所需的臨時(shí)存儲(chǔ)空間，屬于比較典型的邊緣AI系統(tǒng)。更嚴(yán)謹(jǐn)?shù)卣f，IMX500/501恐怕不應(yīng)僅定義為“傳感器”。

這兩顆芯片在配合云服務(wù)的情況下，在數(shù)據(jù)處理階段僅獲取元數(shù)據(jù)作為輸出，這樣能夠降低數(shù)據(jù)傳輸延遲，減少功耗與通訊的成本。這類設(shè)計(jì)的本質(zhì)是：將部分“后處理”的能力集成到圖像傳感器上。這樣一來，錄制視頻時(shí)就能進(jìn)行更高精度、實(shí)時(shí)的對(duì)象追蹤。目前，這兩款傳感器主要應(yīng)用于零售、工業(yè)設(shè)備。

2020年中，Yole Developpement發(fā)布了一份題為《2019圖像信號(hào)處理器與視覺處理器市場與技術(shù)趨勢》的報(bào)告。該報(bào)告明確提到：“AI徹底改變了視覺系統(tǒng)中的硬件，對(duì)整個(gè)行業(yè)都造成了影響?！?/span>

“圖像分析增加了很多價(jià)值。圖像傳感器供應(yīng)商們開始對(duì)將軟件層集成到系統(tǒng)中感興趣。如今圖像傳感器必須跳出單純的捕獲圖像這一能力之外，再對(duì)圖像做分析?！?/span>

“但要跑這樣的軟件，就意味著高算力和存儲(chǔ)需求，也就有了視覺處理器的出現(xiàn)。ISP市場2018-2024年的年復(fù)合增長率穩(wěn)定在3%，即ISP的市場價(jià)值到2024年會(huì)達(dá)到42億美元。與此同時(shí)，視覺處理器市場也會(huì)迎來爆發(fā)增長，2018-2024年的年復(fù)合增長率為18%，到2024年，其市場價(jià)值會(huì)達(dá)到145億美元?！?/span>

這個(gè)值當(dāng)然仍未達(dá)到COMS年度總價(jià)值，上述兩個(gè)市場相加才大約超過今年的COMS市場規(guī)模（今年COMS行業(yè)產(chǎn)值預(yù)計(jì)為172億美元）。這還需要注意，COMS市場的增速正在放緩以及此處并未考慮視覺處理芯片配套的軟件市場。起碼索尼認(rèn)定，其長期的市場發(fā)展?jié)摿Υ笥贑OMS市場本身。Yole Developpement的預(yù)測數(shù)據(jù)顯示，ISP在市場中所占比重將逐步降低，而更注重計(jì)算的視覺處理器顯然更為緊俏。

值得注意的是，很多傳統(tǒng)的行業(yè)參與者，在應(yīng)對(duì)AI趨勢時(shí)顯得比較局促。這也讓其他更多參與者加入到業(yè)務(wù)競爭中，比如蘋果、華為，Mobileye這樣的初創(chuàng)公司，甚至其他領(lǐng)域的企業(yè)，像是英偉達(dá)。這是成像市場擴(kuò)展了縱深的表現(xiàn)。