日日躁夜夜躁狠狠躁超碰97,无码国内精品久久综合88 ,热re99久久精品国99热,国产萌白酱喷水视频在线播放

歡迎訪問(wèn)深圳市中小企業(yè)公共服務(wù)平臺(tái)電子信息窗口

高算力時(shí)代下的新賽道,AI與存儲(chǔ)互生“情愫”,攜手“奔赴”數(shù)據(jù)處理高峰

2022-11-30 來(lái)源:網(wǎng)絡(luò)整理
8575

關(guān)鍵詞: AI 人工智能

說(shuō)起“存儲(chǔ)”和“AI”,很多人會(huì)說(shuō)存儲(chǔ)對(duì)AI很重要,因?yàn)锳I的發(fā)展是由海量數(shù)據(jù)支撐起來(lái)的,這就使得人們對(duì)數(shù)據(jù)處理提出了極高的要求,需要更大的內(nèi)存去存儲(chǔ)更多的數(shù)據(jù),不得不承認(rèn),高性能的存儲(chǔ)能讓AI技術(shù)發(fā)揮出最大威力。但其實(shí)AI對(duì)存儲(chǔ)也很重要,AI 時(shí)刻推動(dòng)著存儲(chǔ)的發(fā)展,究其原因繞不開(kāi)存內(nèi)計(jì)算(PIM :Processing in-memory)。

存內(nèi)計(jì)算是一項(xiàng)打破傳統(tǒng)馮諾依曼架構(gòu)的新型運(yùn)算架構(gòu),通過(guò)將存儲(chǔ)和計(jì)算有機(jī)結(jié)合,直接利用存儲(chǔ)單元進(jìn)行計(jì)算,極大地消除了數(shù)據(jù)搬移帶來(lái)的開(kāi)銷,解決了傳統(tǒng)芯片在運(yùn)行人工智能算法上的“存儲(chǔ)墻”與“功耗墻”問(wèn)題,可以數(shù)十倍甚至百倍地提高人工智能運(yùn)算效率,降低成本。

雖然存內(nèi)計(jì)算的基本概念早在上個(gè)世紀(jì)七十年代就已經(jīng)被提出,但直到近些年才逐漸成為人們關(guān)注的焦點(diǎn),原因在于,算力和運(yùn)算數(shù)據(jù)量的激增導(dǎo)致存儲(chǔ)墻問(wèn)題愈發(fā)凸顯,想要進(jìn)一步提高算力,只有解決存儲(chǔ)墻問(wèn)題,而在各種解決方案中存內(nèi)計(jì)算是最直接的一種方式,可以實(shí)現(xiàn)高能效、低功耗、低成本。



早在2019年,美光首席執(zhí)行官 Sanjay Mehrotra 就指出,曾經(jīng)的計(jì)算架構(gòu)并不適合未來(lái)的發(fā)展趨勢(shì),從長(zhǎng)遠(yuǎn)來(lái)看認(rèn)為計(jì)算最好在內(nèi)存中完成。當(dāng)時(shí)美光另一位技術(shù)高管也堅(jiān)信計(jì)算和內(nèi)存的融合對(duì)于提高性能效率和降低延遲是必要的,并愿意為此付出努力。不少業(yè)內(nèi)人士認(rèn)為,未來(lái)存儲(chǔ)器可能不僅僅是存儲(chǔ)設(shè)備,還可能是加速器,或者還會(huì)具備其他的功能,例如更好的ECC等。

那么,面對(duì)數(shù)據(jù)量激增的未來(lái),如何應(yīng)對(duì)內(nèi)存帶寬挑戰(zhàn),實(shí)現(xiàn)更優(yōu)質(zhì)的 PIM來(lái)減輕各種 AI 驅(qū)動(dòng)所面對(duì)的諸如HPC、培訓(xùn)和推理等工作負(fù)載?AI就是一個(gè)很好的選擇,隨著技術(shù)的演進(jìn),越來(lái)越多的存儲(chǔ)廠商開(kāi)始加入AI戰(zhàn)…


AI存儲(chǔ),百億空間

IDC預(yù)測(cè),全球AI(人工智能)市場(chǎng)支出將在2021年達(dá)到850億美元,并在2025年增至2,000億美元,五年復(fù)合增長(zhǎng)率(CAGR)約為24.5%。2025年,全球約8%的AI相關(guān)支出將來(lái)自于中國(guó)市場(chǎng),市場(chǎng)規(guī)模在全球九個(gè)區(qū)域中位列第三。

“十四五”規(guī)劃綱要將“新一代人工智能”作為議題重點(diǎn)提及,加上新基建、數(shù)字經(jīng)濟(jì)在內(nèi)的持續(xù)利好政策的推動(dòng),中國(guó)AI市場(chǎng)將穩(wěn)步發(fā)展。根據(jù)最新預(yù)測(cè),2021年,中國(guó)在AI市場(chǎng)的支出規(guī)模將達(dá)到82億美元。2021-2025的五年預(yù)測(cè)期內(nèi),中國(guó)市場(chǎng)AI相關(guān)支出總量將以22%左右的CAGR增長(zhǎng),有望在2025年超過(guò)160億美元。

人工智能市場(chǎng)的高速發(fā)展,也帶動(dòng)了AI存儲(chǔ)的發(fā)展。根據(jù)IDC,從2018年開(kāi)始,全球AI存儲(chǔ)的年復(fù)合增長(zhǎng)率高達(dá)37%,到2022年,AI存儲(chǔ)的市場(chǎng)規(guī)模將達(dá)100億美金。

也就是說(shuō),今年AI存儲(chǔ)的市場(chǎng)規(guī)模就將進(jìn)入百億美金俱樂(lè)部了。


AI 時(shí)代,存儲(chǔ)比以往更加重要

在 AI 的快速發(fā)展下,數(shù)據(jù)量出現(xiàn)了爆炸式增長(zhǎng),AI 工具也開(kāi)始在各種不同的、以存儲(chǔ)為中心的應(yīng)用程序中展開(kāi)。比如,在 AI 訓(xùn)練工程中,需要存儲(chǔ)智能分層;亦或者,從更實(shí)際的層面上來(lái)看,AI 訓(xùn)練亟待解決在多云環(huán)境下的存儲(chǔ)問(wèn)題。

為此,人們開(kāi)始對(duì)于數(shù)據(jù)處理的極高需求與底層存儲(chǔ)技術(shù)之間的不匹配感越來(lái)越強(qiáng)烈。當(dāng)數(shù)據(jù)增長(zhǎng)得越多,在內(nèi)存和存儲(chǔ)上的數(shù)據(jù)堵塞就越嚴(yán)重,人們愈發(fā)希望擴(kuò)大內(nèi)存,在 DRAM 上存儲(chǔ)更多數(shù)據(jù),同時(shí)需要保持低時(shí)延,不能和 CPU 的運(yùn)算速度相差太遠(yuǎn)。于是,我們看到了來(lái)自 AI 對(duì)存儲(chǔ)的正向驅(qū)動(dòng),也了解到企業(yè)對(duì)軟件定義存儲(chǔ)有了更大的需求。


AI 激活存儲(chǔ)的隱藏潛力

盡管 AI 時(shí)刻在推動(dòng)存儲(chǔ)發(fā)展,但是想要進(jìn)一步激活存儲(chǔ)潛力,仍需要解決 AI 場(chǎng)景下,存儲(chǔ)容易面臨的挑戰(zhàn):

海量小文件,由于訓(xùn)練任務(wù)需要的文件數(shù)量都在幾億到十幾億的量級(jí),所以存儲(chǔ)需要能承載幾十億甚至上百億的文件數(shù)量。同時(shí),由于很多訓(xùn)練模型都是依賴于圖片、音頻片段、視頻片段文件,而這些文件基本上都是在幾 KB 到幾 MB 之間。

讀多寫少,在大部分場(chǎng)景中,訓(xùn)練任務(wù)只讀取文件,中間很少產(chǎn)生中間數(shù)據(jù),即使產(chǎn)生了少量的中間數(shù)據(jù),也是會(huì)選擇寫在本地,很少選擇寫回存儲(chǔ)集群。



目錄熱點(diǎn),由于訓(xùn)練時(shí),業(yè)務(wù)部門的數(shù)據(jù)組織方式不可控,很有可能用戶會(huì)將大量文件存放在同一個(gè)目錄,容易導(dǎo)致多個(gè)計(jì)算節(jié)點(diǎn)在訓(xùn)練過(guò)程中,會(huì)同時(shí)讀取這一批數(shù)據(jù),這個(gè)目錄所在的元數(shù)據(jù)節(jié)點(diǎn)就會(huì)成為熱點(diǎn)。

“工欲善其事,必先利其器”,要想發(fā)揮出 AI 人工智能技術(shù)的最大威力,解決存儲(chǔ)挑戰(zhàn)就成為企業(yè)構(gòu)建強(qiáng)有力的 IT 基礎(chǔ)設(shè)施的重要一環(huán)。如果沒(méi)有高性能的存儲(chǔ),就會(huì)導(dǎo)致整個(gè)系統(tǒng)性能出現(xiàn)延遲的情況。

因此 AI 對(duì)存儲(chǔ)性能的要求是很苛刻的,企業(yè)希望存儲(chǔ)系統(tǒng)能滿足高吞吐量和低延時(shí)的需求,讓更多的數(shù)據(jù)能更及時(shí)地傳輸和執(zhí)行,那么對(duì)于這個(gè)愿望應(yīng)該如何實(shí)現(xiàn)呢?


卡位AI,投資先行

如何最快獲得一項(xiàng)新技術(shù),投資/收購(gòu)就是極為常見(jiàn)的一種方式,存儲(chǔ)廠商開(kāi)啟AI投資熱潮大約是在2018年前后,這一年也是人工智能的狂歡年,Google Duplex代替人類自動(dòng)接打電話、歐盟正式發(fā)布的人工智能道德準(zhǔn)則草案、OpenAI的5v5 DOTA AI“Open AI Five”再次完勝人類、全球第一個(gè)“AI合成主播”正式上崗…種種一切似乎讓人們意識(shí)到,只在小說(shuō)中存在的AI時(shí)代真的要來(lái)了。

2018年6月,存儲(chǔ)龍頭三星公布了一項(xiàng)專注于 AI 科技和初創(chuàng)公司的新基金“Samsung NEXT Q Fund ”,將為那些解決AI問(wèn)題以及使用AI解決計(jì)算機(jī)科學(xué)問(wèn)題的初創(chuàng)公司提供種子輪和 A 輪融資支持,公告中特別提到,包括的領(lǐng)域涉及模擬學(xué)習(xí)、場(chǎng)景理解,問(wèn)題學(xué)習(xí)方案和人機(jī)交互。

到了2018年8月,三星集團(tuán)宣布,未來(lái)三年將在AI、汽車零部件等領(lǐng)域投資逾220億美元,其中大部分投資由三星電子承擔(dān);2021年8月,三星再次公布未來(lái)三年會(huì)投資240萬(wàn)億韓元(約合2055億美元)到生物制藥、人工智能、半導(dǎo)體、機(jī)器人等領(lǐng)域。從2018年的220億美元,到2021年的2055億美元,十倍的增長(zhǎng),雖然AI并不是三星電子加大投資的惟一領(lǐng)域,但顯然已經(jīng)是被鎖定的新成長(zhǎng)領(lǐng)域。

在2018年三星宣布成立新基金后不久,美光也宣布通過(guò)美光創(chuàng)投投入一億美元在人工智能及機(jī)器學(xué)習(xí)新創(chuàng)公司,當(dāng)時(shí)消息顯示,投資新創(chuàng)不僅有助于加速人工智能的發(fā)展,還能間接帶動(dòng)對(duì)于DRAM與NAND內(nèi)存與3D Xpoint等次世代內(nèi)存的需求。

或許是投資已經(jīng)沒(méi)辦法滿足需求,又或許是美光進(jìn)一步認(rèn)識(shí)到了存內(nèi)計(jì)算的重要性,到了2019年,美光科技直接收購(gòu)了人工智能硬件和軟件初創(chuàng)公司Fwdnxt,這在當(dāng)時(shí)的行業(yè)內(nèi)掀起了不小的波瀾。美光認(rèn)為,F(xiàn)wdnxt的技術(shù)與美光的存儲(chǔ)芯片結(jié)合使用時(shí),能夠使美光具備探索數(shù)據(jù)分析所需的深度學(xué)習(xí)AI解決方案的能力,尤其是物聯(lián)網(wǎng)和邊緣計(jì)算。

美光方面還表示,收購(gòu)Fwdnxt不僅不會(huì)與英特爾、英偉達(dá)等有更多的競(jìng)爭(zhēng),相反反而會(huì)有更多的合作。在美光看來(lái),沒(méi)有人可以在數(shù)據(jù)中心領(lǐng)域與他們競(jìng)爭(zhēng),存儲(chǔ)廠商想要分得一杯羹,為英特爾等提供更多幫助,那么在邊緣計(jì)算方面進(jìn)行研究,將會(huì)是美光獲得最大效率和規(guī)模經(jīng)濟(jì)的地方。

數(shù)據(jù)中心是互聯(lián)網(wǎng)、云計(jì)算和人工智能等領(lǐng)域的通用支撐技術(shù),中國(guó)信通院《數(shù)據(jù)中心白皮書2022》報(bào)告顯示,2021年全球數(shù)據(jù)中心市場(chǎng)規(guī)模超過(guò)679億美元,預(yù)計(jì)2022年市場(chǎng)收入將達(dá)到746億美元。而存儲(chǔ)和AI都是數(shù)據(jù)中心不可缺少的重要部分,一方面任何數(shù)據(jù)中心的數(shù)據(jù)最終都要放置到存儲(chǔ)設(shè)備上。另一方面,AI能夠幫助數(shù)據(jù)中心提高能源效率,進(jìn)而節(jié)省成本,還能幫助優(yōu)化運(yùn)維,使用預(yù)測(cè)分析來(lái)幫助數(shù)據(jù)中心分配工作負(fù)載。那么,當(dāng)數(shù)據(jù)中心的“左膀右臂”結(jié)合在一起,勢(shì)必會(huì)帶來(lái)奇效,這或許也是美光收購(gòu)Fwdnxt的一部分考量。

而在2019年,SK海力士也加入了這場(chǎng)AI投資戰(zhàn),甚至攻勢(shì)十分兇猛。2019年年初,SK海力士投資了地平線;2020年9月,宣布投資Gauss Labs公司,旨在通過(guò)工業(yè)人工智能(AI)解決方案引領(lǐng)半導(dǎo)體制造業(yè)創(chuàng)新;2022年1月,SK 海力士又同SK Telecom 以及 SK Square一起宣布,成立聯(lián)合發(fā)展協(xié)會(huì),首先將砸 800 億韓元,在美國(guó)設(shè)立 AI 半導(dǎo)體公司 SAPEON,SK 海力士持有25%的股份,這對(duì)于SK 海力士來(lái)說(shuō),在 NAND 閃存以及AI領(lǐng)域的事業(yè)也會(huì)更進(jìn)一步擴(kuò)張。




國(guó)產(chǎn)廠商,迎頭趕上

國(guó)產(chǎn)廠商,推出類似Pure Storage這樣的AIRI通用AI一體機(jī)的不多,但推出AI存儲(chǔ)的廠商就很多了。

比如華為,就專門推出了針對(duì)HPDA的OceanStor Pacific系列。

其中高端AI場(chǎng)景,就需要采用Pacific最高端的全閃型號(hào)Pacific 9950了。但從華為官網(wǎng)宣傳的規(guī)格看,目前Pacific 9950雖然同時(shí)支持以太網(wǎng)和IB,但是最高速率還是100G。

反而國(guó)內(nèi)專門做高性能文件系統(tǒng)的初創(chuàng)公司焱融科技,最近發(fā)布的全閃分布式文件存儲(chǔ)一體機(jī)焱融追光 F8000X 系列,率先支持200G IB雙端口,令人眼前一亮。


下一代存儲(chǔ)助攻邊緣AI發(fā)展

將存儲(chǔ)進(jìn)行異質(zhì)整合的近存儲(chǔ)運(yùn)算(Near Memory Computing;NMC)與PIM形成兩大派別,雖然在業(yè)界各有擁護(hù)者,但多家存儲(chǔ)大廠多半采取同步進(jìn)行的雙重布局,其中,近存儲(chǔ)運(yùn)算的異質(zhì)整合設(shè)計(jì)雖然具有較多I/O數(shù)量,但存儲(chǔ)與邏輯芯片進(jìn)行疊加的設(shè)計(jì)較為成熟,并可達(dá)到節(jié)省連接線及降低功耗的效益。

PIM技術(shù)仍處于初期研究階段,至于異質(zhì)整合則與多家潛在客戶進(jìn)行合作及討論相關(guān)規(guī)格,包含云端AI運(yùn)算、服務(wù)器運(yùn)算、AI獨(dú)角獸等相關(guān)客戶,并希望在DRAM芯片進(jìn)行灌孔設(shè)計(jì),類似于讓訊號(hào)可以透過(guò)灌孔進(jìn)行對(duì)外傳輸,未來(lái)希望將導(dǎo)入于邊緣服務(wù)器等相關(guān)應(yīng)用。

不同于過(guò)去AIoT主要集中于工控客戶,邊緣AI將全面開(kāi)發(fā)全球軟件及新應(yīng)用客戶,邊緣AI將是未來(lái)5~10年的重要成長(zhǎng)動(dòng)能。

邊緣AI落地需要整合要多方串連,因此必須透過(guò)集團(tuán)力量去符合客戶需求,舉例在AI智能城市的智能電桿,其監(jiān)控環(huán)境功能需搭配參考判斷,也需要高度整合模組進(jìn)行針對(duì)空氣感測(cè)、遠(yuǎn)端監(jiān)控和標(biāo)案部分,并加入頻外遠(yuǎn)端管理等功能,透過(guò)結(jié)合軟硬整合、遠(yuǎn)端管理及數(shù)據(jù)安全等三大關(guān)鍵要素,將可望助力全球客戶加速達(dá)成AI最佳化目標(biāo)。