中商情報網訊：海量數(shù)據從生產到發(fā)揮價值，需要經過采集、處理、分析等環(huán)節(jié)，其中大數(shù)據采集與預處理作為大數(shù)據生命周期的第一環(huán)節(jié)，是釋放數(shù)字價值的前提。

市場規(guī)模分析

在政策和技術的雙重驅動下，我國大數(shù)據產業(yè)規(guī)?？焖僭鲩L。數(shù)據顯示，我國大數(shù)據市場規(guī)模由2016年的277億元增長至2020年的713億元，復合年均增長率為26.7%，預計2022年我國大數(shù)據市場規(guī)模將達1049億元。

數(shù)據來源：中商產業(yè)研究院整理

未來發(fā)展趨勢

1.大數(shù)據行業(yè)應用的深入促進大數(shù)據采集需求日益增長

數(shù)據采集是大數(shù)據在各行各業(yè)應用并且創(chuàng)造價值的前提。隨著大數(shù)據的行業(yè)應用不斷深入，物聯(lián)網、智能家居、數(shù)字政務等領域的大數(shù)據技應用逐漸成熟，數(shù)據采集的需求也將被逐步激發(fā)，帶動數(shù)據采集軟件及服務的市場規(guī)模日益增長。

2.大數(shù)據采集環(huán)節(jié)更加注重異構數(shù)據源兼容性

隨著數(shù)據量的指數(shù)增長，數(shù)據的存儲、計算、部署等方式都在同步變化，各行業(yè)的業(yè)務系統(tǒng)也變得越來越復雜。日益復雜的業(yè)務系統(tǒng)和數(shù)據架構形成了數(shù)據結構、存取方式、形式不同的異構數(shù)據源，對大數(shù)據采集的異構兼容性提出了更高的要求。工信部發(fā)布的《“十四五”大數(shù)據產業(yè)發(fā)展規(guī)劃》中明確提出，以構建穩(wěn)定高效產業(yè)鏈為主要目標，在數(shù)據生成采集環(huán)節(jié)，著重提升產品的異構數(shù)據源兼容性、大規(guī)模數(shù)據集采集與加工效率。

3.大數(shù)據采集的安全與隱私保護需求持續(xù)上漲

近年來，我國大數(shù)據的安全與隱私保護需求持續(xù)上漲，大數(shù)據采集過程中的安全流通和隱私計算技術也愈發(fā)得到重視。隨著大數(shù)據的不斷發(fā)展和應用，越來越多的安全問題隨之浮現(xiàn)。在數(shù)據采集過程中，第三方可能在采集傳輸數(shù)據過程中截獲、偽造數(shù)據，不但造成了用戶隱私、敏感數(shù)據泄露的嚴重后果，同時也影響了政府、企業(yè)后臺數(shù)據分析的準確性。因此，在大數(shù)據采集及預處理過程中，除了假流量數(shù)據清洗、正常數(shù)據補全、無效數(shù)據剔除外，還存在數(shù)據格式化、數(shù)據隔離、數(shù)據加密、數(shù)據脫敏和攻擊識別等需求。