大數(shù)據(jù)技術(shù)發(fā)展趨勢

      大數(shù)據(jù)技術(shù)發(fā)展趨勢怎么樣的？2014年以后，整體大數(shù)據(jù)的技術(shù)棧已經(jīng)趨于穩(wěn)定，由于云計算、人工智能等技術(shù)發(fā)展，還有芯片、內(nèi)存端的變化，大數(shù)據(jù)技術(shù)也在發(fā)生相應(yīng)的變化。總結(jié)來看主要有幾點大數(shù)據(jù)技術(shù)發(fā)展趨勢：

      一是流式架構(gòu)的更替，最早大數(shù)據(jù)生態(tài)沒有辦法統(tǒng)一批處理和流計算，只能采用Lambda架構(gòu)，批的任務(wù)用批計算引擎，流式任務(wù)采用流計算引擎，比如批處理采用MapReduce，流計算采用Storm。后來Spark試圖從批的角度統(tǒng)一處理和批次處理，Spark Streaming采用了micro-bach的思路來處理流數(shù)據(jù)。近年來純流架構(gòu)的Flink異軍突起，由于其架構(gòu)設(shè)計合理，生態(tài)健康，近年來發(fā)展特別快。而Spark近期也拋棄了自身微批處理的架構(gòu)，轉(zhuǎn)向了純流架構(gòu)Structure Streaming，流計算的未來霸主還未見分曉。

      二是大數(shù)據(jù)技術(shù)的云化，一方面是公有云業(yè)務(wù)的成熟，眾多大數(shù)據(jù)技術(shù)都被搬到了云上，其運維方式和運行環(huán)境都發(fā)生了較大變化，帶來計算和存儲資源更加的彈性變化，另一方面，私有部署的大數(shù)據(jù)技術(shù)也逐漸采用容器、虛擬化等技術(shù)，期望更加精細化地利用計算資源。

      三是異構(gòu)計算的需求，近年來在通用CPU之外，GPU、FPGA、ASIC等芯片發(fā)展迅猛，不同芯片擅長不同的計算任務(wù)，例如GPU擅長圖像數(shù)據(jù)的處理，大數(shù)據(jù)技術(shù)開始嘗試根據(jù)不同任務(wù)來調(diào)用不同的芯片，提升數(shù)據(jù)處理的效率。

      四是兼容智能類的應(yīng)用，隨著深度學(xué)習(xí)的崛起，AI類的應(yīng)用越來越廣泛，大數(shù)據(jù)的技術(shù)棧在努力兼容AI的能力，通過一站式的能力來做數(shù)據(jù)分析和AI應(yīng)用，這樣開發(fā)者就能在一個工具站中編寫SQL任務(wù)，調(diào)用機器學(xué)習(xí)和深度學(xué)習(xí)的算法來訓(xùn)練模型，完成各類數(shù)據(jù)分析的任務(wù)。

      注：尊重原創(chuàng)文章,轉(zhuǎn)載請注明出處和鏈接 http://www.dedgn.cn/news-id-44949.html 違者必究！部分文章來源于網(wǎng)絡(luò)由培訓(xùn)無憂網(wǎng)編輯部人員整理發(fā)布,內(nèi)容真實性請自行核實或聯(lián)系我們，了解更多相關(guān)資訊請關(guān)注數(shù)據(jù)庫工程師頻道查看更多，了解相關(guān)專業(yè)課程信息您可在線咨詢也可免費申請試課。關(guān)注官方微信了解更多：150 3333 6050