微軟云端平臺(tái)Azure最近宣布針對(duì)3項(xiàng)數(shù)據(jù)服務(wù)的更新，包含推出正式版的數(shù)據(jù)湖儲(chǔ)存服務(wù)Data Lake Storage Gen2和數(shù)據(jù)完全托管服務(wù)Data Explorer，此外，還推出預(yù)覽版的混合數(shù)據(jù)整合服務(wù)Data Factory，期望提供用戶性價(jià)比高又安全的云端數(shù)據(jù)分析服務(wù)。
數(shù)據(jù)湖儲(chǔ)存服務(wù)Data Lake Storage Gen2適用於巨量數(shù)據(jù)分析，結(jié)合了Azure非結(jié)構(gòu)化儲(chǔ)存服務(wù)Blob Storage的可擴(kuò)展性、安全模型和豐富的功能於一身，再加上為分析所設(shè)計(jì)的高效能的檔案系統(tǒng)，還能與Hadoop分散式檔案系統(tǒng)相容，讓用戶選擇云端數(shù)據(jù)湖服務(wù)時(shí)，不需要在成本和效能中取舍。
圖片來源：微軟
微軟指出，自家數(shù)據(jù)湖儲(chǔ)存服務(wù)其中一項(xiàng)主要目標(biāo)，即是要與Apache生態(tài)系統(tǒng)相容，為了做到這點(diǎn)，微軟開發(fā)Azure Blob檔案系統(tǒng)驅(qū)動(dòng)程式，該驅(qū)動(dòng)程式正式成為Apache Hadoop和Spark的一部分，并且附於許多 Hadoop的商業(yè)版本中。
為了進(jìn)一步提升Data Lake Storage Gen2的分析效能，微軟用階層式命名空間，收集檔案集合并整理成階層式目錄和巢狀子目錄，此種命名空間對(duì)巨量資量分析架構(gòu)相當(dāng)重要，由於Hive或是Spark等工具經(jīng)常將輸出寫入暫時(shí)位置，并在作業(yè)結(jié)束時(shí)重新命名該位置，若沒有階層式命名空間，重新命名所花費(fèi)的時(shí)間通常會(huì)比分析流程本身更長(zhǎng)，因此，階層式命名空間因?yàn)樾枰^少的運(yùn)算執(zhí)行，能夠加速job執(zhí)行并減低成本。
而Data Explorer是一個(gè)快速且具有高擴(kuò)展性的完全托管數(shù)據(jù)分析服務(wù)，能夠針對(duì)大量的串流數(shù)據(jù)進(jìn)行即時(shí)分析，在不需要修改數(shù)據(jù)結(jié)構(gòu)的情況下，一秒內(nèi)能夠查詢10億筆記錄，此外，該服務(wù)能與微軟云端其他服務(wù)相連，像是Data Lake Storage、SQL Data Warehouse、Power BI。為了提升速度和簡(jiǎn)化操作，Data Explorer由兩個(gè)分別的服務(wù)組成：Engine服務(wù)和數(shù)據(jù)管理服務(wù)，這兩項(xiàng)服務(wù)都在Azure中，以運(yùn)算節(jié)點(diǎn)的叢集形式部署。
圖片來源：微軟
數(shù)據(jù)管理服務(wù)負(fù)責(zé)消化多種不同型態(tài)的原始數(shù)據(jù)，并且管理數(shù)據(jù)清理、執(zhí)行失敗和backpressure等任務(wù)，還能透過自動(dòng)索引和壓縮機(jī)制快速處理數(shù)據(jù)。而Engine服務(wù)則是負(fù)責(zé)處理輸入的原始數(shù)據(jù)和用戶的查詢，透過自動(dòng)擴(kuò)展（Auto Scaling）和數(shù)據(jù)分割（data sharding）來達(dá)到高效能的目標(biāo)。
最後，微軟這次的更新還推出混合數(shù)據(jù)整合服務(wù)Data Factory預(yù)覽版，Data Factory服務(wù)是用來將數(shù)據(jù)移動(dòng)和轉(zhuǎn)換工作自動(dòng)化的服務(wù)，內(nèi)建超過80個(gè)與結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)源的連接器。除此之外，該服務(wù)還提供數(shù)據(jù)工作流程可視化工具M(jìn)apping Data Flow，提供用戶在設(shè)計(jì)、建置和管理數(shù)據(jù)轉(zhuǎn)換的過程有可視化的體驗(yàn)，不需要學(xué)習(xí)Spark或是對(duì)分散式基礎(chǔ)架構(gòu)有深入的了解。
