阿里巴巴大數據技術關鍵進展及展望

發布時間：2020-08-07 15:22:20 來源：ITPUB博客閱讀：215 作者：大濤學長欄目：數據庫

一、大數據領域的客戶價值遷移

大數據10年，從“嘗鮮”到“普惠”

大數據技術已經存在了20年的歷程，并且阿里的飛天平臺也有了10年的歷程。上圖是Gartner非常有名的評測機構，在Emerging Technologies中展示了Hype Cycle。Emerging Technologies是指其中所有的技術都視為新興技術。橫軸分為五個部分，從Trigger開始，到達最熱潮，然后到了冷靜期，再繼續向前發展。不同的顏色表示在所指的幾年之后相應的技術會變得成熟。在2014年，Big Data已經到達了尖峰期的末端狀態。在2015年，Big Data就不在上圖中了，關于Big Data應該放在哪里的問題，許多人都參與了討論，最終Gartner 的分析員 Betsy Burton給出了總結性的一句話：“Big Data..has become prevalent in my lives”，其中的含義是指大數據已經不是一個特定的技術，它是一個普惠的技術領域。阿里巴巴認為大概在2014年大數據會從嘗鮮期到普惠期，并且帶來了非常多的價值變化。大數據領域Value Proposition的遷移

上圖所示為嘗鮮期到普惠期的對比。嘗鮮期更注重的是快速上手。其次是靈活性，無論是平臺、配套的東西還是工具鏈都不是特別成熟，怎樣更快的做一些調節和修改可以滿足需求是很重要的。另外還需要能達到一些目標，不需要特別全面，甚至不需要很穩定，只要能進行試對和試錯就可以。普惠期的特點與嘗鮮期的特點幾乎是不相同的，甚至是對立的。從普惠期開始，成本和性能變得很關鍵，其中特別關鍵的是“成本”，因為通過調研得出用戶對“成本”是很關注的，用戶的關注不僅僅是對大數據處理上所付得的錢數，更多的關注是數據在海量的增長的情況下，怎樣保證成本在可控的范圍之內。當進入到普惠期，進行大規模應用時，企業級服務能力就變的很關鍵。例如，阿里的大數據平臺每天都會產生支付寶的商戶對賬單，商戶和商戶之間、商戶和上下游之間、及商戶和銀行之間結算的系統要求都萬無一失。當從嘗鮮期進入到普惠期之后，應該有一個相對豐富且完整的工具鏈和生態體系，這就需要生態體系和工具鏈能融合在一起，才能實現整個性能。從阿里巴巴的角度看 – 飛天平臺發展歷程

MaxComputer是飛天底座平臺的系統，同時支撐了飛天絕大多數的數據存儲和計算力的需求。從阿里的角度來看，在2002年，Oracle是做數倉型的數據建設，包括算賬和inside。在2006年，是亞洲最大的Oracle Rack。在2008年和2009年，分別啟動了Hadoop和飛天的體系，后面是大家熟知的登月系統。在2015年，登月系統完成，所有的數據匯集到一起，同時建立了數據的底座作為統一的存儲系統、一套中間的統一運算系統以及數據中臺，整個系統以中臺體系為核心，成為阿里巴巴內部的大數據一體化。在2016年，啟動了MaxComputer 2.0項目，幾乎替換了從2010年到2015年的整體，同時開始給國內云計算的客戶提供服務。在2019年，可以轉型到MaxComputer 3.0，除了關注性能和成本之外，隨著數據量超大規模的增長，以及數據領域的優化幾乎已經超出了人類的范疇，中臺的工程師很難靠人的方式完成中臺的建模和優化的工作。阿里認為向智能化的方向發展，通過智能化來優化大數據是至關重要的。

二、核心技術發展方向

核心技術發展方向可以從四個角度分析:

高效能+低成本包括計算層、存儲層、資源利用層、治理層四個部分。
企業級的服務要求企業級的穩定性、可擴展性和容災等能力。
生態與標準化主要是將生態與標準融合。
智能化 “MaxCompute大數據成本曲線”（價值中心or成本中心？）

上圖展現的是來自阿里云的上百家客戶調研數據結果，其中黃色的曲線表示公司和部門業務的增長，藍色表示大數據開始應用的過程，在第一年期間是屬于平穩發展方向，到了普惠期，大家發現大數據的技術和價值之后，大數據就開始向上攀升，剛開始攀升的過程不是平緩的，是一個快速增長的過程。隨之而來有一個問題，數據量和計算量的增長以及對成本的付出超過了已有的增長速度，到后續階段有可能會繼續上漲，如果有相關的系統做匹配，以及很好的優化和治理，那么數據將會降下來，最終達到應用與發展幾乎匹配的速度，同時保證成本是可持續的。比如業務增長了5倍時，成本只增長了1倍。如果不能將數據降下來，則會出現的情況是，數據中心變成了成本中心，同時有非常多的數據和計算，但是哪些是有價值的是不清楚的。為了解決這個問題，需要提供更好的高性能和低成本的服務能力，將平臺層的成本降下來，同時可以通過數據治理服務來為數據做治理。此外，可以通過智能化方法來優化大數據以達到相應的目的。構建“高效率與低成本”的計算平臺阿里針對構建“高效率與低成本”的計算平臺所面對的挑戰分為四個部分： 1、當規模過萬臺之后就會面臨成本的持續增長。 2、數據或計算爆炸，硬件投入大于業務增速。 3、中大型公司的技術發展進入開源軟件盲區。 4、無法形成大集群，多小集群拼湊，導致整體利用率低。相應的，阿里巴巴計算平臺對以上挑戰做了以下四項優化：

1、引擎優化：核心引擎全自研技術，具備把控力，持續優化。 2、存儲優化：保證數據不重復，存儲智能分級（1.6），壓縮分級。 3、資源優化：云原生統一資源池（以及對應的削峰填谷）+在離線混布。特別注意的一點是，資源層面的優化要優于作業本身的優化，作業的極值性能追求和極值速度已經不是阿里最大的追求，而最大的追求是在整體的情況下將資源利用率提升。 4、數據與計算管理與治理。

上圖是以阿里從2015年到2018年雙十一的例子，左邊的圖為單日作業量，中間的圖為單日處理數據量，右邊的圖為成本的曲線。事實證明，阿里通過飛天平臺以及技術能力，幾乎做到了使業務增長的速度和成本增長的速度相適應。在此基礎上又做了以下部分優化工作： 1、引擎側：? NativeEngine+LLVM CodeGen，Vectorization+SIMD ? CBO+HBO，Dynamic DAG ? 針對Input/Shuffling海量數據，新引入“富結構化數據” ? 數據可以按Range/Hash方式存儲，支持一級Index和Order 2、存儲側：兼容開源Apache ORC，全新的C++ Writer和改進的 C++ Reader，讀取性能對比CFile2和開源ORC均快50%+。 3、資源側：一套跨集群數據、計算調度能力，將多個集群的服務器做成一臺計算機。 4、調度系統優化：平均集群利用率70%，除了優化單作業指標，更偏重整個集群的吞吐率。 5、通過混布技術，提升在線服務器利用率到50%以上。同時支持雙十一場景的業務彈性。部分數據和案例： ? 2015年，SortBenchmark，MaxCompute 100TB GreySort冠軍。 ? 2016年，SortBenchmark, EMR 100TB CloudSort冠軍。 ? 2017年，MaxCompute+PAI，全球首家100TB規模TPCx-Bigbench測試通過。 ? 2018年，MaxCompute+PAI，指BigBench標繼續提升1X+，繼續保持全球最高分數。 ? 2018年，Flink內部版是社區性能數倍，2019年開源。 ? 2019年，EMR TPC-DS 10TB全球最快 ? 2019年，MaxCompute+PAI，指標繼續提升，保持全球第一，30TB性能快一倍，成本低一半。

上圖是在BigBench上從2017年到2019年的統計圖，可以明顯的看出，幾乎每年增長一倍。

從上圖可以看出，與業界的其它系統做對比，性能幾乎高出一倍，成本幾乎低一半。構建“多功能的企業級”計算平臺構建“多功能的企業級”計算平臺是屬于系統后臺的工作，大概分為四個部分： 1、需要可靠的數據交匯點（數據底盤），因為很多公司的數據就是公司的資產，數據的安全性問題就顯得至關重要。具體包括以下內容： ? EB級規模，擴展能力（單集群，多級群，全球部署三級擴展） ? 數據可靠性（已經走過了能用，可用的階段，需要提供萬無一失的保障能力，例如DC級別的容災能力） ? 安全性（從存儲，運算，管理，運維，把數據安全做到每一層） 2、針對容災部分，是需要企業自主解決的工作，通過選擇容災，使得達到某種能力，具體需要包括以下內容： ? 基于高性價比硬件 ? 自助運維與自動化運維 ? 完善的故障容錯（軟件，硬件，網絡，人為） 3、由于隱私泄露的情況是經常會發生的，但是阿里卻不會發生隱私泄露的情況，主要是因為對數據管理、共享與安全性的要求。具體包括以下內容： ? 容災備份 ? 細粒度授權，安全衛士，審計，存儲加密 ? 數據管理能力，數據血緣和追蹤，基于數據血緣的分析和報表 ? 多數據/多作業管理和調度 ? 基于基線保障的調度能力 4、調度能力與擴展性作為系統內部的優化，具體包括以下內容： ? 超大規模，統一的資源池 ? 超賣 ? 基線保障 ? 伸縮能力與混布能力構建“生態融合的”計算平臺

上圖是飛天MaxCompute平臺融合的案例。其中一層為統一的存儲層，不僅僅可以開放MaxCompute的引擎，也可以開放其他的引擎。中間的抽象層為聯合計算平臺，聯合是指將數據、資源和接口抽象成一套標準的接口，包括Spark和其他引擎都可以應用，形成一套完整的生態系統。第二條線的生態是MaxCompute源向外的生態，數據源是多種多種的，不僅僅存在阿里自已的存儲里，也可以存在于數據庫的系統和文件系統等。此外，可以讓用戶在不搬遷數據的情況下和其他系統做聯動，稱為聯邦計算的概念。另外，Blink是當年在Flink社區的一個單獨的分支，針對阿里內部的最佳開發實踐的系統，在1.9的版本上已經成為完全默認的社區，在SQL引擎、調度系統以及Algo on Flink上做出了很多貢獻。隨著和Flink的某公司存在收購關系之后，將會推動Flink公司一直向前發展。

最后，是存儲層面的發展。上圖是有關壓縮、讀和寫以及數據相關格式的改造，所有的改造都會推進給社區，橙色的字體是按照設計標準改的。

三、從引擎優化到“自動駕駛”

計算引擎的優化除了自身的優化以外，還涉及到自動駕駛。上圖是使用車的例子，展現了飛天進化的過程。第一個過程為可用階段，比如雙十一當天是否能支撐如此大量的負載以保證系統是可用的。第二個過程是在性能和成本上達到極致的追求。第三個過程是讓性能變得更好。智能云數倉（Auto Cloud Data Warehouse）在阿里內部已經出現了三條關鍵的挑戰： 1、EB級數據和百萬級別作業，很難管理。數據中臺團隊不再勝任（傳統的DBA模式不能支撐） 2、多種數據融在一起，人無法在海量規模上理解數據的所有價值 3、大數據系統經過多年發展，如果需要實現“躍遷”式的進步，需要體系結構層面的改造

從智能云數倉的角度來看，可以從三個方面上做優化。第一方面是效率優化，包括HBO是基于歷史信息的優化，可以理解是一個全新的作業作用到系統中，當系統對它并不了解時，對資源的分配相應的會采用保守的方式，使作業運行完成。在第一次運行作業時，系統的調優可能是保守的，慢慢的會越來越貼近自身的運行狀態，到四天之后，所認為的作業就非常好了。通過HBO優化，阿里巴巴的資源利用率達到了70%。此外，還包括Learned Statistics、智能計算重用和智能的數據分層。第二方面是資源規劃，當云上有十萬臺的機器分布在不同的數據中心時，怎樣規劃數據和資源調動是不屬于人工的過程，應屬于自動化的過程，包括作業運行模式的自動分類，其中有三種不同的運行模式是針對非常大的作業和交互性非常高的作業。此外，還包括動態Quota調整、縮擴容、作業運行預測與自動預報警、作業自動升降級和數據排布與跨集群調度。第三方面是智能建模，包括相似作業與數據的識別、自動糾錯、作業運行預測與自動預報警以及作業自動升降級。以上這三個方面是在智能數倉領域可以持續發展的方面，上圖中帶*的是阿里已經或者馬上要公布的功能。 Auto CDW – 智能索引推薦

通過作業之間運行的關系，做cost module的同化，通過這種方式是找到一種index最優的調節并且進行push。例如，基于MaxCompute，在阿里集團內挑選了8W張表的30W個字段，從中為4.4W張表推薦出最優的Clustering方案，平均Cost節省43%。 Auto Tired Store - 冷熱數據識別和管理

在今年9月1號時，阿里的存儲整體降價了30%，其中一部分計算就來自上圖中的Auto Tired Store技術，包括冷熱數據的自動分離，之前的數據是通過兩個方式進行分離，第一個方式是系統自動做冷壓縮，降低的成本大概有三分之二。第二個方式是允許用戶通過做flag的方式。但是，當系統里有千萬級別的表時，數據開發工程師時很難甄別出數據的使用方式的，這時可以使用經濟學的模型，構建Access和Storage之間的關系，針對每個不同作業的不同分區，自動地定制冷熱的程度。通過這種方式，把阿里的壓縮率從3倍率壓縮到1.6倍率，整體的存儲效率提升了20%。 Yugong – 智能全局數據排布與調度

因為云系統是多個數據中心部署在全球各個地方的，數據的產生是與業務相關的，但數據之間的關聯是不許被打破的，把什么樣的數據放在什么樣的機房里，什么樣的作業調度到最優的效果，是屬于全局最優匹配的問題。在阿里的內部實際上是將作業的靜態排布以及動態的調度融合了一個系統稱為Yugong。上圖中右邊是兩個原理圖。 DPSAaS– 基于差分隱私的數據共享與分析服務

針對敏感數據的計算能力稱為密態計算，針對隱私的數據希望做到可算不可見。上圖表中前三列為敏感數據，后三列為不敏感數據。通過查分隱私的編碼方式，將所有的敏感數據都隱蔽掉了，當要care敏感數據時是care不到的，但做計算時所有數據的計算結果都是正確的，阿里正在通過這種方式探索如何在數據共享與隱私之間找到平衡。其他面向未來的探索

針對其他面向未來的探索方面，阿里主要涉及的方面包括怎么在基于圖的關系上做運算、怎樣找到系統之間最優的平衡、基于隱私的計算、如何在多種目標的情況下做更好的調度、在采樣層面如何大幅度的降低數據的情況下仍然做的更好。

原文鏈接

本文為云棲社區原創內容，未經允許不得轉載。

向AI問一下細節

中文字幕av专区_日韩电影在线播放_精品国产精品久久一区免费式_av在线免费观看网站

阿里巴巴大數據技術關鍵進展及展望

一、大數據領域的客戶價值遷移

二、核心技術發展方向

三、從引擎優化到“自動駕駛”

猜你喜歡

中文字幕av专区_日韩电影在线播放_精品国产精品久久一区免费式_av在线免费观看网站

阿里巴巴大數據技術關鍵進展及展望

一、大數據領域的客戶價值遷移

二、核心技術發展方向

三、從引擎優化到“自動駕駛”

猜你喜歡

最新資訊

相關推薦

相關標簽